在机器学习算法的总结PPT中指出，后验不确定性始终不大于先验不确定性

后验不确定性总要小于或等于先验不确定性: H（U/V）< = H（U） 如果二者相等，表示信宿根本没有收到信息；如果后验不确定性的大小等于零，表示信宿收到了全部信息 可见，信息量的大小应该由所消除的不确定性的大小来度量。故，用互信息来表示信息量： 互信息 I（U，V）＝H（U）－ H（U/V）