信息量

出处:按学科分类—政治、法律 河北人民出版社《思想政治工作知识辞典》第704页(682字)

是信息论中重要概念之一,它描述了信息的大小,是信息论走向定量化、科学化的关键。信息是用以消除不定性的东西,信息量则是对信息所消除的不定性程度、数量的度量。一般说,对认识上的不确定性的消除程度越大,信息量则越大,反之越小,如果对认识上的不确定性根本没有消除,信息量则为零。比如(1)明天可能下雨;(2)明天要下大雨;(3)明天下不下雨?对(1)、(2)、(3)三则消息进行比较,(2)号消息告诉人们下大雨的确定信息,消除了人们头脑中对下雨与否的不确定认识,而其他二则消息则没有完全或根本没有消除关于下雨与否的不确定认识。所以(2)号信息量为最大,(1)号次之,(3)号为零。

信息论中通常用概率的单调减函数来表示信息量,即信息量为事件出现概率的倒数的对数。用公式表示,就是:信息量=Log2p。其中P为消息所示事件的概率,信息量的单位为比特。如一幢6层楼,每层8间房间,总共48间房,现在知道某单位在503,其信息量计算如下:每间房出现的几率为

,“503号房”的信息量

比特。而“某单位在五层”,其信息量

比特。这个公式最早由申农、维纳提出,故又称为申农一维纳信息量公式。

上一篇:信息 下一篇:通讯系统模型
分享到: