信息论

出处：按学科分类—社会科学总论 山东人民出版社《社会历史观大辞典》第465页（1032字）

应用概率论与数理统计方法研究信息处理和信息民传递的科学。

它主要研究信息的获取、变换、传输、处理等问题，其任务是解决电子通信技术的编码和抗干扰等问题，从而提高通信系统传输效率的可靠性。由于可以把不同种类的系统(如技术系统、生物系统、管理系统)都看作是对信息民获取、传递、加工、处理的信息调节与控制系统，所以信息民论是一门十分接近数学的横断学科。

信息论的创立可追溯到本世纪20年代。1924年，奈奎斯特发表《影响电报速度的某些因素》一文，研究了通信系统的传输效率问题。

1928年，哈特莱发表《信息传输》一文，区分了信息和消息在概念上的差异，指出信息是包含在各种形式的消息中的抽象量，并提出用消息出现的概率的对数来度量其中所包含的信息。这两个工作奠定了信息论的初步基础。到了40年代，随着通信技术的发展，许多科学家从不同的角度对信息民问题进行了研究，如统计学家费希尔、维纳、申农等。1948年，申农发表着名论文《通信的数学理论》，次年又发表《在噪声中的通信》，把数学统计方法运用天通信领域，从量的方面描述了信息的传输和提取问题，提出了信息量的公式，并提出通信系统模型以及编码定理等。

申农的这两篇文章的发表标志着信息论的形成。

根据信息论的观点，通信是两个系统之间以一定量的信息为其内容、以消除收信的不定性为目的的联系关系。一般的通信系统为：

这一通信系统模型适用于各种信息系统。信息论的核心内容是对信息从量上加以刻划。

根据申农的信息量公式，信息量就是收信人知识变化的数量，即收信人收到信息后不定性减少的数量，用公式表示即：

这里H(x)为信息熵，即信源发出的信息的随机性。当信源输出符号被信宿收到后，它就表示收信人解除不定性的量。

20世纪70年代以来，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论已逐步突破申农狭义论的范围而发展为一门研究语法信息、语义信息和语用信息的信息科学。

信息论中的一些概念具有较高的普遍性，如信息、负熵等，由此引发了一系列有意义的哲学讨论。