通信的数学理论

出处：按学科分类—自然科学总论 山东人民出版社《方法大辞典》第787页（1499字）

1948年申农发表的一部着名的、标志着信息论产生的奠基性着作。

申农在该书中从通信的角度提出了一些新思想。首先，他认识到通信的基本问题是在通信的一端精确地或近似地复现另一端所挑选的消息。从这一点出发，他进而认为虽然通常消息是有意义的，但通信的语义方面的问题与工程问题是没有关系的。重要的是一个实际的消息是从可能消息的集合中选择出来的。

因此系统必须设计得对每种选择都能工作，而不是只适合工作于某一种选择，因为在设计时这是不知道的。基于这种分析，他就大胆地撇开了与工程无关的信息语义方面的问题，从而给工程技术上处理问题带来了极大的方便，同时为信息的定量化研究提出了一个新的思想和方法。

并且他还考虑到消息的统计性质，指出：如果在集合中消息的数目是有限的，而且所有选择是等概率的，则这个数目或这个数目的任何单调函数都能作为由此集合中选择一个消息时所产生的信息的量度。由此他确定采用对数度量，因为对数度量比较方便，实际上比较有用，工程上的重要参量(如时间、频带宽度、继电器的数目等)都倾向于随可能性数目的对数作线性变化。另外，采用对数度量比较直观，在数学上也比较合适。申农的这一新思想和处理问题的方法，在工程技术上、在信息的句法结构和传输的定量分析上都是一个重要的突破，以致成了他为解决设计不同形式信号传输系统所建立的统一理论的奠基之砖。其次，他正确地将概率和数理统计理论引入了信息论，并作为信息的定量分析的重要数学工具。在一门科学中选用什么样的数字工具并非任意的。

这是由于申农在研究怎样利用数字来描述信源时，获得了一个清晰的认识。这一认识直接支持了莫尔斯的编码思想。他同样看到：在电报中所传输的消息是由字母序列组成的，而这些序列并非完全随机的，但它们构成的句子都有一定的统计结构。

如英文统计结构的句子，字母E的出现要比Q经常得多，序列TH的出现要比XP经常得多等等。

这种统计结构的存在，允许我们采用合理的编码来节省时间(或信通容量)。例如用最短的信道符号一点来代表最常用的字母，而用较长的点划序列来表示不常用的字母。

显然，在通信中根据这种统计结构进行合理编码，必然大大地节省了平均时间。通过分析，他科学地提出了一个设想：离散信源是一个符号接着一个符号地产生消息的。

相继符号的选择是根据某些概率，通常这些概率取决于前面符号的选择及待选的符号。任何一个能产生由一组概率控制的符号序列的物理系统或物理系统的数学模型都可称为随机过程。

基于这一设想，从不确定性和随机现象中抽象出的概率和数理统计理论，也就必然成了分析通信中随机过程最好的数学工具。正是由于找到了合适的数学工具，所以申农就能很顺利地建立起一个数学表达式，作为在某种意义上能度量这个随机过程所“产生”的信息是多少的量，即信息量，并给出了信息量一个科学的定义，使之成为信息理论中的一个主要内容，在这一理论中起着重要作用。

申农对于信息理论的再一贡献，就是提炼出了通信系统的模型，并对信道最大容量进行了研究和描述。信源发出信息通过信道进行传输，这种传输信息的能力就是信道容量。

如果信道中的噪声，一般说是会影响信源发出的信息在接收端准确地复现，因此就需要研究一些传输信息的方法，使其在抗干扰方面是最佳的。

申农在这些方面都做了大量的、细致的研究工作，特别是当把信息理论看作统一力学的一个分支时，他就对有白热噪声干扰的信道的最大容量给出了一个正确的数字表述。

申农的这些新思想和其他一些以简明数字形式表述的定理一起，成了现代信息论的基本内容，这无论是对信息理论的产生和发展，还是对这一理论的一般应用，都产生了巨大的影响。