发信人: BirdLoved (星 * 火), 信区: Humanity
标  题: 走近信息论之父——香农博士
发信站: 哈工大紫丁香 (2001年04月10日18:06:53 星期二), 转信

　2001年2月24日，当代最伟大的数学家和贝尔实验室最杰出的科学家之一，84岁的香农
（Claude Elwood Shannon）博士不幸去世。
　　香农1916年生于美国，1940年获得麻省理工学院数学博士学位和电子工程硕士学位
。1941年他加入了贝尔实验室数学部，在此工作了15年。
　　1948年6月和10月，由贝尔实验室出版的《贝尔系统技术》杂志连载了香农博士的文
章《通讯的数学原理》，该文奠定了香农信息基本理论的基础。他在文中用非常简洁的
数学公式定义了信息时代的基本概念：熵。在此基础上，他又定义了信道容量的概念，
指出了用降低传输速率来换取高保真通讯的可能性。这些贡献对今天的通信工业具有革
命性的影响。
　　“熵”的概念起源于热力学，是度量分子不规则热运动的单位。香农的伟大贡献在
于，利用概率分布的理论给出“熵”的严格定义。根据香农的定义，确定发生的事件如
“太阳从东边升起”与确定不发生的事件如“太阳从西边升起”，其熵都是零。只有当
发生与不发生的概率相同时，事件的熵才达到极大。
　　在熵的基础上定义的信道容量也是通讯中一个至关重要的概念。由此，香农推出了
一个公式，明确表达了在不同噪声情况下传输速率与失真的定量关系。从这一个公式导
出的为达到无失真通讯的传输速率的极限，现已称为香农极限。打个比方来说，在周围
干扰严重的情况下，要想使对方听清楚，你就只有慢慢地讲，甚至还要不断重复。
　　如今，这两个原理已广泛应用于信息处理和实际通信中。由于熵表达了事物所含的
信息量，我们不可能用少于熵的比特数来确切表达这一事物。所以这一概念已成为所有
无损压缩的标准和极限。同时，它也是导出无损压缩算法做达到或接近“熵”的编码的
源泉。像现在人们在PC机上常用的WinZip就是一个例子。在数字通讯中，各种语音信号
在用数学模型提取参数（有损压缩）后也要对参数进行熵编码做无损压缩，这一无损压
缩过程的算法就是根据熵的概念及其公式导出的。经过压缩后的数据还要进行扩张（信
道编码），因为根据香农的第二个理论，要尽量做到无失真的传送，就要用类似重复的
方法来纠正可能出现的错误。毫不夸张地说，没有这两个方法，就没有今天的手机通讯
。同样，在因特网上传递多媒体数据，无损压缩往往是必不可少的。比如现在所用的图
像格式，除了BMP文件以外，其他格式都用到基于熵概念的无损压缩算法。在当今广为人
知的MP3音乐压缩格式中，也同样用到基于熵概念的无损压缩算法。所以不论在电讯业还
是计算机业中，只要涉及信息的压缩与传递，就要用到香农的理论。
　　和世界各地一样，中国的科研工作者也很早就注意到香农的工作。北京大学的江泽
培教授在五十年代就翻译了有关香农理论的小册子；南开大学的胡国定教授更是身体力
行地建立了中国信息论的研究中心。

--
██████████████
█       结庐在人境，     █
█       而无车马喧.      █
█       问君何能尔？     █
█       心远地自偏！     █
██████████████

※ 来源:·哈工大紫丁香 bbs.hit.edu.cn·[FROM: PR-AI.hit.edu.cn]