信息论与编码论文

《信息论与编码论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、《信息论与编码》论文电子0902班20092704王金池在经过长达10周的信息论与编码的学习后，让我对我所学的专业从感性的认识上升到了理性的认识，也更促进了我对通信传播与信息论的认识与学习，让我有了探究的方向，收获颇多。信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。热烈每时每刻都在不停地接受信息，传播信息，以及利用信息。从原来的西汉造纸，到近代西方的印刷技术，以及现在的计算机，信息技术在人类历史的进程中随着生产力的进步而发展。而信息理论的提出却远远落后于信息的出现，他是近代才被提出来而形成的一套完整的理论体系。信息论的主要基本理论包

2、括：信息的定义和量度；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。“传输速率是波特率与每波特所含比特数的乘积。波特率受频宽的限制，而每波特所含比特数受噪声的限制。”前一个限制，由那奎斯特（HarryNyquist）在1928年漂亮地解决了。而后一个问题则更复杂。1928年，哈特利（R.V.L.Hartley）首先提出了信息量的概念，并指出编码（如摩斯码）在提高传送速度中的重要作用。但是他未能完整定量地解决这个问题。二战期间，维纳（NorbertWiener）发展了在接收器上对付噪声的最优方法。但是传输速率的上限还是没有进展。在这种情况下，香农（C

3、laudeEShannon）在1948年发表了《通信的一个数学理论》完整地解决了通讯速度上限的问题。“信息论”（InformationScience）从此诞生。香农（1916–2001）可说是二十世纪最伟大的科学家之一。他二十岁就以数学和电子工程双学位毕业，进入MIT读研究生。一年以后（1937年），他的硕士论文开创了使用布尔逻辑（Boole’sLogic）分析电子计算机线路的途径。布尔逻辑今天仍是分析数字电路的基本工具。1940年，香农以题为“理论遗传学的代数”的论文得到博士学位，到数学物理研究的圣地普林斯顿高等研究院任职。后来他转任贝尔实验室继续研究工作。除了信息论外，香农在加密理论，取样

4、理论等领域都有开创性的贡献。他还活跃于人工智能，计算机等领域。他1956年到MIT任教，直到1978年退休。香农虽然是数学出身，却十分重视直觉。他的同事评价说，香农最擅长的就是把一个复杂的问题简化，去掉无关紧要的细节而保留关键的问题。在他创立信息论的工作，就是一个非常优美的例子。要建立信息理论，首先要能够度量信息。信息是由信号传播的。但是信息与信号有本质的区别。所以如何度量一个信号源的信息量，就不是简单的问题。从直觉上说，如果一个信号源发出不变的符号值（比如总是1），它是没有信息量的，因为它没有告诉别人任何东西【注一】。而且如果信号源发出的符号值是变化的但是可以预计的（比如圆周率的数字序列），

5、那也是没有信息量的，因为我不需要接受任何东西，就可以把这些符号值重复出来。而且，即使信号源发出的符号不是完全可确定的，它的信息量也和“确定”的程度有关。例如，如果一个地方90%的时候是晴天，气象报告就没有多大用处。而如果50%的时候是晴天其余时候下雨，人们就需要气象报告了。从这点出发，香农就把信息量与信号源的不确定性，也就是各个可能的符号值的几率分布联系起来。他从直观上给出了信息量需要满足的几个简单的数学性质（如连续性，单调性等），而给出了一个唯一可能的表达形式。那么这样定义的信息量与我们通常所说的数据量，也就是需要多少比特来传送数据，有什么关系呢？（比特就是二进制数据的位数）。为此，我们来看

6、看一个含有固定符号数的序列（也就是信号或码字）。由于每个符号值的出现是随机的，这样的序列就有很多可能性。显然，每个可能的符号在序列中出现次数，对于所有可能序列的平均值正比于符号出现的几率。我们把每个符号出现次数“正好”等于其次数平均值的序列叫做“典型序列”，而其他的就叫作“非典型序列”。而数学上可以证明，当N趋于无穷大时，“非典型序列”出现的几率趋于零。也就是说，我们只要注意“典型序列”就行了。而典型序列的个数，就是它们出现概率的倒数（因为总概率为1）。而码字所携带的数据量，就是它的个数以2为底的对数。【注二】所以，这样的分析就得出了序列所含的数据量。除以序列的长度，就得到每个符号所含的数据量

7、。而这个结果恰好就等于上面所说的信息量。至此，香农开创性地引入了“信息量”的概念，从而把传送信息所需要的比特数与信号源本身的统计特性联系起来。这个工作的意义甚至超越了通信领域，而成为信息储存，数据压缩等技术的基础。解决了信号源的数据量问题后，我们就可以来看信道了。信道（channel）的作用是把信号从一地传到另一地。在香农以前，那奎斯特已经证明了：信道每秒能传送的符号数是其频宽的一半。但问题是，即