信息论与编码课程论文

《信息论与编码课程论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、香农信息论的基本理论探究【内容摘要】：信息是自从人类岀现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息，传播信息，以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。而信息理论的提出却远远落后于信息的岀现，它是在近代才被提岀来而形成一套完整的理论体系。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息爛;有记忆、无记忆离散和连续信道的信道容量；无失

2、真信源编码定理。【关键词】：平均自信息信道容量信源编码霍夫曼码—・绪论信息不同于消息、信号、情报、知识等概念。信息论所包含的含义比其他儿种理论概念更加广泛，更具有概括性。情报是军事学、文献学方面的术语。情报的定义是对某个特定的对象所见、所闻、所理解而产生的知识，情报的含义要比“信息”窄得多。消息是用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主管思维活动的状态表达出来的就成为“消息”O所以信息也不同于消息。香农对信息所作的科学的定义是在通信系统框架的基础上产生的。在香农看

3、来，在通信系统的传输过程当屮，收信者在收到消息以前是不知道消息的具体内容的。在收到消息以前，收信者无法判断发送者将会发来描述何种事物运动状态的的具体消息，它也无法判断是描述这种状态还是那种状态。或者，由于干扰的存在，它也不能断定所得到的消息是否正确和可靠。这样，收信者存在“不知”，“不确定性”。那么通过消息的传递，收信者知道了消息的具体内容，原先的不确定性就部分的或者全部消除了。因此，信息传输之JS,对于收信者來讲，减少了很多的不确定性和疑义度。所以，通信过程是一种消除不确定性的过程。不确定性的消除，就获得了信息。如

4、果原先的不确定性全部消除了，就获得了全部的信息；若消除了部分的不确定性，就获得了部分的信息；若原来的不确定性没有任何的消除，就没有获得任何信息；所以，香农所定义的信息是事物运动状态或存在方式的不确定性的描述。以下我从信息论的几个主要基础理论来阐述下信息论。一.信息的度量在各种通信系统的信源当屮，离散随机信源是一类最基本的信源，信源输出是单个的符号的消息，并且消息之间是两两互不相容的。假设有个一维离散无记忆信源，它的概率分布函数决定了他所携带的信息。该信源空间中共有q个符号,每个符号发生的概率是Pi,那么发出某个符号所

5、携带的信息量是-logPi,由于概率是在0和1Z间的，使得每一事件的信息量是非负的。如呆该事件发生的概率是0,或者是1,则表明该事件一定不会发生或者一定会发生。那么他所携带的信息量是0。从理论上讲，该事件发生的概率越小，那么它的不确定性也就越大,它所携带的信息量也就越大。该事件发生的概率越大，它所携带的信息量也就越大。这也是人们为什么一听到一件不可思议的事情发生了之后，会感到非常惊讶的原因。对于通信系统的信源來说，它不会仅仅只发出一个消息，这个消息发生的概率也不是1。必然会有别的可能的情况发生。那么对于一个信源来讲，

6、它所包含的信息量是什么样子的，我们可以用平均口信息量来度量，即对每个事件各口所携带的信息量做一个加权平均。即可以得到信源的平均自信息量。信息爛的定义如K：H(x)=E[log(l/P(a))]=-L平均口信息量也称为信息爛。信息爛是从平均意义上来表征信源的总体信息测度的。对于某特定的信源，它的信息爛是一个确定的数值。不同的信源因为其概率分布不同，它的爛也不同。信息爛具有一些基本的性质，比如，对称性，确定性，非负性，扩展性，可加性等等。这里面有一个最大离散爛定理，表明：离散信源情况下，对于具有q个符号的离散信源，只有在

7、q个信源符号等可能出现的情况下，信源爛才能达到最大值，这样也表明等概率分布信源的平均不确定性为最大。这个定理为我们后面研究有噪信道编码定理提供了有力的依据。离散平稳信源是一种非常重要的信源模型。如果不同时刻信源输出符号的概率分布完全相同，则称为一维离散平稳信源。一维离散平稳信源无论在什么时候均按P(X)的概率分布输出符号。最简单的离散平稳信源就是二维离散平稳信源。二维离散平稳信源就是信源输出的随机序列…，XI,X2,-,Xi,・・・，满足其一维和二维概率分布与时间起点无关。二维离散平稳信源的联合炳片(X]X?)=》p

8、g)logC^tz.)此联合爛表明原来信源X输出任意丄对苛能的消息的共爛，即描述信源X输出长度为2的序列的平均不确定性，或者说所含有的信息量。可以用1WCX.X,)作为二维离散平稳信源X的信息爛的近视值。除了平稳离散信源之外，还存在着非平稳离散信源。在非平稳离散信源中有一类特殊的信源。这种信源输出的符号序列屮符号之间的依赖关系是有限的，这种关系