信息论与编码(第三版)

《信息论与编码(第三版)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码计算器简介是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理中一般规律的学科。奠基人：美国数学家香农（C.E.Shannon）1948年“通信的数学理论”2简介信息论的基本问题—信息的度量无失真信源编码定理—香农第一定理信道编码定理—香农第二定理信源编码、信道编码3绪论第1章1.1信息的概念5情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识。知识：一种具有普遍和概括性质的高层次的信息，以实践为基础，通过抽象思维，对客观事物规律性的概括。消息：用文字、符号、语音

2、、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。几个常见概念6香农信息的度量（1）样本空间某事物各种可能出现的不同状态。（2）概率测度对每一个可能选择的消息指定一个概率。（3）概率空间先验概率p(xi)：选择符号xi作为消息的概率。样本空间概率测度7例：气象预报甲乙“甲地晴”比“乙地晴”的不确定性小。某一事物状态出现的概率越小，其不确定性越大。某一事物状态出现的概率接近于1,即预料中肯定会出现的事件，那它的不确定性就接近于零。8对xi的不确定性可表示为先验概率p(xi)的倒数

3、的某一函数。（4）自信息（5）互信息先验的不确定性减去尚存的不确定性。后验概率p(ai

4、bj)：接收端收到消息bj后而发送端发的是ai的概率。9信息的特征信息是物质存在的普遍属性，信息和能量、物质规定了事物的功能和性能；接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容；它使认识主体对某一事物的未知性或不确定性减少的有用知识；信息的存在具有普遍性、无限性、动态性、时效性和相对独立性；信息可以产生，也可以消失，同时信息可以被传递、转换、扩散、复制、贮存、分割，具有可共享性；信息是可以量度的，信

5、息量有多少的差别。101.2信息论研究的对象、目的和内容11研究对象：通信系统模型信道信源信源编码加密信道编码干扰源信宿信源解码解密信道解码加密密钥解密密钥12信源：发送消息的源离散信源模拟信源信源是信息论的主要研究对象之一.我们不探讨信源的内部结构和机理，而关注信源的输出。重点讨论其描述方法及性质。信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。信道：传输信息的物理媒介。信源、信道、信宿13信源编码器通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。信源编码器分为两类无失真信源编

6、码：适用于离散信源或数字信号；限失真信源编码：用于连续信源或模拟信号,如语音、图像等信号的数字处理。信源编码器与译码器信源编码器的主要指标是它的编码效率。一般来说，效率越高，编译码器的代价也将越大。信源译码器把信道译码器的输出变换成信宿所需的消息形式，相当于信源编码器的逆过程。14信道编码器与译码器信道编码主要作用是提高信息传送的可靠性。信道编码器的作用在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力。信道编码的主要方法增大码率或频带,即增大所需的信道容量。这恰与信源编码相反。信道译

7、码器的作用具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。151.3信息论的形成和发展16信息论是在长期的通信工程实践和理论研究的基础上发展起来的。简史现代信息论是从20世纪20年代奈奎斯特和哈特莱的工作开始的：1924年奈奎斯特(Nyquist)的“影响电报速率因素的确定”。1928年哈特莱(Hartley)的“信息传输”一文研究了通信系统传输信息的能力，并给出了信息度量方法。信息论的形成171946年柯切尔尼柯夫的学位论文“起伏噪声下的潜在抗干扰理论”，根据最

8、小错误概率准则和最小均方误差准则研究了离散和连续信道的最佳接收问题。1948年香农的权威性长文“通信的数学理论”，讨论了信源和信道特性，1949年香农“噪声中的通信”，两论文奠定了现代信息论的理论基础。此后，在基本理论和实际应用方面，信息论都得到了巨大的发展。18第2章离散信源及其信息测度2.1信源的数学模型及分类2.2离散信源的信息熵2.3信息熵的基本性质2.5离散无记忆的扩展信源2.6离散平稳信源2.7马尔可夫信源2.8信源剩余度与自然语言的熵信源产生消息或消息序列的源。消息携带信息，是信息的具体形式。描述

9、方法通信过程中，信源发出何种消息是不确定的、是随机的。因此，信源可用随机变量、随机矢量或随机过程（或样本空间及其概率测度）来描述。不同的信源根据其输出消息的不同的随机性质进行分类。2.1信源的数学模型及分类201、随机变量描述的信源（单符号）特点：输出单符号消息。符号集的取值A:{a1,a2,…,aq}是有限的或可数的,可用离散型随机变量X描述。数学模型：设每个信源符号ai出现的(先验