资源描述：
《信息论与编码复习期末考试要点》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息论与编码2课程内容信息论的基本问题—信息的度量无失真信源编码定理—香农第一定理信道编码定理—香农第二定理限失真信源编码定理—香农第三定理信源编码信道编码绪论第一章41、信息论的奠基人香农及其重要著作；2、信息、消息、信号的区别和联系3、通信系统的模型各主要功能模块（包括信源、信道、信宿、信源编译码器、信道编译码器）及其作用5信息论的奠基人：香农重要著作：1948年香农在《贝尔系统技术》杂志上发表的《通信的数学理论》(Amathematicaltheoryofcommunication)。第一次提出了信息
2、量的概念，并应用数理统计的方法来研究通信系统，创立了信息论。通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息-----香农（一）信息论的形成与发展6（二）信息、消息和信号的区别与联系信息是事物运动状态或存在方式。信息的基本概念在于它的不确定性,任何已确定的事物都不含信息。消息是指包含有信息的语言、文字和图像等信号是消息的物理体现。信号是信息的载荷子或载体，是物理性的。7（三）数字通信系统模型信道信源信源编码加密信道编码干扰源信宿信源解码解密信道解码加密密钥解密密钥uxykzvz'y'x'信源
3、与信息熵第二章1、掌握相关概念信源分类（如离散与连续、有记忆和无记忆等）自信息、信源熵、平均互信息等概念及性质2、熟练熵、互信息的相关计算3、掌握马尔科夫信源中状态转移概率、符号转移概率的相关概念以及运算4、了解数据处理定理5、了解连续信源中，最大熵定理1）限峰功率最大熵定理2）限平均功率最大熵定理910一、自信息量设离散信源X，其概率空间为自信息量：某符号出现后提供给收信者的信息量11特性I(xi)的特性：⑴I(xi)是非负值⑵当p(xi)=1时，I(xi)=0⑶当p(xi)=0时，I(xi)=∞⑷I(x
4、i)是先验概率p(xi)的单调递减函数，即当p(x1)＞p(x2)时，I(x1)＜I(x2)⑸两个独立事件的联合自信息量等于它们分别的自信息量之和。12二、离散信源熵离散信源熵H(X)(平均不确定度/香农熵)单位为比特/符号或比特/符号序列13条件熵（极限情况条件熵）当X，Y相互独立时，条件熵等于无条件熵14几个概念联合熵联合熵H(X,Y)表示X和Y同时发生的不确定度。15三、互信息互信息定义为xi的后验概率与先验概率比值的对数互信息I(xi;yj)：表示接收到某消息yj后获得的关于事件xi的信息量。16平
5、均互信息平均互信息定义互信息=先验不确定性－后验不确定性=不确定性减少的量Y未知,X的不确定度为H(X)Y已知,X的不确定度变为H(X
6、Y)17i.对称性：ii.非负性：iii.极值性：四、平均互信息的性质iv.凸函数性（1）平均互信息量I(X;Y)是输入信源概率分布p(xi)的上凸函数，这一点研究信道容量的理论基础。（2）平均互信息量I(X;Y)是信道转移概率p(yj
7、xi)的下凸函数，这一点是研究信源的信息率失真函数的理论基础。18维拉图H(X
8、Y)H(X)H(Y)H(XY)H(Y
9、X)I(X;Y)平均
10、互信息与各类熵的关系收、发两端的熵关系I(X;Y)H(X)H(Y)H(X/Y)损失熵H(Y/X)噪声熵20条件熵H(X
11、Y)：信道疑义度，损失熵信源符号通过有噪信道传输后所引起的信息量的损失。信源X的熵等于接收到的信息量加上损失掉的信息量。H(Y
12、X)：噪声熵，散布熵它反映了信道中噪声源的不确定性。输出端信源Y的熵H(Y)等于接收到关于X的信息量I(X;Y)加上H(Y
13、X),这完全是由于信道中噪声引起的。21五、数据处理定理数据处理定理说明：当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分
14、信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。六、熵的性质1.非负性H(X)＝H(p1，p2，…，pn)≥0式中等号只有在pi=1时成立。2.对称性H(p1，p2，…，pn)=H(p2，p1，…，pn)3.确定性H(X)＝H(p1，p2，…，pn)≥0只要信源符号中有一个符号出现概率为1,信源熵就等于零。23熵的性质4.极值性(香农辅助定理)对任意两个消息数相同的信源5.最大熵定理(sl)离散无记忆信源输出M个不同的信息符号,当且仅当各个符号
15、出现概率相等时即(pi＝1/M)熵最大。24熵的性质6.条件熵小于无条件熵25七、马尔可夫信源马尔可夫信源一类相对简单的离散平稳有记忆信源该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关m阶马尔可夫信源：信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。条件概率26马氏链的基本概念令si=(xi1,xi2,…xim)xi1,,xi2,…xim∈(a1,a2,…an)状
