信息论基础第24次课_总复习ppt课件.ppt

《信息论基础第24次课_总复习ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论基础——总复习第2章信源熵自信息量：I(ai)=-logp(ai)信源熵：信源的平均信息量条件熵：损失熵噪声熵联合熵：平均互信息：第2章信源熵最大离散熵定理：若信源中包含n个不同离散消息，则当信源等概率时信源熵H(X)取得最大值log2n平均互信息I(X;Y)是输入信源概率分布的上凸函数是信道转移概率分布的下凸函数。第2章信源熵多符号离散平稳无记忆信源亦称为单符号离散平稳无记忆信源的扩展信源。N维离散平稳信源平均符号熵：第2章信源熵马尔可夫信源：m阶马尔可夫信源：第2章信源熵各态历经定理由状态转移图可求状态极限概率定长编码定理定长编码定理：一个熵为H(X)的离散无记忆信源X1X2…Xl

2、…XL，若对信源长为L的符号序列进行定长编码，设码字是从m个字母的码符号集合中，选取K个码元组成Y1Y2…Yk…YK。对于任意ε>0，δ>0只要满足则当L足够大时，必可使译码差错小于δ，即译码错误概率能为任意小。反之，若则译码差错一定是有限值，而当L足够大时，译码几乎肯定出错（译码错误概率近似等于1）。对离散无记忆信源，符号熵为H(X)，对信源进行m元变长编码，一定存在无失真的信源编码方法，满足：其码字平均长度K(2.4.5)(2.4.6)变长编码定理其码字平均信息率R满足：本章考点1.各种熵的计算。如：P69.2.11;2.一阶马尔可夫信源的状态极限概率及极限熵。如：P69.2.16,2.

3、173.各种熵的性质：信源熵：非负性、最大离散熵定理、上凸性、确定性。平均互信息：非负性、极值性、凸函数性、数据处理定理、各种熵之间的关系（和差关系、大小关系）连续信源熵：可为负、平均互信息非负。4.P68.2.8、2.14.5.离散无失真信源编码定理。第3章信道容量当信道特性p(bj/ai)固定后，I(X;Y)随信源概率分布p(ai)的变化而变化。调整p(ai)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y)是p(ai)的上凸函数，因此总能找到一种概率分布p(ai)（即某一种信源），使信道所能传送的信息率为最大。信道容量C：在信道中最大的信息传输速率，单位是比特/信道符

4、号。具有扩展功能的有噪无损信道具有归并性能的有损无噪信道第3章信道容量如果一个信道矩阵具有可排列性，则它所表示的信道称为对称信道若信道矩阵P的行是可排列的，但列不可排列，如果把列分成若干个不相交的子集，且由n行和各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称信道。第3章信道容量例：信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3,y4}，给定信道转移概率矩阵，求该信道的信道容量C。解：这是一个准对称信道，当X等概分布，即p(x1)=p(x2)=1/2时，达到信道容量而此时，信宿端概率为连续信道的信道容量C：信源X等于某一概率密度函数p0(x)时，信道平均

5、互信息的最大值，即对于高斯加性信道第3章信道容量信噪功率比香农公式设信道的频带限于(0,W)；根据采样定理，如果每秒传送2W个采样点，在接收端可无失真地恢复出原始信号；香农公式：把信道的一次传输看成是一次采样，由于信道每秒传输2W个样点，所以单位时间的信道容量为(bit/s)信道编码定理信道编码定理：若一离散平稳无记忆信道，其容量为C，输入序列长度为L，只要待传送的信息率RC,任何编码的必大于0，当本章考点1.几种特殊信道的信道容量。2.准对称离散信道的信道容量。P99.3.7(4)3.高斯加性信道的信道容量，香农公式

6、。4.信道编码定理。第4章信息率失真函数信道的传递概率矩阵失真矩阵第4章信息率失真函数汉明失真：平均失真度（2）信息率失真函数R(D)在信源给定以后，总希望在允许一定失真的情况下，传送信源所必须的信息率越小越好。从接收端来看，就是在满足保真度准则的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值。当p(ai)一定时，互信息I是关于p(bj/ai)的下凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道，使给定的信源经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即率失真函数的定义域信源最小平均失真度Dmin：对于每一个ai

7、，找出一个bj与之对应，使d(ai,bj)最小，这相当于在失真矩阵的每一行找出一个最小的d(ai,bj)。只有当失真矩阵的每一行至少有一个0元素时，信源的平均失真度才能达到下限值0。计算Dmax的值令试验信道特性p(bj/ai)=p(bj)(i=1,2,…,n)这时X和Y相互独立，等效于通信中断，因此I(X;Y)=0，即R(D)=0。满足上式的试验信道有许多，相应地可求出许多平均失真值，这类平均失真值的下界，