信息论与编码第4章

《信息论与编码第4章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章信息率失真函数第四章信息率失真函数（第九讲）（2课时）主要内容：（1）平均失真和信息率失真函数（2）离散信源和连续信源的R(D)计算重点：失真函数、平均失真、信息率失真函数R(D)、信息率失真函数的计算。难点：信息率失真函数R(D)、信息率失真函数的计算。作业：4、1。说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。§4-1引言（一）引入限失真的必要性：失真在传输中是不可避免的;接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力

2、与灵敏度的信息传送过程是毫无意义的;即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真；我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D，及其相应的信源最小信息率R(D).对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U).显然H(U)≥R(D).当且仅当D=0时，等号成立；为了定量度量D，必须建立信源的客观失真度量，并与D建立定量关系；R(D)函数是限失真信源信息处理的理论基础；（二）R(D)函数的定义信源与信宿联合空间上失真测度的定

3、义：:其中：（单消息信源空间）（单消息信宿空间）则有称为统计平均失真，它在信号空间中可以看作一类“距离”，它有性质1〉,当2〉63第四章信息率失真函数3〉对离散信源：i=j=1,2……..n,则有：若取为汉明距离，则有：对连续信源，失真可用二元函数d(u,v)表示。则有：推而广之，d(u,v)可表示任何用v表达u时所引进的失真，误差，损失，风险，甚至是主观感觉上的差异等等。进一步定义允许失真D为平均失真的上界：--对离散在讨论信息率失真函数时，考虑到信源与信宿之间有一个无失真信道，称它为试验信道，对离散信源可记为，对限失真信源这一试

4、验信道集合可定义为：根据前面在互信息中已讨论过的性质：且互信息是的上凸函数，其极限值存在且为信道容量：这里，我们给出其对偶定义：即互信息是的下凸函数。其极限值存在且为信息率失真函数。它还存在下列等效定义：称D(R)为失真信息率函数，是R(D)的逆函数，它是求在允许最大速率情况下的最大失真D。至此，我们已给定R(D)函数一个初步描述。63第四章信息率失真函数由定义，R(D)函数是在限定失真为最大允许失真为D时信源最小信息速率，它是通过改变试验信道特性（实际上是信源编码）来达到的。所以R(D)是表示不同D值时对应的理论上最小信息速率值。

5、然而对于不同的实际信源，存在着不同类型的信源编码，即不同的试验信道特性并可以求解出不同的信息率失真R’(D)函数，它与理论上最佳的R(D)之间存在着差异，它反映了不同方式信源编码性能的优劣，这也正是R(D)函数的理论价值所在。特别对于连续信源，无失真是毫无意义的，这时R(D)函数具有更大的价值。例：若有一个离散、等概率单消息（或无记忆）二元信源：,且采用汉明距离作为失真度量标准：即若有一具体信源编码方案为：N个码元中允许错一个码元，实现时N个码元仅送N-1个，剩下一个不送，在接收端用随机方式决定（为掷硬币方式）。此时，速率R’及平均

6、失真D相应为：若已知这一类信源理论上的（后面将进一步给出计算），则有阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。63第四章信息率失真函数§4-2R(D)函数的性质讨论R(D)性质以前先简要介绍R(D)的定义域。对离散：对应R(D)值：。对连续：R(D)函数性质可用下列定理总结：定理4－2－1：对离散、单个消息限定失真信源，其R(D)函数满足下列性质：（1）R(D)是D的下凸（）函数；（2）R(D)是D的单调非增函数；（3）R(D

7、)是D的连续函数；（4）；证明：（1）证明思路：根据R(D)函数定义，与下凸函数定义，只需证明：首先证，再利用互信息对的下凸性。即：若用与表示达到与时的条件分布，且则有：这里，由可得再利用互信息对的下凸性，有63第四章信息率失真函数（2）设则即R(D)是D的单调非增函数。（3）设。由定义，有。同时，由于是连续函数。即当有即，R(D)是D的连续函数。（4）当，即无失真时，，一一对应§4-3离散信源R(D)函数计算：可见，求解R(D)实质上是求解互信息的条件极值，可采用拉氏乘子法求解。但是，在一般情况下只能求得用参量（R(D)的斜率S）

8、来描述的参量表达式，并借助计算机进行迭代运算。由信道容量C与R(D)数学上对偶关系：其迭代运算与求信道容量迭代运算相仿的。在正式讨论R(D)迭代运算前，这里，我们先介绍特殊情况下的R(D)计算。具有等概率、对称失真信源的R(D)计算：