信息率失真函数及信源编码定理的应用

《信息率失真函数及信源编码定理的应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、《信息论与编码》课程自学报告题S:信息论与编码自学报告学号:姓名:任课教师:联系方式:二零一四年2月15日《信息论与编码》课程自学报告题S:信息论与编码自学报告学号:姓名:任课教师:联系方式:二零一四年2月15日1自学内容阐述1.1信息率失真函数1.1.1失真函数与平均失真度失真函数：设离散信源概率分布为:U)Hp(二‘)1经信道传输后输出序列为：y={吵2.』J,对任一W;)指定一个非负数卯<七)^0称为单个符号的失真度(或称失真函数)。失真函数用来表征信源发出一个符号A，而在接收端再现成符号~所引起的误差或失真。d越小表示失真越小，等于0表示没有失真。可以将所有的失真函数排

2、列成矩阵的形式:［閃=d（a'，b）d{a2，b）d（a、,b2）啦A）♦A）紙，b'、咖,,力2)…d(an，bj平均失真度：由于久和~都是随机变量，所以失真函数6/(%，/^)!是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为伽為)/=1；=1n"z=^(bj/a^a^bj)f=l7=11.1.2信息率失真函数的定义由于互信息取决于信源分布和信道转移概率分布，当信源的分布概率已知时，互信息I是关于p(bj/ai)的下凸函数，存在极小值。该最小的互信息就称为信息率失真函数r(D):/?(£))=min/(X；y)对于离

3、散无记忆信源，R(D)可以写成：&v(D)=min/(X/V;K?V)p(fij/ai)EPDm1.1.3信息率失真函数的性质率失真函数的定义域：0min，/)max)上的严格单调递减函数。1.2离散信源的信息率

4、失真函数1.2.1离散信源信息率失真函数的参量表达式给定信源概率和失真函数,就可以求得该信源的R(D)函数。它是在保真度准则下求极小值的问题。但要得到它的显式表达式，一般比较闲难。通常用参量表达式。即使如此,除简单的情况外实际计算还是闲难的，只能用迭代逐级逼近的方法。用拉格朗日乘子法求解，并用S作为参量来表述率失真函数R(D)和失真函数D⑸的R(S)函数：/?(5)=5Z)(5)+S就是R(D)函数的斜率。1.2.2二元及等概率离散信源的信息率失真函数二元离散信源，当失真函数为对称失真函数，S与D的显式表达式为:S=-lna信息率失真函数的显式表达式为:/?(£))=—Inln

5、(l)—/?Inp——p)ln(l—p)+ln(l)=H(p)—H(—)，aaaaaa上式右边第一项是信源熵，第二项是因容忍一定的失真而可能压缩的信息率。若令D=0和£>=Dmax=邸，可以验证雌)=H(p)，R(Dmax)=0oD推广至N源等概率信源，S与D的显式表达式为：_1,a，R⑼lvl，)、(/卜1)(1—)D函数的显式表达式为：R(D)=Ina?4-—In—^―+(1-—)ln(l-—)»左式第一项是等a(n-1)aa概率信源的熵，后两项则是由于容忍一定失真可以压缩的信息率。1.3保真度准则下的信源编码定理设R(D)为一离散无记忆信源的信息率失真函数，对于任意允许平

6、均失真度£>20，和任意小的£<0，当/?〉/?(£>)。只耍信源序列长度L足够长，一定存在一种信源编码C,使译码后的平均失真度为：D(C)

7、被郎¥阁1雷达信息流程从信息传送流程看看，由于空中B标的多样性和战场环境的复杂性，信息量非常之大。对特征属性(机型、类别等)的信息传输与处理只冇在源头运用信源压缩理论，才能适应特征信息的适时、高速、人容量的要求，减少信道及后续处理系统可能的信息堵塞，完成对目标的正确识别。2.2信源压缩方法首先应用多重变换的方法从大量目标回波屮提取有用信息，进而归一化处理，建立目标模型库、信息库，最后从待识别的目标屮提取特征信息(图2)，与信息库屮的特征作相似性匹配，并按一定准则分类、识别。阁2多重变换识别模