无失真信源编码与香农第一定理ppt课件.pptx

《无失真信源编码与香农第一定理ppt课件.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1、无失真信源编码(1)信源编码信源编码——n次扩展信源到码表的映射(2)码表及其模型码表——n次扩展信源发出消息的码字为不等长的码元序列，码元序列中任何一个码元都随机取值于同一个二进制集合码表的模型——不等长二进制离散型随机变量序列C1C2…Cl~P(C1C2…Cl)=P(X1X2…Xn)不等长二进制随机变量序列C1C2…Cl的取值为信源发出消息的码字i1,i2,…,in=1,2,…,Nk1,k2,…,kl=1,2(3)平均码长与码率码长——n次扩展信源发出消息xi的码字ck的长度，用l(ck)表示，简记为lki,k=1,2,…,N

2、n（各码字的码长不一定相等）平均码长——对应于各消息码字的码长的数学期望，用L表示码率——对应于各消息中每一个符号码字的平均码长，用R表示，R=L/n二次扩展信源的某种信源编码平均码长码率R=L/n=1.29/2=0.645(bit)信源的某种信源编码平均码长码率R=L/n=1.3(bit)二次扩展信源的某种信源编码平均码长码率R=L/n=2.33/2=1.165(bit)问题：n次扩展信源各消息码字的码率，n越大，码率越小——应该小到什么程度？2、香农第一定理离散信源的熵为H(X)，对n次扩展信源进行信源编码，对任意给定的ε>0，只

3、要码率R≥H(X)+ε，当n足够大，编码无失真反之，如果码率R

4、源编码码率R的下界——香农界例3：(1)利用香农第一定理验证例2中对应于信源和二次扩展信源的信源编码无失真(2)找例2中信源的另一种编码，利用香农第一定理验证其失真(1)信源的熵例2中信源的该种信源编码的码率R=1.3(bit)>H(X)=1.157(bit)满足香农第一定理，例2中信源的该种信源编码无失真例2中二次扩展信源的该种信源编码的码率R=1.165(bit)>H(X)=1.157(bit)满足香农第一定理，例2中二次扩展信源的该种信源编码无失真(2)例2中信源的另一种编码平均码长码率R=L/n=1.1(bit)例2中信源的另

5、一种信源编码的码率R=1.1(bit)