信息论讲义_第十五讲

《信息论讲义_第十五讲》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息理论基础信息理论基础（第十五讲）（第十五讲）授课教师：于泽电子信息工程学院201教研室第六章有噪信道编码内容提要6.1噪声信道编码问题6.2编码方法和错误概率—简单重复编码—消息符号个数—（5.2）线性码—线性分组码—汉明距离6.3有噪信道编码定理—香农第二定理及其逆定理6.4错误概率上界26.2编码方法与错误概率引入：1、影响平均错误概率p的因素E①译码规则②信道统计特性——信道传递概率2、选择最佳译码规则只能有限减少平均错误概率pE3、需要通过改变信道传递概率进一步减少pE①物理上通过更换信道改变信道传递概率减少pE②数学上通过信道

2、编码改变信道传递概率减少pE36.2编码方法与错误概率•编码方法介绍⎯简单重复编码⎯(n．k)线性码46.2.1简单重复编码二元对称信道矩阵⎡0.990.01⎤P=⎢⎥⎣0.010.99⎦最佳译码规则⎧F(b1)=a1⎨F(b)=a⎩22输入等概分布条件下，平均错误概率为11−2pE=∑p(y

3、x)=[0.01+0.01]=10rY,X−x*256.2.1简单重复编码1、三次简单重复编码：规定信源符号为“0’’(或“1”)时，则重复发送三个“0”(或“1”)，此时构成的新信道可以看成是二元对称信道的三次扩展信道没有使用发送端用作接收端的码字

4、消息的码字接收序列a1=000β1=000a=001β=00122a=010β=01033a=011β=01144a=100β=10055a=101β=10166a=110β=11077a=111β=1118866.2.1简单重复编码信道矩阵变成32222223⎡⎤ppppppppppppppP=⎢⎥32222223⎣⎦ppppppppppppppF(β)=αF(β)=α设输入符号为等概分布，1148F(β)=αF(β)=α采用极大似然译码规则2168（即大数逻辑译码）F(β3)=α1F(β7)=α8F(β)=αF(β)=α5188平均错误

5、概率132−4pE=∑p(βj

6、αi)=p+3pp≈3×10MY,X−x*76.2.1简单重复编码2、增加重复编码次数n随着重复编码次数n增大，平均错误概率p下降，E信息传输率也将减少。−2n=1p=10R=1ElogMlog21R===n=3p≈3×10−4R=1nnnE3−51n=5p≈10R=E简单重复编码5−71n=7p≈4×10R=E当n→∞时，7−81n=9p≈10R=pE→0R→0E9−101n=11p≈5×10R=E1186.2.1简单重复编码3、简单重复编码的纠检错能力¾不重复对这种情况可得结论：不重复，方法简单，但没有任

7、何抗干扰能力，既不能发现，更不能纠正错误。¾重复一次可以换取在传输过程中允许产生一个错误(收端能发现它)，但不能纠正这个错误。96.2.1简单重复编码¾重复二次当信道上信噪比足够大时，认为码字中产生的错误一般不多于一个码元，那么，如果接收到“001”、“010”、“100”，我们就可判定实际传输的是“000”；同样，如接收到“011”、“101”、“110”，则可判定为“111”。因此多余码元使我们可检出一个错，并且还可纠正这个错误，这样就提高了信息传输的可靠性。106.2.1简单重复编码例设有一离散无记忆信道，其信道矩阵为⎡11⎤000⎢

8、⎥22⎢⎥⎢11⎥000⎢22⎥⎢⎥11P=⎢000⎥⎢22⎥⎢11⎥⎢000⎥⎢22⎥⎢11⎥⎢000⎥⎣22⎦找出一个码长为2的重复码，其信息传输率为0.5*lb5。当输入码字为等概分布时，如果按极大似然译码准则设计译码器，求译码器输出端的平均错误概率。116.2.2消息符号个数1、信道的信息传输率logMR=n其中，M是信源输出消息序列个数；n是信道编码码字长度；三次简单重复编码M=2，n=3，R=1/3，p=3×10-4E从2n=8个可用的码字中选出了M=2个用于信道传输显然，增加M可以增大R，然而p也将增大。E126.2.2消息符

9、号个数2、消息符号个数对于三次简单重复编码n=3，可供选择的码字有8个，从中选取M个进行传输，输入符号等概率①M=2，有p≈3×10-4，R=1/3bits/符号E②M=4，有p≈2×10-2，R=2/3bits/符号E③M=8，有p≈3×10-2，R=1bits/符号E消息符号个数M增大，能够增大信息传输率，然而平均错误概率p将增大。E能否实现R保持一定，香农第二定理而p→0的信道编码?有噪信道编码13E6.2.3（5.2）线性码1、特点：通过适当增加n和M，得到具有较低平均错误概率p、较好信息传输率R的信道编码。E2、编码方法：选取M=

10、4、n=5，则信息传输率为logM2R==bit/符号n5输入符号编码方法a=aaaaai=1,2,3,4ii1i2i3i4i5⎧a=a⊕ai3i1i2其中aik是第k个分量，k