北邮信通院信息论第七章剖析.ppt

《北邮信通院信息论第七章剖析.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、第7章有噪信道编码信息与通信工程学院许文俊第7章有噪信道编码本章主要内容：1.概述2.常用译码准则3.费诺(Fano)不等式4.序列的最佳译码准则5.有噪信道编码定理§7.1概述为提高传输的可靠性，必须进行信道编码。信道编码就是按一定的规则给信源输出序列增加某些冗余符号，使其变成满足一定数学规律的码序列（或码字），再经信道进行传输。（注意：与信源编码比较）信道译码就是按与编码器同样的数学规律去掉接收序列中的冗余符号,恢复信源消息序列。一般地说，所加的冗余符号越多，纠错能力就越强，但传输效率降低。因此在信道编码中明显体现了传输有效性与可靠性的矛盾。在数据传输系统中译码过程总要比

2、编码过程复杂,这样采用的译码算法对系统的性能影响很大。本节主要内容：1.错误概率2.译码（判决）规则7.1.1错误概率●两种错误概率的描述：误码率和误字率。误码率是指传输码元出错概率（对二进制也称误比特率）.误字率是指码字出错概率。●一个码字一般由多个码元构成，任何一个或多个码元出错都使得码字出错。所以对同一通信系统，误字率总比误码率高。●错误概率的大小与信噪比大小有关。信噪比大，则错误概率小；反之信噪比小，则错误概率大。●错误概率还与译码规则的选择有关。适当地选择译码规则使平均错误概率最小是提高传输可靠性的重要措施之一。7.1.2译码（判决）规则1.单符号译码规则设信道的输

3、入与输出分别为X和Y，，分别取自符号集A和B，且，定义译码（判决）规则为对于所有（7.1.1）含义：当接收到就判定发送符号是因此，每一个信道输出都必须有一个信道输入与之对应。所以译码（判决）规则是一个有唯一结果的函数。2．错误概率的计算设信道的转移概率为，采用的译码规则为：对于所有（7.1.2）（7.1.2）式可简记为。在接收到的条件下，若实际上发送的是，则译码正确，反之就出现差错。因此满足译码规则（7.1.2）的条件错误率为：正确率为：所以平均错误率为：（7.1.3）（7.1.3）式的含义是，如果输出y与未被y作为译码结果的输入同时出现就属于译码错误。还可计算平均正确率为（

4、7.1.4）§7.2常用译码准则为提高可靠性，所采用的译码准则都应该使平均错误概率最小。最常用的就是最大后验概率译码准则和最大似然译码准则。本节主要内容：1.最大后验概率译码准则2.最大似然译码准则7.2.1最大后验概率译码准则对所有i，当满足（7.2.1）时，则选择译码函数为F(y)=a*，称此准则为最大后验概率(MAP，MaximumaPosteriori)准则。MAP准则就是将具有最大后验概率的信道输入符号作为译码输出。由（7.2.1）式，得所以，对所有i，当（7.2.2）时，则选择译码函数为F(y)=a*。其中，为似然比，（7.2.2）式表示的是似然比检验。可见，MA

5、P准则可归结为似然比检验。MAP准则是使平均错误最小的准则,原因：7.2.2最大似然译码准则若输入符号等概，即p(ai)=1/r时，（7.2.2）变为：对所有i,当（7.2.3）则选择译码函数为F(y)=a*，称此准则为最大似然译码准则。注：1）当输入符号等概或先验概率未知时，采用此准则。2）当输入符号等概时，最大似然准则等价于最大后验概率准则。例7.2.1设信道输入X取值为(a1,a2,a3),信道输出Y取值为(b1,b2,b3)，转移概率矩阵如下求利用最大似然（ML）译码准则的判决函数。解:每个输出符号给定，当y=b1时，p(y/a1)=0.5,p(y/a2)=0.2,p

6、(y/a3)=0.3，利用（7.2.3），得判决函数,F(b1)=a1，同理得其它最大似然判决函数：F(b2)=a3（或F(b2)=a1或F(b2)=a2），F(b3)=a2。两种准则使用要点：1．MAP准则i）由转移概率矩阵的每行分别乘p(x)，得到联合概率矩阵；ii）对于每一列（相当于y固定）找一个最大的概率对应的x作为译码结果；iii）所有译码结果所对应的联合概率的和为正确概率,其他矩阵元素的和为错误概率。2．ML准则i）对转移概率矩阵中每列选择最大的一个元素对应的x作为译码结果；ii）输入符号等概时，所有译码结果所对应的转移概率的和再乘以1/r为正确概率，其他矩阵元素

7、的和再乘以1/r为错误概率。例7.2.1（续）求最大似然准则的错误率。解：错误率PE=1-(0.5+0.3+0.5)/3=0.5667。例7.2.2已知信道的转移概率矩阵为现有两种译码规则：规则A：规则B：设输入等概，求两种译码规则的错误率。解：设判决函数为，根据（7.1.3），得§7.3费诺(Fano)不等式主要内容：1.信道疑义度2.费诺(Fano)不等式3.序列费诺(Fano)不等式7.3.1信道疑义度设信道的输入与输出分别为X、Y，定义条件熵H(X

8、Y)为信道疑义度。它包含如下含义：1）信道疑义