资源描述：
《信息论与编码-第6章_有噪信道编码课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第六章有噪信道编码第6.1节错误概率与译码规则第6.2节错误概率与编码方法第6.3节有噪信道编码定理前一章已经从理论上讨论了,对于无噪无损信道只要对信源进行适当的编码,总能以信道容量无差错的传递信息.但是一般信道总会存在噪声和干扰,那么在有噪信道中进行无错传输可以达到的最大信息传输率是多少呢？这就是本章所要讨论的问题.本章的核心是香农第二定理.第六章有噪信道编码第6.1节错误概率与译码规则有噪信道传输消息是会发生错误的.为了减少错误,提高通信可靠性,就必须1)分析错误概率与哪些因素有关;2)有没有办法控制,如何控制;3)能控制到什么程度等问题.前边已经讨论过,错误概率与信道的统计特性有
2、关,但并不是唯一相关的因素,译码方法的选择也会影响错误率。信道统计特性信道统计特性用信道传递矩阵来描述,该矩阵确定了哪些是正确传递概率,哪些是错误传递概率.译码规则通信过程并非到信道输出端就结束,还要经过译码过程(或判决过程)才到达消息的终端(收信者).第6.1节错误概率与译码规则例:有一个BSC信道,如右图01011/31/32/32/3若收到“0”译作“0”,收到“1”译作“1”,则平均错误概率为:反之,若收到“0”译作“1”,收到“1”译作“0”,则平均错误概率为1/3.可见,错误概率与译码准则有关.第6.1节错误概率与译码规则译码规则定义译码规则:输入符号集:A={ai},i=
3、1,2,…,r;输出符号集:B={bj},j=1,2,…,s;译码规则:设计函数F(bj),它对于每一个输出符号bj,它对每个输出符号bj确定一个唯一的输入符号ai与其对应(单值函数).即F(bj)=ai译码规则的选择依据由于任何输出符号bj都可以译成任何输入符号ai,所以有rs种译码规则.译码规则的选择依据:使平均错误概率最小.译码准则可以为:A:和B:例6.1:平均错误概率有了译码规则F(bj)=ai以后,条件正确概率:收到bj译码为ai的概率p[F(bj)
4、bj]=p(ai
5、bj)条件错误概率:收bj后推测发出除ai之外符号的概率p(e
6、bj)=1-p(ai
7、bj)=1-p[F(
8、bj)
9、bj]平均错误译码概率:最小错误概率准则问题:如何选择p(ai
10、bj)?使p(e
11、bj)最小,就应选择p[F(bj)
12、bj]为最大,即选择译码函数F(bj)=a*并使之满足条件:p(a*
13、bj)≥p(ai
14、bj)forallai≠a*即收到符号bj以后译成具有最大后验概率的输入符号a*.该译码准则称为“最大后验概率准则”或“最小错误概率准则”.最大似然译码准则一般已知信道传递概率p(bj
15、ai)与输入符号先验概率p(ai),所以根据贝叶斯定律,上式也可以写成这样最大后验概率准则就表示为:选择译码函数F(bj)=a*,使满足p(bj
16、a*)p(a*)≥p(bj
17、ai)p(ai),
18、也即p(a*bj)≥p(aibj).最大似然译码准则如果输入符号等概发生,则选择译码函数F(bj)=a*,并满足p(bj
19、a*)≥p(bj
20、ai)该译码规则称为:最大似然译码准则.该准则表示收到bj后,在信道矩阵的第j列,选择最大的值对应输入符号a*作为译码输出.平均错误概率根据译码规则,可进一步写出平均错误概率PE,即而平均正确概率为平均错误概率也可写成:如果先验概率p(ai)相等,则:平均错误概率第6.1节错误概率与译码规则例6.1:根据最大似然准则可选择译码函数为B:若采用前述译码函数A,则平均错误率为:可见第6.1节错误概率与译码规则若输入不等概,仍可采用最大似然译码准则,其概
21、率分布为:第6.1节错误概率与译码规则若采用最小错误概率译码准则,其联合矩阵{p(aibj)}为:所得译码函数为:C:第6.1节错误概率与译码规则平均错误率为:可见,.所以输入非等概分布时最大似然译码准则获得的平均错误概率不是最小的.第6.1节错误概率与译码规则费诺不等式平均错误概率PE与译码规则(译码函数)有关.而译码规则又由信道特性来决定.由于信道中存在噪声,导致输出端发生错误,并使接收到输出符号后,对发送的是什么符号还存在不确定性.可见,PE与信道疑义度H(X
22、Y)有一定关系的.平均错误概率PE与信道疑义度H(X
23、Y)的关系:H(X
24、Y)≤H(PE)+PElog(r-1)该不等式
25、是费诺第一个证明的,又称费诺不等式.费诺不等式费诺不等式:H(X
26、Y)≤H(PE)+PElog(r-1)费诺不等式说明:接收到Y后关于X的平均不确定H(X
27、Y)可分为两部分,1、接收到Y后是否产生PE错误的平均不确定性H(PE).2、表示当错误PE发生后,到底是哪个输入符号发送而造成错误的最大不确定性,为PElog(r-1).第6.2节错误概率与编码方法一般信道传输时都会产生错误,而选择译码准则并不会消除错误,那么如何减少错误概率呢?下边讨论通
