资源描述：
《第五章有噪信道编码(4)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、5.4有噪信道编码定理5.4.1有噪信道编码定理有噪信道编码定理(即香农第二定理)的证明方法中包含的基本思路有：(1)允许平均错误概率任意小而非零(2)连续使用信道许多次，即在n次无记忆信道中讨论，以便使大数定律有效n(3)随机选取码字，也就是在X和符号序列集中随机地选取经常出现的高概率序列作为码字(4)采用最大似然译码准则，也就是将接收序列译成与其距离最近的那个码字(5)随机选取码书，在随机选取编码的基础上计算码的平均错误概率；因为随机选取，所以使概率对称；并由此证明至少有一种好码存在。定理5.4有噪信道编码定理：设离散无记忆信道⎡⎤⎣⎦XP,,(yxY)，P(yx)为信道传
2、递概率，其信道容量为。当信息传输率CRC<时，只要码长足够长nnnR，总可以在输入X符号集中找到M(=2)个码字nR组成的一组码(2,n)和相应的译码规则，使译码的错误概率任意小(PE→0)。证明：设输入端有nR个消息，用M=2nRnR{12,,,"2}=⎡⎣12,⎤⎦表示消息的标号集。现编码就是将M个消息映射成n中不同的x序列，即编码X函数f:,,,()"nR→Xn。现在采用随机编码：122n在X中以输入概率分布P()x随机地选取x作为码字，尤其是按照概率分布nPP()x=∏()xii=1来选取这2nR个码字。n因为在X中ε典型序列是一些经常出现的高概率序列，现按上式概率选取
3、，所以选取的码字都是些ε典型序列。nR设码字为xx(12),,()",x(2)。这一组码字称之为码书。现将这nR个码字排成一阵列，每一行2为一码字:⎡xx12(11)()"xn(1)⎤⎢⎥⎢xx12()22()"xn()2⎥C=⎢####⎥⎢⎥nRnRnR⎢⎣xx12()()22"xn()2⎥⎦选取的M个码字接近等概分布，对码字ω有−nRnRP(ωω)=∈2⎡⎣12,⎤⎦而信道是次无记忆扩展信道，所以码字nω传送到输n出端Y集中的传递概率为nnPP()yx()ωω=∏()yiix()y∈Yi=1在接收端，接收到序列y后要译成发送的码字，nnRn相应的译码函数gY:,→{12,"
4、,2}，即将Y集映到M个消息集中。nR若ω∈⎡⎤12,发送，即码书中码字x(ω)被发送⎣⎦，接收到序列为y，根据译码函数nRgy()=∈ω⎡⎣12,⎤⎦为正确译码nRgy()=∈ω′⎡12,⎤而ω′≠ω为错误译码⎣⎦则消息ω发送，在接收端译码产生的错误概率为PPeω=≠{g(y)ωxx=(ω)}码的平均错误概率nRnR221PEee==∑PP()ωωnR∑Pω2ωω==11选择译码规则为“联合典型序列译码准则”，即nR对某接收序列y若存在ω∈⎡⎤12,，并且⎣⎦GXYnR()y,x(ω)∈n()；而没有其他任何k∈⎡12,⎤，ε⎣⎦其，(x,(kG)y)∈εn(XY)则将y译成
5、消息ω即gy()=ω。当采用联合ε典型序列的译码准则时就有二种情况会产生译码错误：(1)所发送的消息ω其码字x(ω)与接收序列不y构成联合ε典型序列，而可能有其他消息ω′≠ω的码字x()ω′与序列y构成联合ε典型序列，即(x,(ω)y)∈GXεn()Y而nR(x,()ωω′′y)∈≠GXεn(Y)ω,,ω′∈⎡⎣12⎤⎦(2)不但发送的消息ω其码字x(ω)与接收序列y构成联合ε典型序列，即(x,(ω)y)∈GXεn(Y)而且nR(x,(ωω′′)y)∈≠GX(Y)ω,ω′∈⎡12,⎤εn⎣⎦对所有可能选取的码书进行统计平均，即计算PErEE()==EP[]∑PCP()所有码书C
6、nRnR2211==∑∑∑P()CPnReeωnR∑P()CPωCC22ωω==11P由联合典型序列译码准则确定eω因为随机编码，各码字选取的机会均等，所以随机编码具有对称性，因此，在所有码书上求平均的平均错误概率与发送的特定消息ω无关，即∑PCP()eωC不依赖于消息ω假设消息ω=1被发送，得nR21PEre()=nR∑∑PCP()ω2ω=1C==∑PCP()ee11P=Pg{}()yxx≠1=()1C计算Pe1令事件E表示第个码字ixi()与接收序列构成yiC联合典型序列；令事件εE表示发送的第1个码字1x(1)与接收序列y不构成联合ε典型序列，即事件nREiG=∈{(x,
7、()y)(XY)}i∈⎡12,⎤inε⎣⎦CE=∈{}(x,(1)y)GX(Y)inε则PPge1=≠{(yxx)11=()}nR2CC=≤P()E123∪∪∪EE"∪E2nRPE()1+∑PE()ii=2根据定理5.1结论(1)PE(1)≥−1δ所以CPE(11)=−1PE()≤δ(对于足够大n)根据定理5.3可知P(EPiin)={(x,()y)∈≠GXε(Yi)}1−−nIXY⎡⎤⎣⎦();3ε≤2联合上面几个式子，得nR2−−nIXY⎡⎤⎣⎦();3εPe1≤+δ∑2i=2nR−−n
