有噪信道编码定理.ppt

《有噪信道编码定理.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、第六章有噪信道编码一错误概率与译码规则二错误概率与编码方法三有噪信道编码定理四联合信源信道编码定理第六章有噪信道编码前面已经从理论上讨论了，对于无噪无损信道只要对信源进行适当的编码，总能以信道容量无差错的传递信息。但是一般信道总会存在噪声和干扰，那么在有噪信道中进行无错传输可以达到的最大信息传输率是多少呢？这就是本章所要讨论的问题。本章的核心是香农第二定理。第一节错误概率与译码规则为了减少错误，提高通信的可靠性，就必须分析错误概率与哪些因素有关，有没有办法控制，能控制到什么程度。前边已经讨论过，错误概率与信道的统计特性有关，但并不是唯一相关的因素，译码方法的选择也会影响错误率。第一节错误

2、概率与译码规则例：有一个BSC信道，如图所示01011/31/32/32/3若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为：反之，若收到“0”译作“1”，收到“1”译作“0”，则平均错误概率为1/3，可见错误概率与译码准则有关。第一节错误概率与译码规则我们来定义译码准则：输入符号集输出符号集译码规则例：第一节错误概率与译码规则译码规则的选择应该有一个依据，一个自然的依据就是使平均错误概率最小有了译码规则以后，收到的情况下，译码的条件正确概率为：可以设计译码准则：A：和B：第一节错误概率与译码规则而错误译码的概率为收到后，推测发出除了之外其它符号的概率：可以得到平均错误译码

3、概率为：它表示经过译码后平均没收到一个符号所产生错误的大小，也称平均错误概率。第一节错误概率与译码规则下面的问题就是如何选择，经过前边的讨论可以看出，为使最小，就应选择为最大，即选择译码函数并使之满足条件：也就是说，收到一个符号以后译成具有最大后验概率的那个输入符号。这种译码准则称为“最大后验概率准则”或“最小错误概率准则”。根据贝叶斯定律，上式也可以写成第一节错误概率与译码规则即：当信源等概分布时，上式为：这称为最大似然译码准则，方法是收到一个后，在信道矩阵的第j列，选择最大的值所对应的输入符号作为译码输出。可进一步写出平均错误概率：第一节错误概率与译码规则也可写成：上式也可写成对行求

4、和：如果先验概率相等，则：第一节错误概率与译码规则例：根据最大似然准则可选择译码函数为B：第一节错误概率与译码规则若采用前边讲到的译码函数A，则平均错误率为：若输入不等概分布，其概率分布为：第一节错误概率与译码规则若采用最小错误概率译码准则，则联合矩阵为：所得译码函数为：C：平均错误率为：第二节错误概率与编码方法一般信道传输时都会产生错误，而选择译码准则并不会消除错误，那么如何减少错误概率呢？下边讨论通过编码方法来降低错误概率。01010.990.990.010.01例：对于如下二元对称信道第二节错误概率与编码方法如何提高信道传输的正确率呢？可以尝试用下面的方法没有使用的码字001010

5、011100101110用作消息的码字000111输出端接收序列000001010011100101110111二元对称信道的三次扩展信道第二节错误概率与编码方法则：根据最大似然译码准则，可得译码函数为：F(000)=000F(001)=000F(010)=000F(011)=111F(100)=000F(101)=111F(110)=111F(111)=111此时，译码可以采用“择多译码”，即根据接收序列中0多还是1多，0多就判作0，1多就判作1。错误概率降低了两个数量级，这种编码可以纠正码字中的一位码元出错。若重复多次可进一步降低错误率第二节错误概率与编码方法但是又出现了一个新的问题

6、，n很大时，信息传输率会降低很多，在上例中：M=2当n=1时R=1当n=3时R=1/3当n=5时R=1/5......第二节错误概率与编码方法这显然是一个矛盾，有没有解决的办法呢？香农第二定理可以解决这一问题。我们分析前边的例子，我们只用了扩展信源的两个字符，因此信息率降低了，如果我们把8个字符全用上，信息传输率就会回到1，但是此时错误率为比单符号时还大三倍。我们可以总结如下：在二元信道的n次扩展信道中，选取其中的M个作为消息，则M大一些，跟着大，R也大，M小一些，跟着小，R也小。如果在上例中，取M＝4，如：取000011101110为消息，其他的不用，则则与M=8比较，错误率降低了，而

7、信息率也降低了。第二节错误概率与编码方法还存在另外一个问题，M=4时，有70种选取方法，而选取方法不同，错误率也不同。我们比较下面两种选取方法：第一种：000011101110第二种：000001010100可以计算得第一种方法的错误率为第二种方法的错误率为比较可知，第一种方法好，仔细观察发现，在第一种方法中，如果000有一位出错，我们就可以判定出错了；而在第二种方法中，如果000中任何一位出错，就变成了其他的合法的码字，我们无法判