信息论课件3 信息论 第五章.ppt

《信息论课件3 信息论 第五章.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章有噪信道编码5.1错误概率和译码规则5.2错误概率与编码方法5.3联合典型序列5.4有噪信道编码定理5.5联合信源信道编码定理5.1错误概率和译码规则我们知道通信过程并不是在信道输出端就结束了，还要经过译码过程才到达消息的终端，因此译码过程和译码规则对系统的错误概率影响很大。例如：已知二元信道(1)发送符号“0”,接收到符号仍为“0”的概率是(2)译码时，收到符号“0”时，若译码器译为符号“0”，则正确译码的概率是(3)发送“0”收到“1”,译成“1”，概率为此译码规则下，平均错误概率发送“0”，译成“1

2、”的概率发送“1”,译成“0”的概率译对概率新译码规则：接收符号“0”，译成符号“1”接收符号“1”，译成符号“0”结论：错误概率既与信道的统计特性有关，也与译码规则有关．输入符号集输出符号集s个输出符号中的每一个都可以译成r个输入符号中的任何一个，共有　种译码规则可供选择．1、定义：译码规则设计一个函数　，它对于每一个输出符号　确定一个唯一的输入符号　与其单值对应，即２、平均错误概率好的译码规则、其平均错误概率应该最小。译码的条件正确概率：收到符号　　一定译成　，而发送的就是　　，为正确译码。条件错误概率e表

3、示除了　　　以外的所有输入符号的集合。平均错误概率：译码后平均接收到一个符号所产生的错误大小。要使　最小，应使　　最小，也就是使　　　　为最大。如果采用这种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的平均错误概率就能最小．称“最大后验概率准则”或“最小错误概率准则”。选择译码函数且满足条件:３、最大似然译码准则若先验概率等概率则选择译码函数的条件应满足这样定义的译码规则称“最大似然译码准则”在输入符号等概率时，这两个译码准则是等价的．根据最大似然译码准则，我们可以直接根据信道矩阵

4、选定译码函数．即收到　后，译成信道矩阵P的第j列中最大的那个元素所对应的信源符号．当　不是等概分布时，仍可采用最大似然译码准则，但不一定能使最小．4、平均错误概率的进一步推导平均正确概率例5.1已知信道矩阵，制定译码规则，求出错误概率．解：根据最大似然译码准则选择译码函数(1)另讨论选择译码规则由最大似然译码准则，仍选第(1)组时要使　最小，必须使用最小错误概率准则当输入不是等概率分布译码函数为：当输入不是等概分布时，最大似然译码准则的平均错误概率不是最小的．5.2错误概率与编码方法5.2.1简单重复编码的错误

5、概率5.2.2简单重复编码的信息传输率5.2.4最小距离译码准则5.2.3不同编码的错误概率5.2.5用汉明距离计算5.2.1简单重复编码的错误概率1、输入码字为单符号“0”,“1”选择最佳译码规则5.2错误概率与编码方法通信系统一般要求如何提高2、消息重复发送3遍——“000”，“111”二元对称信道的三次扩展信道二元对称信道的三次扩展信道根据最大似然译码准则，确定译码函数3、当时当时当时当时5.2.2简单重复编码的信息传输率(1)n=1(无重复),M=2,设t=1秒时(2)当n=3,M=2时显然结论:简单重

6、复编码方法,在使降低的同时,也使信息传输率R降低很多.见图5.55.2.3不同编码的错误概率1、二元对称信道的三次扩展信道错误概率增大到单符号时的三倍!但2、在三次扩展信道的输入取M=4方案Ⅰ：方案Ⅱ：5.2.4最小距离译码准则1、码字距离——汉明距离长度为n的两个符号序列(码字)和之间的距离是指和之间对应位置上不同码元的个数，用符号表示。这种码字距离通常称为汉明距离。方案Ⅰ：方案Ⅱ：结论：码书中最小距离越大，受干扰后，越不容易把一个码字错成另一码字，因而错误概率小。即：码C的最小码距越大，越小。2、最小距离在

7、某一码书中，任意两个码字的汉明距离的最小值称为该码C的最小距离。表示传输过程中传输到有个位置发生了错误，个位置没有错误.设二元对称信道单个符号传输错误概率为p,则编码后信道的传递概率(无记忆信道)3、最小距离译码准则(1)最大似然译码准则使满足信道扩展矩阵列元素中最大元素对应的显然,越小,越大.用汉明距离表示最大似然译码准则:使满足即最小距离译码准则——在二元对称信道中，最小距离译码准则＝最大似然译码准则在任意信道中，也可采用最小距离译码准则，但它不一定等于最大似然译码准则。5.2.5用汉明距离计算——二元对称

8、无记忆信道，输入等概分布总结：编码方法：使选取的M个码字中任意两两不同码字的距离尽量大。译码方法：把译成与它最邻近的那个发送码字，即使尽量小。5.3联合典型序列5.3.1定义联合典型序列5.3.2三个定理5.3.1定义联合典型序列无记忆n次扩展信道5.3联合典型序列单符号离散信道定义：n长的序列对满足(1)是典型序列;(2)是典型序列;(3)对于任意小的正数，存在n使则称序列对为联合典