信息论第四章概述课件.ppt

《信息论第四章概述课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章有噪信道编码第4章结论：在无噪无损信道上，只要对信源的输出进行恰当的编码，总能以信道容量C无差错地传输信息。实际信道都有噪声干扰。本章研究香农第二定理，即通信的可靠性问题。包括：(1)怎么使有噪信道中消息传输错误最少?(2)在有噪信道中无错误传输的可达的最大信息传输率是什么?第五章有噪信道编码第一节错误概率与译码规则第二节错误概率与编码方法第三节有噪信道编码定理第五节纠错编码的基本思想第四节联合信源信道编码定理第一节错误概率与译码规则（1）错误概率的相关因素错误定义：译码输出不等于信源输入产生原因：噪声干扰研究目的：减少错误，提高可靠性研究途径：信道的传递矩阵

2、信道统计特性错误概率当确定了输入和输出对应关系后，也就确定了信道矩阵中哪些是正确传递概率，哪些是错误传递概率。通信过程一般并不是在信道输出端就结束了，还要经过译码(或判决)过程才到达消息的终端(收信者)。因此译码过程和译码规则对系统的错误概率影响很大。例：有一个BSC信道，如图所示01011/31/32/32/3若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为：反之，若收到“0”译作“1”，收到“1”译作“0”，则平均错误概率为1/3，可见错误概率与译码准则有关。（2）译码规则定义其中F(bj)是单值函数，即对于每一个输出符号bj确定一个惟一的输入符号

3、ai与其对应。定义对输入符号集为i=1,2,…,r,输出符号集为i=1,2,…,s的离散单符号信道，制定译码规则就是设计一个函数F(bj)，使得：例：译码规则的数目和B：由于s个输出符号中的每一个都可以译成r个输入符号中的任何一个，所以共有rs种译码规则可供选择。可以设计译码准则A：(3)平均错误概率在确定译码规则F(bj)=ai后：若信道输出端接收到的符号为bj，则译为ai若发送端发送的是ai则为正确译码；否则为错误译码。收到bj条件下译码的正确概率即为发送端发送ai的概率：而错误译码的概率为收到后，推测发出除了之外其它符号的概率：条件错误概率可以得到平均错误译码

4、概率为：它表示经过译码后平均每收到一个符号所产生错误的大小，也称平均错误概率。（4）最小错误概率准则为使最小，就应选择为最大，即选择译码函数并使之满足条件：这种译码准则称为“最大后验概率准则”或“最小错误概率准则”。收到一个符号以后译成具有最大后验概率的那个输入符号。根据贝叶斯定律，上式也可以写成一般P(bj)不等于0，这样，最大后验概率准则就可表示为：当信源等概分布时，上式为：这称为最大似然译码准则，方法是收到一个后，在信道矩阵的第j列，选择最大的值所对应的输入符号作为译码输出。（５）最大似然译码准则本身不再依赖于先验概率P(ai)。但当先验概率为等概率分布时，它

5、使错误概率PE最小特点：（７）平均错误概率的计算按列计算平均错误概率求联合概率矩阵[P(ai)P(bj

6、ai)]中每列除去F(bj)=a*所对应的P(a*bj)以外所有元素之和。再对上述结果求和。按行计算平均错误概率求矩阵[P(ai)P(bj

7、ai)]各行中F(bj)=a*所对应的P(a*bj)以外所有元素之和；然后再对上述结果求和：若先验概率P(ai)=1/r，有：即在等先验概率分布情况下，译码错误概率可用信道矩阵中的元素P(bj

8、ai)和（除去每列对应于F(bj)=a*的那一项）来表示。根据最大似然准则可选择译码函数为B：（８）例题若采用前边讲到的译码函数A，则

9、平均错误率为：若输入不等概分布，其概率分布为：若采用最小错误概率译码准则，则联合矩阵为：所得译码函数为：C：平均错误率为：第二节错误概率与编码方法5.1节结论：1）消息通过有噪信道传输时会发生错误2）错误概率与译码规则有关噪声干扰：破坏了信号的内部结构　　产生畸变而造成信息的损失。提高信号抗噪声干扰能力：改造信号使其内部结构具有更强的规律性或相关性，当信号的部分结构被破坏时，仍能根据信号原有的内在规律和相关性来发现甚至纠正错误，恢复原来的信息。01010.990.990.010.01例：对于如下二元对称信道（１）重复编码没有使用的码字0010100111001011

10、10用作消息的码字000111输出端接收序列000001010011100101110111二元对称信道的三次扩展信道则：根据最大似然译码准则，可得译码函数为：F(000)=000F(001)=000F(010)=000F(011)=111F(100)=000F(101)=111F(110)=111F(111)=111最大似然译码根据接收序列中0多还是1多，0多就判作0，1多就判作1。择多译码错误概率降低了两个数量级，这种编码可以纠正码字中的一位码元出错。若重复多次可进一步降低错误率（2）重复编码产生的问题n很大时，信息传输率会降低很多在上例中：M=2当n=1时