资源描述：
《信息论讲义-第六章(15讲)new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息理论基础信息理论基础第15讲北京航空航天大学201教研室陈杰回顾干扰信源信道信道信源信源C信宿编码编码译码译码通信系统模型2回顾1.编码器—信源符号集S=(s,s,…s)12q—码符号集X=(x,x…x)12r—代码组(SourceCode)C=(W,W,…W)12q—码字(Codeword)W=(x,x,…x)il1l2li2.分组码—奇异性(Non-singular)—唯一可译性(Uniquelydecodable)—即时码(Instantaneous)3回顾3.定长码编码定理1−ηε=H()sη根据正定理
2、，令p<δEDIs[()]DIs[()]iip≤<δN≥E22NεεδLrlogHS()Hs()RH=≥+()Sε≤Nη=RHs()+εDIs[()]2iηN≥⋅22HS()(1)−ηδ4回顾4.变长码编码定理HS()1LNHS()limLN=H(S)+>≥logrNNlogrN→∞Nlogr或1LLNHS()+>≥NHS()lim=H(S)rrrNNN→∞N5回顾5.变长编码方法5.1Shannon编码5.2Huffman编码—最佳码(紧致码)5.3Fano编码6回顾干扰信源信道信道信源信源C信宿编码编码译码译码
3、通信系统模型8第六章有噪信道编码•熟练掌握错误概率译码规则编码方法•一般掌握有噪信道编码定理•习题6.1，6.2，6.3106.1有噪信道编码问题•信道的任务是以信号方式传输信息•信道的输入端和输出端连接着编码器和译码器，形成了一个新的信道，即编码信道•通过信道编码实现信源与信道相匹配•基本思想：根据相关性来检测和纠正传输过程中产生的差错MXYM’编码器信道译码器信道编码器信道译码器编码信道116.1.1错误概率和译码规则•错误概率与信道统计特征有关•错误概率同译码过程和译码规则关系密切p=0.100信道Ip=0.
4、1p=0.9XYp信道Ip=0.911p126.1.2译码规则定义6.1.1设信道输入符号集为X=(x，i=1,2…,r)，输出i符号集为Y=(y，j=l,2,…,s)，若对每一个输出符号jy都有一个确定的函数F(y)，使y对应于唯一的一jjj个输入符号x，则称这样的函数为译码规则，即iF(y)=xi=1,2…,r和j＝l,2,…,sji显然，对于有r个输入、s个输出的信道而言，按上述定义得到的译码规则共有rs种。136.1.2译码规则(续)可选择27种译码规则F(y)=x11设有一信道，其信道矩阵为A:F(y)=
5、x22F(y)=x⎡⎤0.50.30.233⎢⎥P=0.20.30.5⎢⎥F(y)=x11⎢⎥⎣⎦0.30.30.4()B:Fy=x23F(y)=x32146.1.2译码规则(续)1、错误概率•在确定译码规则F(yj)＝xi，i=1,2…,r,j=l,2,…,s之后，若信道输出端接收到的符号为yj，则一定译成xi。•如果发送端发送的就是xi，即为正确译码；条件正确概率：p[()
6、](
7、)Fyy=pxyjjij•反之，若发送端发送的xk，且k≠i，即为错误译码。条件错误概率：p(
8、)1(
9、)1[()
10、]ey=−=px
11、y−pFyyjijjj经过译码后的平均错误概率pE为spEE==[(
12、)]peyjj∑p()(
13、)ypeyjj=1156.1.2译码规则(续)2、译码规则使平均错误概率p最小为选择译码规则的准则E(1)最大后验概率译码规则⎯理想观测者规则选择译码函数F(y)＝x*，使之满足条件j*p(x
14、y)≥p(x
15、y)对∀ijij(2)最大似然译码规则选择译码函数F(y)＝x*，使之满足条件j**p(y
16、x)p(x)≥p(y
17、x)p(x)对∀ijjii当信道输入符号等概分布时*p(y
18、xp)≥∀(y
19、)xi对jji166.1.
20、2译码规则(续)3、平均错误概率pE=∑p(x,y)=∑p(y
21、x)p(x)**Y,X−xY,X−x若输入为等概分布，则1pE=∑p(y
22、x)r*Y,X−x176.1.2译码规则(续)3、平均错误概率（举例）极大似然译码规则平均错误概率1pE(A)=∑p(y
23、x)3Y,X−x*译码规则1⎡⎛11⎞⎛11⎞⎛11⎞⎤信道矩阵⎧F(y1)=x1=⎢⎜+⎟+⎜+⎟+⎜+⎟⎥⎪3⎣⎝36⎠⎝63⎠⎝36⎠⎦⎡111⎤A:⎨F(y2)=x2⎢236⎥⎪1⎡1⎤1F(y)=x=3×=⎢⎥⎩33⎢⎥⎢111⎥3⎣2⎦2P=⎢62
24、3⎥⎢⎥1111⎢⎥⎧F(y1)=x1pE(B)=∑p(y
25、x)⎢⎣362⎥⎦⎪3Y,X−x*B:⎨F(y2)=x3⎪1⎡⎛11⎞⎛11⎞⎛11⎞⎤⎩F(y3)=x2=⎢⎜+⎟+⎜+⎟+⎜+⎟⎥3⎣⎝36⎠⎝62⎠⎝32⎠⎦1⎡125⎤2=++=⎢⎥3⎣236⎦3186.1.2译码规则(续)3、平均错误概率（举例）平均错误概率译码规则1F(y)=xpAE()
