资源描述：
《信息基础与编码理论 第五章.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息论与编码InformationTheory&Coding第五章离散信道及信道编码信道是信号从信源传送到信宿的通路。由于信道有干扰，使得传送的数据流(码流)中产生误码。误码的处理技术有纠错、交织、线性内插等。信道编码的目的是提高信息传输或通信的可靠性。信道编码的任务是降低误码率，使系统具有一定的纠错能力和抗干扰能力，提高数据传输效率。信道编码的过程是在源数据码流中加插一些码元，达到在接收端进行检错和纠错的目的。在带宽固定的信道中，总的传送码率是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。5.1信道分类1)狭义信道(物理信
2、道)有线信道:电缆光纤无线信道:中短波、微波2)广义信道(数学模型信道)调制信道:恒参数信道、变参数信道编码信道:有记忆信道、无有记忆信道3)按信道的信号分类离散信道、连续信道、半离散信道、波形信道4)按信道的用户数量分类单用户信道:多用户信道:电话、广播、电视、卫星、计算机网5.2信道模型噪声X介质缺陷YY输入符号集X={x1,x2,…,xn}输出符号集Y={y1,y2,…,ym}信道编码器调制器(写入头)信道译码器转移概率矩阵p(Y
3、X)解调器(写入头)信道(存储介质)信源编码信源译码1)离散无记忆信道(DMC:DiscreteMemorylessCh
4、annel)输入符号集X={x1,x2,…,xn}输出符号集Y={y1,y2,…,ym}信道的输出符号仅对应时刻的一个输入符号有关,而与以前的输入无关,这种信道称为无记忆信道或随机信道.信道的输入-输出特性用nm个条件概率p(yj
5、xi)来描述.p(yj
6、xi)组成的矩阵称为信道的转移概率矩阵.其中如果信道的转移概率矩阵每一行只有一个“1”,其余元素为“0”,则该信道无扰离散信道.反之,转移概率矩阵一行中有一个以上的元素不为“0”,则该信道有扰离散信道.y1x1y2x2y3……xnym离散无记忆信道DMC2)准对称信道定义1:如果信道转移概率矩阵P中，每一
7、行元素都是另一行相同元素的不同排列，则称该信道关于行（输入)对称。定义2:如果信道转移概率矩阵P中，每一列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。定义3:如果信道转移概率矩阵P可按输出符号集Y分成几个子集（子矩阵），而每一子集关于行、列都对称，称此信道为准对称信道。3)二进制离散信道（BSC：BinarySymmetricChannal）二进制离散信道是DMC的特例,一种准对称信道输入符号集X={0,1},输出符号集Y={0,1}1-p1转移概率矩阵00p2p1111-p2当p1=p2时,为二进制对称信道(BSC的特例)5.3信道消
8、息传输速率(1)定义:消息在信道传输过程中，单位时间内所传输的信息量,为消息在信道中的信息传输速率(信息率),表示为R。(2)量纲:a)当时间单位为码元等时:bit/码元或(bit/符号;bit/符号序列);b)当时间单位为秒:bit/s(或bps),信息率记为Rt。(3)计算式a)信道有扰信息传输率R为单位时间在信道上传输的信息量(取单位时间为一个符号的时间),则R=I(X;Y)。R=I(X;Y)=H(X)-H(X
9、Y)=H(Y)-H(Y
10、X)=H(X)+H(Y)-H(XY)(bit/符号时间)b)信道无扰H(X
11、Y)=0,则R=I(X;Y)=H(X),
12、即信道速率等于信源速率.若取码元时间为单位,则Rt=H(X)/b或Rt=H(X)/b(bit/秒)其中,b为码元所持续的时间._5.4信道容量定义:在不失真传输条件下,信道所允许的最大信息传输速率。1)DMC信道的容量输入符号集X={x1,x2,…,xq}输出符号集Y={y1,y2,…,yQ}如已知信道的转移概率p(yj
13、xi),则对应输入符号的概率分布p(xi)可以求出信道的传输信息I(X;Y)因为所以当信道的转移概率p(yj
14、xi)确定时,I(X;Y)的大小是由输入符号的概率分布p(xi)决定的.信道容量定义式:a)信道的转移概率p(yj
15、xi)确定,
16、寻求一种输入符号的概率分布p(xi),使得信道的传输信息I(X;Y)为最大值,该最大值称为信道容量,记为C单位:bit/信道符号或bit/符号b)若信道平均传输一个符号需要t秒种,则单位时间的信道容量记为CtCt=C/t单位:bit/S2)二进制对称信道容量对于二进制信源的各种信源空间,当p(0)=p(1)=1/2时,对应于二进制对称信道的平均互信息量为最大,即为二进制对称信道的信道容量.Px(0)=Px(1)=Py(0)=Py(1)=½I(X;Y)=H(X)-H(X
17、Y)或I(X;Y)=H(Y)-H(Y
18、X)∴H(Y)=H(X)=p(0)lb1/p(0)
19、+p(1)lb1/p(1)=1/2*lb1/2+1/2*lb1/2
