资源描述：
《2015秋信息论第3章离散信道与平均互信息量ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第3章离散信道与平均互信息量研究信源，研究的是信源输出的信息量，即信源的熵H(X)。研究信道，研究的是流经信道的信息量，即信道的输出Y与输入X之间的平均互信息量I(X;Y)。1§3.1信道模型及其分类一、信道的数学模型信道是信息传输的媒质或通道。信道相当于一个数学变换，可以用条件概率描述p(y/x)。干扰输入事件的概率空间为[XP]输出事件的概率空间为[YP]2二、信道的分类1、根据输入输出事件的时间特性和集合的特点①离散信道：Ｘ和Ｙ都是离散事件集合，数字信道②连续信道：Ｘ和Ｙ都是连续事件集合，模拟信道③半连续信道：Ｘ和Ｙ一个是离散事件集合，一个是连续事件集32、根据输
2、入和输出的个数两端信道：输入和输出都只有一个事件集合。多端信道：输入和输出至少有一端有两个以上的事件集合，也称多用户信道。卫星通信上行线是多元接入信道，卫星通信下行线是广播信道。43、根据信道的统计特性恒参信道：信道统计特性不随时间变化。随参信道：信道统计特性随时间变化。4、根据信道的记忆特性无记忆信道：信道输出集Ｙ仅与当前输入集Ｘ有关有记忆信道：信道输出集Ｙ与当前和以前若干个输入集有关，例如由于滤波器的特性不理想存在码间干扰的数字信道。55、根据信道上是否存在干扰进行分类无扰信道：信道上无干扰，理想信道；有扰信道：信道上有干扰，大部分信道。两端、恒参、无记忆离散信道。
3、6三、离散信道数学模型信道p(y
4、x)Ｘ=X1X2…XKY=Y1Y2…YK信道特性可用转移概率p(y
5、x)=p(y1y2…yK
6、x1x2…xK)描述，信道数学模型为[Xp(y
7、x)Y]输入符号集A={a1,…,ar}，输出符号集B={b1,…,bs}输入序列Ｘ=X1X2…XK，取值x=x1x2…xK，xi∈A输出序列Y=Y1Y2…YK，取值y=y1y2…yK，yi∈B71、离散无记忆信道(discretememorylesschannel，DMC)若离散信道对任意N长的输入输出序列转移概率满足则称其为离散无记忆信道，其数学模型为[Xp(yk
8、xk)Y]对任意给定的n和m
9、，若离散无记忆信道还满足p(yn=bj
10、xn=ai)=p(ym=bj
11、xm=ai)则称此信道为平稳的离散无记忆信道，其信道转移概率不随时间变化。平稳的离散无记忆信道只需研究单个字符的传输。我们所讨论的离散无记忆信道一般均是平稳的。8（1）一般单符号离散信道输入随机变量为X，取值为x，输出随机变量为Y，取值为y，信道传递(转移)概率为信道ＸYp(y
12、x)2、单符号离散信道9信道传递概率实际上是一个传递概率矩阵，称为信道矩阵。信道矩阵P每个元素均大于等于零,每行元素之和等于1。10（2）二进制对称信道。简记为BSC。其信道矩阵为：11（3）二进制删除信道。其信道矩阵为：12
13、（4）二进制纯删除信道。其信道矩阵为：0013离散信道中主要的概率关系①先验概率②前向概率（即信道传递概率）信道ＸYp(y
14、x)14③联合概率④后向概率（又称后验概率）⑤输出符号概率信道ＸYp(y
15、x)153.2互信息量与平均互信息量3.2.1互信息量定义3.1对两个离散随机事件集X和Y，事件yj的出现给出关于事件xi的信息量，定义为互信息量，其定义式为xiyj互信息量等于自信息量减去条件自信息量，是获得的信息量，或消除的不确定性的度量。16例：某地二月份天气构成的信源为现有人告诉你“今天不是晴天”。收到这个消息后，各种天气发生的概率为：17由y1分别得到x2、x3、x
16、4各1比特的信息量，也可以理解为y1使x2、x3、x4不确定度各减少1比特18互信息量的性质互信息量的互易性由事件yj提供的有关事件xi的信息量等于由事件xi提供的有关事件yj的信息量。证明：当事件xi，yj统计独立时，互信息量为零。不能从观测yj获得关于另一个事件xi的任何信息。证明：xiyjxiyj19任何两个事件之间的互信息量不可能大于其中任一事件的自信息量。自信息量I(xi)是为了确定事件xi的出现所必须提供的信息量，也是任何其他事件所能提供的最大信息量。xiyj20互信息量可正可负当后验概率p(xi
17、yj)大于先验概率p(xi)时，互信息量I(xi;yj)大于
18、零，为正值，意味着事件yj的出现有助于肯定事件xi的出现；当后验概率p(xi
19、yj)小于先验概率p(xi)时，互信息量I(xi;yj)小于零，为负值，意味着事件yj的出现不利于肯定事件xi的出现。造成不利的原因是存在信道干扰。21Y=危险X=危险；Y=安全X=安全若信道无干扰22Y=安全X=安全；信道故障（设备故障，人员问题）XX信道错误，X,Y取值相反23互信息量是定量地研究信息流通问题的重要基础。但只能描述信源发出某个具体消息，信宿收到某具体消息时流经信道的信息量，是随和变化的随机变量。不能从整体上作为信道中信息流通的测度。平均
