第3章_离散信道及其信道容量1

《第3章_离散信道及其信道容量1》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章离散信道及其信道容量DUT信息论基础本章内容提要本章内容提要3.1信道的数学模型及分类3.2平均互信息及平均条件互信息3.3平均互信息特性3.4信道容量及其一般计算3.6离散无记忆扩展信道及其信道容量3.9信源与信道的匹配DUT信息论基础23.1信道的数学模型及分类1-p11数字信道X001-pP(X)信加调解解受信源信道信信道信源息密制调密信编码器编码器道译码器译码器源器器器器者噪声n(t)S(t)r(t)模拟信道+DUT信息论基础33.1信道的数学模型及分类先验概率离散信道一般模型p(a)i前向概率sp(bj/ai)1ＸＹj1P(bj/ai)rp(bj

2、)p(ai)p(bj/ai)ab后向i概1率，后验概率11abp(ab)22ijp(a/b)ijXYp(b)jp(a)p(b/a)ijirp(ai)p(bj/ai)arbsi1DUT信息论基础43.1信道的数学模型及分类２元对称信道(BSC)1ppPp1pDUT信息论基础53.1信道的数学模型及分类二元删除信道(BEC)p1p0P01qqDUT信息论基础63.2平均互信息及平均条件互信息11I(ai)logI(ai/bj)logp(ai)p(ai/bj)ＸP(b/a)Ｙjiab11ab22X

3、YabrsDUT信息论基础73.2平均互信息及平均条件互信息收到b后j关于a的i关于a的i不确定性不确定性I(a;b)I(a)I(a/b)ijiij收到b后j消除的关于a的i不确定性DUT信息论基础83.2平均互信息及平均条件互信息互信息量的性质1.对称性如果考虑信息的反向流通问题，即考虑事件a的出现i给出关于事件b的信息量，或者从a中获取关于b的信jij息量，即I(a;b)I(b;a)I(b)I(b

4、a)ijjiijiDUT信息论基础93.2平均互信息及平均条件互信息互信息量的性质2.值域为实数互信息量的值可为正数、负数或者0，取决于后验概率和先验概率的比值。

5、有如下几种情况。（1）P(a

6、b)=1，I(a；b)=I(a)。ijiji后验概率为1，说明收到b后即可以完全消除对信源是否发a的ji不确定度。其物理含义是信宿获取了信源发出的全部信息量，这等效为信道没有干扰。DUT信息论基础103.2平均互信息及平均条件互信息互信息量的性质（2）P(a)

7、b)<1，这时I(a)>I(a/b)，I(a；b)>0。iijiijij后验概率大于先验概率，说明收到b后对信源是否发a所进行判断ji的正确程度，要大于a在信源集合中的概率.i或者说收到b后多少还能消除一些对信源是否发a的不确定度，因ji此b获取了关于a的信息量。jiI(ai；bj)越

8、大，这种获取就越多。这正是实际通信时遇到的大多数情况，它对应着信道存在干扰，但信宿仍能从信源中获取信息量。从这里隐约可以看到，只要I(a；b)>0，就存在着能够通信的可ij能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。DUT信息论基础113.2平均互信息及平均条件互信息互信息量的性质（3）P(a

9、b)=P(a)，即I(b)=I(a

10、b)，I(a;b)=0ijiiijij后验概率与先验概率相等，说明收到b后对信源是否发a所进ji在信源集合中的概率是一样的；行判断的正确程度，和ai因此，它一点也不能消除对信源是否发ai的不确定度，也就是说从bj中获取不到关于ai的信息量；事实

11、上，假若a和b统计无关，即P(a,b)=P(a)P(b)，由贝叶ijijij斯公式容易推得I(ai；bj)=0；这种情况实际上是事件a和事件b统计无关，或者说信道使得ij事件ai和事件bj变成了两码事，信宿得到的信息仅仅是由信道特性给出的，与信源实际发出什么符号无关，因此完全没有信息的流通。DUT信息论基础123.2平均互信息及平均条件互信息互信息量的性质（4）0

12、b)

13、b)，I(a;b)<0ijiiijij后验概率小于先验概率，说明收到b后对信源是否发a所进行判ji断的正确程度，比a在信源集合中的概率还要小，这时判断信i源没有发a似乎更合理些，但不能

14、判断信源到底发了什么（特i别是对应于信源有多个符号时）。这种情况事实上给出了信息量，但流通的不是关于a的信息i量，而是a以外的事件的信息量。i综上所述，只有P(a

15、b)=P(a)，即I(a；b)=0时，才没ijiij有信息的流通。DUT信息论基础133.2平均互信息及平均条件互信息互信息量的性质3.不大于其中任一事件的自信息量由于P(a

16、b)1，ijI(a；b)log[1/P(a)]=I(a)ijii