信息论第3章节离散信道与平均互信息量

《信息论第3章节离散信道与平均互信息量》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章离散信道与平均互信息量研究信源，研究的是信源输出的信息量，即信源的熵H(X)。研究信道，研究的是流经信道的信息量，即信道的输出Y与输入X之间的平均互信息量I(X;Y)。121.互易性2极值性3互信息量可正可负互信息量与平均互信息量3当集合X,Y相互独立时45对于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函数。对于固定的信源分布，I(X;Y)是信道传递概率p(y

2、x)的下凸函数。互易性、极值性、非负性、凸函数性6信息传输率信道中平均每个符号所能传送的信息量。信息传输速率信道在单位时间内平均传输的信息量。信道容量7信道容量P(x)I(p(x))

3、P1(x)P2(x)p(x)最佳输入分布1)对于给定的一个信道，存在输入分布p(x)使I(X;Y)达到最大,称为最佳输入分布（最佳信源）；2)信道容量表征信道传送信息的最大能力；3)C与p(x)无关，是关于信道p(y

4、x)的函数。8分类无损确定信道--无损信道<确定信道>信道容量H(X

5、Y)=0H(Y

6、X)=0H(X

7、Y)=0H(Y

8、X)>0H(X

9、Y)>0H(Y

10、X)=0最佳信源等概分布等概分布使信道输出为等概率分布p(y)=1/s的输入分布信道容量和最佳信源9离散对称信道二元对称信道的信道容量是C=1-H(P)。离散准对称信道实现离散准对称信道信道容量的输入符号

11、集的分布为等概分布。10信源和信道的匹配信息传输率R=I(X;Y)达到了信道容量C，则称此信源与信道达到匹配。否则，称信道有剩余→信道剩余度信道容量与信道实际传输的平均互信息量之差称为信道剩余度。11信道若Ｘi取值于Ａ，Ｙi取值于Ｂ，并且Xi的分布相同，Yj的分布相同，i=1,2,…Ｎ则称其为[X,p(y

12、x),Y]的Ｎ次无记忆扩展信道，记作离散无记忆N次扩展信道12信源信道都无记忆时，这相当于N个独立信道并联的情况。13无记忆N次扩展信道的容量最佳信源：无记忆，且各分信源Xi均取得最佳分布。当信源无记忆，且各分信源Xi均取得最佳分布时，信道容量平均互信息：当信源无

13、记忆时，14等号成立X、Y、Z构成马尔科夫链串联信道的平均互信息量15若级联信道中的X、Y、Z构成马尔科夫链则平均互信息量满足数据处理定理