第四章信道ppt课件.ppt

《第四章信道ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章信道(2)无噪无损信道（X,Y一一对应）H(Y

2、X)=0噪声熵H(X

3、Y)=0疑义度I(X;Y)=H(X)=H(Y)输入等概率时，信道的传输能力达到信道容量C=maxI(X;Y)=lognXY111各种特殊信道的信道容量计算1.三种极限情况n>m无噪有损信道多个输入变成一个输出，如下图XY噪声熵H(Y

4、X)=0疑义度H(X

5、Y)≠0H(X)>H(Y)I(X,Y)=H(Y)-H(Y

6、X)I(X,Y)=H(X)-H(X

7、Y)信道容量C=maxI(X;Y)=maxH(Y)一个输入对应多个输出，每个输入对应的输出不同，如下图XYn

8、X

9、)≠0疑义度H(X

10、Y)=0I(X,Y)=H(Y)-H(Y

11、X)I(X,Y)=H(X)-H(X

12、Y)H(X)<=H(Y)信道容量C=maxI(X;Y)=maxH(X)2、对称DMC信道（n个输入，m个输出）对称信道转移概率矩阵中每行的元素相同，每列的元素也相同则条件熵H(Y

13、X)=-∑p(xi)∑p(yj

14、xi)logp(yj

15、xi)＝∑p(yj

16、xi)logp(yj

17、xi)j=H(Y

18、xi)上述条件熵与信道输入符号的概率p(xi)无关ji如：信道容量为：C=maxI(X;Y)=max[H(X)-H(X

19、Y)]=max[H(Y)-H(Y

20、X)]=maxH(Y)-

21、H(Y

22、X)p(xi)求信道容量，就是求最佳分布时的最大输出熵。由离散信源最大熵定理：输出分布等概率时，输出熵最大。关键是求输入如何分布时，输出等概率分布？p(xi)p(xi)p(xi)若输入等概率分布p(xi)=1/n,则由于转移概率矩阵的列对称，所以p(yj)=∑p(xi)p(yj

23、xi)=[∑p(yj

24、xi)]/nii与j无关，即输出符号等概率分布。由于信道的对称性，要使输出等概率分布，输入也为等概率分布。所以，对称DMC信道的容量为：C=log2m-H(Y

25、xi)=log2m+∑pijlogpijj=1m输入符号等概率分布输出符号等概率分布因此要使I最大

26、需H(Y)最大输出符号等概率分布输入符号等概率分布结论：对于对称的离散无记忆信道，当输入符号等概时，达到信道容量。二元对称信道（BSC)容量：例：信道转移概率矩阵为：P＝3131616161613131求其信道容量。C=log2m-H(Y

27、xi)=log2m+∑pjilogpji=2-1/3log26-2/3log23=0.0817bit/符号m=4,3、准对称DMC信道再进一步放松条件若P(yj/xi)不满足对称条件，但是将信道矩阵按列分割为多个子矩阵：若所有子阵满足对称性条件，则称P为准对称信道。例：显然子阵P1,P2满足对称性（行，列）对于单消息、离散、准

28、对称信道，当且仅当信道输入为等概率分布时，信道达容量值:准对称信道有下列定理：NK是第k个子矩阵中行元素之和,MK是第k个子矩阵中列元素之和,r是不互相交的子集个数4.二元对称删除信道输入集合中只有两个消息信道的输入消息集合中只有两个消息的情况信道的消息集合X中只有X1和X2两个消息，并设它们的概率为P(X1)＝α，P(X2)＝1－α。根据给定的信道传输概率集合或信道矩阵，可求得各个联合概率P(xy)和各个信宿消息的概率P(y),它们都以α为参变量的函数然后用公式I(X；Y)＝H(Y)－H(Y

29、X)C是I(X；Y)对某个信源概率矢量P＝(P(X1),P(X2))

30、的极大值,故可用偏导为零的方法,即，得出I(X；Y)极大值时的α值，代入I(X；Y)中，可得C＝Rmax＝I(X；Y)max＝可以分解成可以分解成解法二：利用准对称信道当输入等概时，达到信道容量为：其中n为输入符号集个数；Nk为第k个子矩阵中行元素之和；Mk为第k个子矩阵中列元素之和；r为子集个数例：已知信道转移概率矩阵为P＝0.50.30.20.30.50.2求其信道容量。0.50.30.30.50.20.2分解成：n=2,N1=0.5+0.3=0.8,M1=0.5+0.3=0.8N2=0.2,M2=0.2+0.2=0.4r=2（5）信道矩阵为非奇异方阵若有扰

31、离散信道矩阵为非奇异H，其逆矩阵中第j行第i列元素为qij（i,j=1,…,M),则有其信道容量为达到此信道容量的信道输入消息集合的概率分布一般信道I(X;Y)是输入概率分布的上凸函数，存在极大值，并满足，可用拉格朗日乘子法来计算极值。两边同乘p(xi)并对i求和：根据以下两式：可得：一般信道容量的步骤1.求2.求C，3.求p(yj)4.求p(xi)【注意】求得p(xi)后，需要验证p(xi)≥0，否则C不存在，需要重新调整p(xi)再重新求解，一般通过迭代算法求解。串联信道和并联信道的信道容量串联信道（级联信道）串联信道的信道矩阵П为信道1的信道矩阵П1与信道

32、2的信道矩阵П2的乘积，