离散信道的信道容量

《离散信道的信道容量》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章离散信道的信道容量1第五章离散信道的信道容量内容提要：信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研究在信道中传输的每个符号所携带的信息量，并定义信道容量。本章重点：1.信道容量的定义；2.平均互信息量达到信道容量的充要条件；3.几种特殊离散信道信道容量的计算。35.1信道容量的定义信息传输率是衡量通信质量的一个重要指标，由定理2.1知：对于固定信道，总存在某种输入概率分布q

2、(x)，使I（X;Y）达到最大值，定义这个最大值为信道容量，记为C。（比特/码符号）（5-2）使I（X;Y）达到信道容量的分布q(x)为最佳分布。5.2离散无记忆信道容量的计算定理5.1如果信道是离散无记忆（DMC）的，则CNNC，其中C是同一信道传输单符号时的信道容量。下面一条定理给出了一维信道和N维信道的信道容量之间的关系。若信道离散无记忆，则根据[定理2.4]有：若（1）输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有：（2）对每个i,输入分布q(xi)可使I(Xi;Yi)达到信道容量C，则：==

3、NCCNNC(5-5)综合式(5-4)和(5-5)，在信源和信道都离散无记忆的情况下，有CN=NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。5.2.1达到信道容量的充要条件定理5.2使平均互信息量I（X;Y）达到信道容量C的充要条件是信道输入概率分布，简记为q(X)={q(x1),q(x2),…,q(xM)}满足：(5-6)介绍几种无噪信道，对于无噪信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：无损信道、确定信道和无损确定信道。【例5.2】无损信道无损信道的输入符号集元素个数小于输

4、出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图5-2所示，信道输入符号集X={x1,x2,x3}，输出符号集Y={y1,y2,y3,y4,y5,y6}，其信道转移概率矩阵记为，计算该信道的信道容量。图5-2无损信道x1x2x3y1y2y3y5y62/61/63/61/21/21y42.根据定义计算信道容量C从上式可看出，求信道容量C的问题转化为寻找某种分布q(x)使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布时，熵值达到最大，即有1.先考察平均互信息量I（X;Y）=H（X）-H（X︱

5、Y），在无噪信道条件下，H（X︱Y）=0，则平均互信息量I（X;Y）=H（X）3.根据平均互信息量I（X;Y）达到信道容量的充要条件式（5-6）对C进行验证：先根据计算出ω(yj)，j=1,2,3,4,5,6再计算出：5.2.2几类特殊的信道定义5.1如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入）对称。定义5.2如果信道转移概率矩阵P中，每一列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。定义5.3如果信道转移概率矩阵P可按输出符号集Y分成几个子集（子矩阵）

6、，而每一子集关于行、列都对称，称此信道为准对称信道。1.准对称信道【例5.6】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3,y4}，给定信道转移概率矩阵，求该信道的信道容量C。这是一个准对称信道，根据定理5.3，当X等概分布，时，信道容量平均互信息量I（X;Y）=H（Y）-H（Y︱X）(5-7)定理5.3实现DMC准对称信道的信道容量的分布为等概分布。由，先算出(5-8)将式(5-8)和代入式(5-7)，可算得信道容量=0.0325(比特/符号)【例5.8】信道输入符号集X={x1,x2}，输出符

7、号集Y={y1,y2,y3}，给定信道转移概率矩阵，求信道容量C。设使平均互信息量达到信道容量的信源分布为q(x1)=，q(x2)=1-。由可算出2.信源只含两个消息平均互信息量I(X;Y)=H(Y)–H(Y︱X)=-(1-q)[log+(1-)log(1-)]根据定义，求C的问题就转化为为何值时，I(X;Y)达到最大值。令则信道容量C=I(X;Y)︱a=0.5=1-q计算信道容量C按下面步骤进行：(1)先验证信道转移概率矩阵P=[p(yj︱xi)]是方阵，且矩阵P的行列式︱[p(yj︱xi)]︱≠0；3

8、.信道转移概率矩阵为非奇异方阵(2)计算出逆矩阵P-1=[p-1(yj︱xk)]；(3)根据式（5-17），计算出；(4)根据式（5-18），计算出信道容量C；(5)验证是否满足q(xi)0，i=1,2,…,K。l先由式（5-16）计算出（yk）k=1,2,…,Kl再由式（5-21）计算【例5.9】给出信道转移概率矩阵，求信道