离散信道的信道容量

《离散信道的信道容量》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章离散信道的信道容量第5章离散信道的信道容量内容提要信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研究在信道中传输的每个符号所携带的信息量，并定义信道容量。5.1信道容量的定义信息传输率是衡量通信质量的一个重要指标，定理1.1知：对于固定信道，总存在某种输入概率分布q(x)，使I（X;Y）达到最大值，定义这个最大值为信道容量，记为C。（比特/码符号）（5-2）使I（X;Y）达到信道容量的分布q(x)为最佳分布。5.2离散无记忆信道容量

2、的计算定理5.1如果信道是离散无记忆（DMC）的，则CNNC，其中C是同一信道传输单符号时的信道容量。下面一条定理给出了一维信道和N维信道的信道容量之间的关系。若（1）输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有：（2）对每个i,输入分布q(xi)可使I(Xi;Yj)达到信道容量C，则：==NCCNNC(5-5)综合式(5-4)和(5-5)，在信源和信道都离散无记忆的情况下，有CN=NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。5.2.1达到信道容量的充要条件定理5.2使平均互信息量I（X;Y）达到信道容量C的充要条件是信道输入

3、概率分布，简记为q(X)={q(x1),q(x2),…,q(xM)}满足：(5-6)介绍几种无噪信道，对于无噪信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：无损信道、确定信道和无损确定信道。【例5.2】无损信道无损信道的输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图5-2所示，信道输入符号集X={x1,x2,x3}，输出符号集Y={y1,y2,y3,y4,y5}，其信道转移概率矩阵记为，计算该信道的信道容量。图5-2无损信道x1x2x3y1y2y3y5y62/61/63/61/21/21y42.根据定义计算信道容量C从上式

4、可看出，求信道容量C的问题转化为寻找某种分布q(x)使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布时，熵值达到最大，即有1.先考察平均互信息量I（X;Y）=H（X）-H（X︱Y），在无噪信道条件下，H（X︱Y）=0，则平均互信息量I（X;Y）=H（X）3.根据平均互信息量I（X;Y）达到信道容量的充要条件式（5-6）对C进行验证：先根据计算出ω(yj)，j=1,2,3,4,5,6再计算出：5.2.2几类特殊的信道定义5.1如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入）对称。定义5.2如果信道转移概率矩阵P中，每

5、一列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。定义5.3如果信道转移概率矩阵P可按输出符号集Y分成几个子集（子矩阵），而每一子集关于行、列都对称，称此信道为准对称信道。1.准对称信道【例5.6】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3,y4}，给定信道转移概率矩阵，求该信道的信道容量C。这是一个准对称信道，根据定理5.3，当X等概分布，时，信道容量平均互信息量I（X;Y）=H（Y）-H（Y︱X）(5-7)定理5.3实现DMC准对称信道的信道容量的分布为等概分布。由，先算出(5-8)将式(5-8)和代入式(5-7)，可算得信道容

6、量=0.0325(比特/符号)【例5.8】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3}，给定信道转移概率矩阵，求信道容量C。设使平均互信息量达到信道容量的信源分布为q(x1)=，q(x2)=1-。由可算出2.信源只含两个消息平均互信息量I(X;Y)=H(Y)–H(Y︱X)=-(1-q)[log+(1-)log(1-)]根据定义，求C的问题就转化为为何值时，I(X;Y)达到最大值。令则信道容量C=I(X;Y)︱a=0.5=1-q计算信道容量C按下面步骤进行：(1)先验证信道转移概率矩阵P=[p(yj︱xi)]是方阵，且矩阵P的行列式︱[p

7、(yj︱xi)]︱≠0；3.信道转移概率矩阵为非奇异方阵(2)计算出逆矩阵P－１=[p-1(yj︱xk)]；(3)根据式（5-17），计算出；(4)根据式（5-18），计算出信道容量C；(5)验证是否满足q(xi)0，i=1,2,…,K。l先由式（5-16）计算出（yk）k=1,2,…,Kl再由式（5-21）计算【例5.9】给出信道转移概率矩阵，求信道容量C。（1）P矩阵的行列式，说明P是一个非奇异方阵。（2）P的逆矩阵（3）算出（4）信道容量（奈特/码符号）（5）下面验证是否q(xi)0，i=1,2l先根据