信息论与编码3信道与信道容量ppt课件.ppt

《信息论与编码3信道与信道容量ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章信道与信道容量信道分类和表示参数离散单个符号信道及其容量离散序列信道及其容量连续信道及其容量13.1信道分类和表示参数信道分类用户数量：单用户、多用户输入端和输出端关系：无反馈、有反馈信道参数与时间的关系：固参、时变参噪声种类：随机差错、突发差错输入输出特点：离散、连续、半离散半连续、波形信道23.1信道分类和表示参数信道参数信道种类33.1信道分类和表示参数二进制对称信道（BSC）43.1信道分类和表示参数离散无记忆信道53.1信道分类和表示参数离散输入、连续输出信道63.1信道分类和表示参数波形

2、信道73.2离散单个符号信道及其容量信息传输率信道在单位时间内平均传输的信息量定义为信息传输速率R=I(X;Y)=H(X)－H(X/Y)比特/符号Rt=I(X;Y)/t比特/秒信道容量比特/符号（bits/symbol或bits/channeluse）83.2离散单个符号信道及其容量无干扰离散信道的信道容量93.2离散单个符号信道及其容量X、Y一一对应C＝maxI(X;Y)＝logn多个输入变成一个输出C＝maxI(X;Y)＝maxH(Y)一个输入对应多个输出C＝maxI(X;Y)＝maxH(X)103.

3、2离散单个符号信道及其容量对称DMC信道定义输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称对称的DMC信道如果输入、输出都对称113.2离散单个符号信道及其容量对称DMC信道例子123.2离散单个符号信道及其容量输入对称输出对称133.2离散单个符号信道及其容量对称信道容量143.2离散单个符号信道及其容量Eg.求信道容量153.2离散单个符号信道及其容量Eg.求信道容量信道输入符

4、号和输出符号的个数相同，都为n，且正确的传输概率为1－，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例163.2离散单个符号信道及其容量二进制对称信道容量C＝1－H（）173.2离散单个符号信道及其容量串联信道C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)…183.2离散单个符号信道及其容量Eg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量193.2离散单个符号信道及其容量信道容量I(X;Y)=1-H(

5、)，I(X;Z)=1-H[2(1-)]203.2离散单个符号信道及其容量准对称DMC信道如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道213.2离散单个符号信道及其容量准对称DMC信道容量对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量223.2离散单个符号信道及其容量Eg.求信道容量方法一：信道的输入符号有两个，可设p(a1)＝，p(a2)＝1－信道的输出符号有三个，用b1、b2、

6、b3表示233.2离散单个符号信道及其容量方法二当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4C=H(Y)-H(Y/X)=0.036bit/符号方法三将转移概率矩阵划分成若干个互不相交的对称的子集n为输入符号集个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数243.2离散单个符号信道及其容量方法三253.2离散单个符号信

7、道及其容量Eg.求信道容量263.2离散单个符号信道及其容量一般DMC信道1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法I(ai;Y)=C对于所有满足p(ai)>0条件的II(ai;Y)C对于所有满足p(ai)=0条件的I当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外273.3离散序列信道及其容量离散序列信道信道p(Y/X)YXX=(X1X2…XL)Xl{a

8、1,a2,…,an}Y=(Y1Y2…YL)Yl{b1,b2,…,bm}283.3离散序列信道及其容量离散无记忆序列信道11111进一步信道是平稳的293.3离散序列信道及其容量离散无记忆序列信道11111如果信道无记忆如果输入矢量X中的各个分量相互独立当信道平稳时CL=LC1，一般情况下，I(X;Y)LC1303.3离散序列信道及其容量扩展信道如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道11111BSC