信息论基础理论和应用第三版傅祖芸专题培训课件

《信息论基础理论和应用第三版傅祖芸专题培训课件》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

信息论基础理论和应用第三版(傅祖芸)

1信道的任务：以信号方式传输信息和存储信息。研究内容：信道中能够传送或存储的最大信息量，即信道容量。

23.1信道的数学模型和分类数字通信系统的一般模型

3一、信道的分类根据载荷消息的媒体不同邮递信道电、磁信道光信道声信道根据信道用户的多少单用户（两端）信道一个输入端和一个输出端的单向通信；多用户信道至少有一端有两个以上的用户，可以是双向通信；（计算机通信、卫星通信、广播通信等）

4根据输入端和输出端的关联无反馈信道有反馈信道信道参数与时间的关系固定参数信道时变参数信道

5根据输入输出信号的特点离散信道（离散随机序列-离散随机序列）连续信道（连续值随机序列-连续值随机序列）半离散半连续信道（离散随机序列-连续值随机序列）波形信道（模拟信道）（时间、取值连续随机信号-时间、取值连续随机信号）我们只研究：无反馈、固定参数的单用户离散信道。

6信道分析的方法信源输出的是携带者信息的消息，而消息必须首先转换成能在信道中传输或存储的信号，然后经过信道传送到接收者。一般认为，噪声或干扰主要从信道中引入，它使信号通过信道传输后产生错误和失真。因此，信道的输入和输出信号之间一般不是确定的函数关系，而是统计依赖关系。只要知道信道的输入信号、输出信号，以及它们之间的统计依赖关系，那么信道的全部特性就确定了。

7二、离散信道的数学模型条件概率P(y|x)描述了输入信号和输出信号之间统计依赖关系，反映了信道的统计特性。根据信道的统计特性的不同，离散信道又可分成3种情况：1.无干扰信道2.有干扰无记忆信道3.有干扰有记忆信道

8(1)无干扰(无噪声)信道信道中没有随机性的干扰或者干扰很小，输出符号y与输入符号x之间有确定的、一一对应的关系。即：y＝f(x)

9(2)有干扰无记忆信道信道输入和输出之间的条件概率是一般的概率分布。如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道。

10(3)有干扰(噪声)有记忆信道实际信道往往是既有干扰(噪声)又有记忆的这种类型。例如在数字信道中，由于信道滤波频率特性不理想时造成了码字间串扰。在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。

11三、单符号离散信道单符号离散信道特性：输入符号为X，取值于{a1,a2,…,ar}输出符号为Y，取值于{b1,b2,…,bs}条件概率：P(y|x)＝P(y=bj|x=ai)＝P(bj|ai)这一组条件概率称为信道的传递概率或转移概率。信道中有干扰(噪声)存在，可以用传递概率P(bj|ai)来描述干扰影响的大小。

12一般简单的单符号离散信道可用X,P(y|x),Y三者加以表述，其数学模型可以用如下概率空间[X,P(y|x),Y]也可用图形来描述：a1b1a2b2X..Y..arbsP(bj/ai)单符号离散信道

13信道矩阵（转移矩阵）模型一般离散单符号信道的传递概率可用矩阵形式表示，即矩阵P完全描述了信道的特性，可用它作为离散单符号信道的另一种数学模型的形式。矩阵P中元素有些是信道干扰引起的错误概率，有些是信道正确传输的概率。b1b2…bsa1P(b1|a1)P(b2|a1)…P(bs|a1)a2P(b1|a2)P(b2|a2)…P(bs|a2)…….……arP(b1|ar)P(b2|ar)…P(bs|ar)

14[例]二元对称信道，[BSC，BinarySymmetricalChannel]解：此时，X:{0,1};Y:{0,1};r=s=2，a1=b1=0；a2=b2=1。传递概率:p是单个符号传输发生错误的概率。（1-p）表示是无错误传输的概率。转移矩阵:01011－pa1=00=b11－pa2=11=b2pp

15符号“2”表示接收到了“0”、“1”以外的特殊符号02101p001－p11q1－q2[例]二元删除信道。[BEC，BinaryEliminatedChannel]解：X:{0，1}Y:{0，1，2}此时，r＝2，s＝3，传递矩阵为：

16（1）联合概率其中前向概率，描述信道的噪声特性后向概率（后验概率）输入符号的先验概率单符号离散信道的相关概率关系（2）输出某符号的概率

17含义：输出端收到的某符号，必是输入端某一符号输入所致。（3）后验概率且根据贝叶斯定理，可知：

183.2信道疑义度与平均互信息研究离散单符号信道的信息传输问题。一、信道疑义度先验熵：即信道输入信源X的熵H(X)是在接收到输出Y以前，关于输入变量X的先验不确定性。

19后验熵：接收到bj后，关于输入变量X的不确定性。后验熵是当信道接收端接收到输出符号bj后，关于输入符号的不确定性的信息测度。

20信道疑义度：后验熵在输出符号集Y范围内是随机量。对后验熵在符号集Y中求数学期望，即--信道疑义度：

21互信息量I(x;y)：收到消息y后获得关于x的信息量，即消除的不确定性量。互信息量表示先验的不确定性减去尚存的不确定性，是收信者获得的信息量。若互信息I(x;y)<0，说明在收到信息量y以前对消息x是否出现的不确定性较小；但由于信道噪声的存在，反而使得接收到消息y后，反而对x是否出现的不确定程度增加了。二、平均互信息

22平均互信息I(X;Y)：接收到符号Y后,平均每个符号获得的关于X的信息量，体现输入与输出两个随机变量间的统计约束程度。

23另一角度：平均互信息=通信过程所消除的不确定性：I(X;Y)是I(x;y)的统计平均，可以证明I(X;Y)≥0。若I(X;Y)=0，表示在信道输出端接收到符号后不获得任何关于输入符号的信息。

24I(X;Y)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(XY)其中：平均互信息与各类熵的关系

25维拉图：可用于各类熵与平均互信息之间关系H(X|Y)=H(X)-I(X;Y)损失熵/信道疑义度H(Y|X)=H(Y)-I(X;Y)噪声熵/散布度H(XY)=H(X)+H(Y)-I(X;Y)H(X)图中，左边的圆代表随机变量X的熵，右边的圆代表随机变量Y的熵，两个圆重叠部分是平均互信息I(X;Y)。每个圆减去I(X;Y)后剩余的部分代表两个疑义度。H(Y)H(X|Y)H(Y|X)H(XY)I(X;Y)

26两种特殊信道分析（1）离散无干扰信道(无损信道)信道的输入和输出一一对应，信息无损失传输。信道传递概率对应某y，只有一个p(x|y)!=0

27则平均互信息=H(X)=H(Y)损失熵(信道疑义度)=0噪声熵（散布度）=0I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)P(x|y)!=0,其它取值时为0

28无损信道特性在无损信道中，输入符号和输出符号之间一一对应，所以接收到Y后不存在对于输入X的任何不确定性，即信道疑义度（损失熵）等于零。同时，因为输入和输出符号之间一一对应，所以噪声熵等于零。这时，接收到的平均互信息量就是输入信源所提供的信息量。维拉图：I(X;Y)=H(X)=H(Y)H(X|Y)=H(Y|X)=0I(X;Y)=H(X)=H(Y)各集合完全重迭无损信道：

29（2）输入输出独立信道(全损信道)信道输入和输出没有依赖关系，信息无法传输，称为全损信道。损失熵(信道疑义度)=H(X)：噪声熵（散布度）=H(Y)：

30因此在全损信道中，接收到Y后不可能消除有关输入端X的任何不确定性，所以获得的信息量等于零。同样，也不能从X中获得任何关于Y的信息量。平均互信息I(X;Y)等于零，表明了信道两端随机变量的统计约束程度等于零。平均互信息=0：H(X|Y)=H(X)H(Y|X)=H(Y)I(X;Y)=0各集合完全独立全损信道：H(Y)=H(Y|X)H(X)=H(X|Y)

313.3平均互信息的性质（1）非负性I(X;Y)≧0,当X、Y统计独立时等式成立。证明：设，即：I(X;Y)≧0。当所有p(xy)=p(x)p(y)，等号成立。则必满足詹森不等式因而有如下关系

32（2）极值性即I(X;Y)≤min[H(X)，H(Y)]当H(X|Y)=0时，即信道信息无损时，等式成立。证明：前面已知I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)而0≤H(X|Y)，0≤H(Y|X)因此：I(X;Y)≤H(X)且I(X;Y)≤H(Y)即：I(X;Y)≤min[H(X)，H(Y)]表明：从一事件提取另一事件的信息量，至多只有另一事件的信息熵那么多，不会超过该事件所含有的信息量。当H(X|Y)=0时，I(X;Y)=H(X)，此时信道中信息无损失，接收到Y可获得关于X的平均信息量。H(Y)H(X|Y)H(Y|X)I(X;Y)H(X)

33（3）交互性（对称性）即I(X;Y)=I(Y;X)1）当X、Y统计独立时I(X;Y)=I(Y;X)=02）当信道为一一对应的无噪信道时I(X;Y)=I(Y;X)=H(X)=H(Y)因：从Y中提取X的信息量从X中提取Y的信息量H(Y)H(X|Y)H(Y|X)I(X;Y)H(X)

34（4）凸状性可知，平均互信息I(X;Y)只是信源X的概率分布P(x)和信道的传递概率P(y|x)的函数，即：I(X;Y)=f[P(x),P(y|x)]根据平均互信息表达式：

35定理3.1平均互信息I(X;Y)是输入信源的概率分布P(x)的∩型凸函数。（1）对固定信道，选择不同的信源(其概率分布不同)与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。（2）对于每一个固定信道，一定存在有一种信源处于某一种概率分布P(x)，使输出端获得的平均信息量为最大。

36例：对于二元对称信道01-p0pp11-p1如果输入信源符号分布X={w,1-w}，则

37而：所以：当信道固定时，p不变，平均互信息是信源分布的∩型凸函数（w的上凸函数），最大值为1-H(P)I(X;Y)w1/21-H(P)

38定理3.2平均互信息I(X;Y)是信道传递概率P(y|x)的∪型凸函数。当信源确定后，选择不同信道来传输同一信源符号，在信道输出端获得关于信源的信息量是不同的。对每一种信源都存在一种最差的信道，此时干扰(噪声)最大，而输出端获得的信息量最小。即：对于一个已知先验概率为P(X)的离散信源，总可以找到某一个转移概率分布的信道，使平均交信息量达到相应的最小值Imin。

39例：对于二元对称信道如果信源分布X={w,1-w}，则可得，当w固定，p=1/2时，平均互信息最小=001-p0pp11-p1I(X;Y)p1/2H(w)

40信息传输率信道中平均每个符号所能传送的信息量。而平均互信息I(X;Y)则反映了接收到一符号Y后平均每个符号获得的关于X的信息量。因此，信息传输率可作如下定义：信息传输率RR=I(X;Y)=H(X)–H(X|Y)(比特/符号)3.4离散信道的信道容量信息传输速率Rt：信道在单位时间内平均传输的信息量。即信道中平均每秒传输的信息量：Rt＝R/t=I(X;Y)/t=H(X)/t–H(X|Y)/t（bit/s）

41一、信道容量由于平均互信息I(X;Y)是输入随机变量的∩型凸函数，所以对一固定的信道，总存在一种信源的输入分布概率，使传输每个符号平均获得的信息量最大。信道容量：对任何一个固定信道，存在一个最大的信息传输率（比特/符号）与之相对应的输入分布概率P(X)则称为最佳输入分布。

42(Bit/s)Ct仍称为信道容量：若平均传输一个符号需要t秒钟，则信道在单位时间内平均传输的最大信息量为Ct：性质信道容量与输入信源的概率分布无关，只是信道传输概率的函数，只与信道的统计特性有关。信道容量是完全描述信道特性的参量，是信道的最大信息传输率。

43即：[例]二元对称信道容量的计算因此，二元对称信道的信道容量为：前述二元对称信道，I(X;Y)时，I(X;Y)最大。当(比特／符号)

441.无噪无损信道（无噪一一对应信道）二、简单离散信道的信道容量例如：也即

45其信道矩阵是单位矩阵：满足：损失熵H(X|Y)=0、噪声熵H(Y|X)=0，故I(X;Y)=H(X)=H(Y)H(X)H(Y)H(X|Y)=H(Y|X)=0I(X;Y)=H(X)=H(Y)则信道容量：维拉图：最佳输入分布：等概率分布

462.有噪无损信道信道特点：输入一个符号X对应若干个输出符号Y，且每一个X值所对应的Y值不重合。输入符号通过传输变换成了若干个输出符号，不满足一一对应关系，但这些输出符号仍可以分成互不相交的一些子集合。例

47一旦接收到符号Y后，可消除对X符号的不确定性。分析一下：损失熵H(X|Y)，噪声熵H(Y|X)信道矩阵特点：除了每行元素之和为1外，每一列中只有一个非零项。表明一个接收符号只对应一个发送符号，而一个发送符号对应多个接收符号，是一对多关系。

48所以：I(X;Y)=H(X)—H(X|Y)=H(X)且I(X;Y)=H(Y)—H(Y/X)0

49H(X)=I(X;Y)H(Y)H(X/Y)=0H(Y/X)>0I(X;Y)则信道容量为：最佳输入分布：等概率分布。维拉图

503.无噪有损信道（确定信道）信道特点：输入X与输出Y之间为多对一关系，接收到符号Y后不能完全消除对X的不确定性。前向概率P(y|x)=0or1后向概率P(x|y)≠0or1可计算损失熵H(X|Y)、噪声熵H(Y|X)。噪声熵（散布度）=0损失熵（信道疑义度）>0

51满足：I(X;Y)=H(Y)—H(Y/X)=H(Y)I(X;Y)=H(X)—H(X/Y)0H(Y/X)=0I(X;Y)维拉图

52三类信道特点：无噪无损信道：损失熵、损失熵皆为0；无损信道：损失熵H(X|Y)为0，噪声熵不为0；无噪信道:噪声熵H(Y|X)为0，损失熵不为0；这三类信道的信道容量的计算，从求平均互信息的极限问题退化为求信息熵的极值问题。

53信道特点：信道矩阵P中每一行都是由同一集合{p1’，p2’，…，ps’}中的诸元素不同排列组成；信道矩阵P每一列也都是由同一集合{q1’，q2’，…，qr’}中的诸元素不同排列组成。一般s≠r。当r=s，两个集合相同；若r

54非对称离散信道强对称信道（均匀信道）：若输入/输出符号个数相同，都等于r，且信道矩阵为特点：总的错误概率为p，对称地平均分配给r-1个输出符号。它是对称离散信道的特例。

55该项是固定X＝x时对Y求和，即对信道矩阵的行求熵。由于是对称信道，所以H(Y/X=x)与x无关，为一常数。则考察：对称离散信道的平均互信息I(X;Y)=H(Y)-H(Y/X)其中

56因此对称离散信道的信道容量应为：可以看出，这是在某种P(x)分布情况下，使得输出等概分布时，即H(Y)=logs时的信道容量。在什么样的信源输入情况下，信道输出等概分布呢？可以证明，输入等概分布时，输出也等概分布：若输入概率为等概率p(x)=1/r，则

57因是对称离散信道，信道矩阵的每一列元素之和相等：则有也就是：信道的输出也是等概分布的：

58注意：信道容量本身与输入无关；但只有当满足输入的等概分布时，信息传输率才能达到信道容量。那么对称离散信道的信道容量：

59在这个信道中，每个符号平均能够传输的最大信息为0.0817比特。[例]某对称离散信道的信道矩阵如下，求其信道容量。解：s=4,r=2

60特例：对于二元对称信道这个式子很重要。特例：对于强对称信道，其信道容量为：

61若信道矩阵按列可以划分成若干个互不相交的子集Bk，每一个子集都是对称信道矩阵，即B1∩B2…∩Bn=；B1∪B2…∪Bn=P由Bk为列组成的矩阵Qk是对称矩阵，则称该信道为准对称信道。如：按列可划分为几个对称信道矩阵：*(选讲)四、准对称离散信道的信道容量

62可以证明，达到信道容量的最佳输入分布是等概分布，准对称信道的信道容量为：设r是输入符号集的个数，为准对称信道矩阵中的行元素（各行元素集合相同）；设信道矩阵可划分为n个互不相交的子集（分别为对称信道矩阵）。是第k个子矩阵中行元素之和，是该矩阵中列元素之和：第k个矩阵的列元素之和（各列之和相同）第k个矩阵中的行元素之和（各行之和相同）

63例不是对称信道矩阵，但可分成两个互不相交的子集（对称信道矩阵）：

64*问题分析*由信道容量定义，其值是在固定信道条件下，对所有可能的输入概率分布p(x)求解平均互信息I(X;Y)的极大值。由于平均互信息I(X;Y)是P(x)的∩型凸函数，所以极大值一定存在。I(X;Y)是r个变量{P(a1),P(a2),…,P(ar)}的多元函数，并满足：P(ai)＝1。实质上为有约束条件下的多元函数条件极值问题。五、一般离散信道的信道容量可应用拉格朗日乘数法计算该条件极值。

65引入一个函数可求出达到极值的输入概率分布和拉格朗日乘子的值，然后再求解出信道容量C。λ为拉格朗日乘子，为待定常数。解方程组：

66其中而解拉格朗日方程组中的方程式

67由K=i时，偏导=1，其他，偏导=0分部求偏导

68则方程组可变为：又因为则由：交换求和次序，结果=1

69假设使得平均互信息达到极值的输入概率为{p1,p2,…,pr}，把上述方程组中前r个方程两边分别乘以达到极值的输入概率Pi，然后求和得则上式左边即是信道容量：则此时，上一页的方程组变为

70移项后，得这是含有s个未知数βj、r个方程的非齐次线性方程组。如果r=s，且信道矩阵P是非奇异矩阵，则此方程组有解，并且可求出βj，进而求出信道容量：

71由这个C值，就可以分别解得对应的输出概率分布：再根据方程组求出输入分布｛pi｝可解得达到信道容量的最佳输入分布{p1,p2,…pr}。

72信道容量计算步骤当信道矩阵P是非奇异矩阵，信道容量计算过程：1）计算βj2）计算信道容量C3）计算输出分布概率P(bj)4）计算输入分布概率P(ai)

73例离散无记忆信道a1a2a3a4b1b2b3b41/21/41/4111/41/41/4不是对称信道。r=s=4,信道矩阵非奇异。利用：

74则有计算信道容量计算输出概率分布可得

75计算最佳输入分布根据方程组求解输入分布可得：

763.6离散无记忆信道的扩展信道对于离散无记忆信道(DMC，DiscreteMemorylessChannel)，其传递概率满足：可用[X，P(y/x)，Y]概率空间来描述。设离散无记忆信道的输入符号集A＝{a1，…，ar}，输出符号集B＝{b1，…，bs}，信道矩阵为:

77则此无记忆信道的N次扩展信道的数学模型如图所示:而信道矩阵：其中：

78[例]求二元无记忆对称信道（BSC）的二次扩展信道。解：BSC的输入和输出变量X和Y的取值都是0或1，因此，二次扩展信道的输入符号集为A＝{00，01，10，11}，共有22＝4个符号，输出符号集为B＝{00，01，10，11}。由于是无记忆信道，可求得二次扩展信道的传递概率：信道矩阵：

79考察：无记忆信道的N次扩展信道的平均互信息

80定理3.5：对于一般离散信道，若信道的输入随机序列为X=(X1X2…XN)，通过信道传输，接收到的随机序列为Y＝(Y1Y2…YN)。其中，Xi，Yi是对应第i时刻的随机变量。1）假若信道是无记忆的，即信道传递概率满足：2）假若输入信源是无记忆的，即满足3）若信道和信源都是无记忆的，则：

81无记忆N次扩展信道的平均互信息1）信道的输入序列X=(X1X2…XN)中的随机变量Xi取自于同一信源符号集，并且具有同一种概率分布;2）通过相同的信道传输到输出端（信道传递概率不随i改变）随机向量Y=(Y1Y2…YN)中随机变量Yi也取自同一符号集，则由定理3.5，无记忆信道的N次扩展信道若信源也是无记忆的，则：说明：信源无记忆时，无记忆的N次扩展信道的平均互信息等于原信道的平均互信息的N倍。

82无记忆N次扩展信道的信道容量一般的离散无记忆信道的N次扩展信道的信道容量是某时刻i通过DMC传输的最大信息量信道的输入随机序列X=(X1X2…XN)在同一信道中传输，故Ci=C一般情况下，消息序列在离散无记忆的N次扩展信道中传输的信息量：I（X;Y）NC信道容量在信源是无记忆信源且每一个输入变量Xi达到最佳分布时达到。

83（选讲）3.7独立并联信道及其信道容量独立并联信道（并用信道）：设有N个独立信道，其输入分别为X1,X2,…,XN;输出分别为Y1,Y2,…,YN;传递概率分别是各信道之间独立，即每一个信道的输出Yi只与本信道输入Xi有关，与其他信道的输入和输出都无关。则这N个信道的联合传递概率满足：相当于单个无记忆信道应满足的条件。信道1X1Y1P(y1|x1)信道NXNYNP(yN|xN)……

84联合平均互信息把定理3.5中（无记忆信道情况）的结论推广到N个独立并联信道：即：联合平均互信息不大于各信道的平均互信息之和。因此，独立并联信道的信道容量满足：当各不同信道的输入符号Xi之间相互独立，且各信道的输入符号概率分布为各个信道的最佳输入分布时，独立并联信道的信道容量等于各信道容量之和，即：

853.8串联信道的互信息与数据处理定理串联信道在一些实际的通信系统中常常出现多个单独信道串联在一起的情况。如：微波中继接力通信、互联网通信等等。数据处理系统通信系统中，常需在信道的输出端对接收到的信号或数据进行适当的处理（如滤波、编码、压缩等）。数据处理可看成一种信道，它与前一级信道串接在一起，构成串联信道。如：卫星通信系统中地面站将接受的卫星数据脉冲信号进行滤波、量化判决处理后输出，构成一种串联信道。

86串联信道的数学模型设有一离散单符号信道Ⅰ，其输入变量为X，取值范围是{a1,a2,…ar}；输出变量Y，取值{b1,b2,…bs}；且信道的传递概率是设另有一离散单符号信道Ⅱ，其输入变量为Y，输出变量Z，取值{C1,C2,…Ct}。将两个信道串联起来，并设两信道的输入符号集都是完备集。信道Ⅱ的传递概率一般与前面的符号X、Y都有关，可记为信道1XYP(y|x)信道NZP(z|xy)

87特例：构成马尔可夫链的串联信道在两信道的串联信道中，若信道Ⅱ的传递概率使其输出Z只与输入Y有关，与前一级输入X无关，即满足则称两信道的输入和输出X、Y、Z序列构成马尔可夫链。串联信道的传递概率两个串联信道可等价成一个总离散信道，传递概率为：总信道XP(z|x)Z

88定理3.6对于串接信道X、Y、Z，平均互信息满足当且仅当P(z|xy)=P(z|y)时，等式成立。则总信道的传递矩阵为如果X、Y、Z满足马尔可夫链，则传递矩阵是其中：I（XY；Z）为联合变量XY与变量Z之间的平均互信息，也即接收到Z之后获得的关于联合变量XY的信息量。

89证明：而则应用詹森不等式，得

90因此并且，只有当P(z|xy)=P(z|y)时，等式成立：同理，也可得：并且，只有当P(z|xy)=P(z|x)时，等式成立。定理得证。等号成立条件：定理中等号成立要求随机变量Z只依赖于Y，与前一级的变量X无直接关系。即X、Y、Z间构成马尔可夫链。很多实际的串联信道中，随机变量Z往往只依赖于Y，而与变量X无关，则串联信道的输入输出变量之间构成马尔可夫链。

91定理3.7（数据处理定理）若X、Y、Z构成马尔可夫链，则平均互信息满足证明：1）因为X、Y、Z是马尔可夫链，故P(z|xy)=P(z|y)，则定理3.6的等式成立：又因其中等式成立的条件是P(z|xy)=P(z|x)。接收一个Y符号后获得的X的信息量大于等于接收一个Z符号后获得的X的信息量。信息有丢失。等号成立条件

922）因为X、Y、Z是马尔可夫链，从相反方向考察依赖关系，可知Z、Y、X也是马尔可夫链：同定理3.6证明方法，可得：等式成立条件P(x|yz)=P(x|y)而马氏链关系：等式成立条件P(x|yz)=P(x|z)则必有：由平均互信息的交互性，得：等式成立的条件P(x|yz)=P(x|y)=P(x|z)证毕。

93物理含义：由数据处理定理知，在串联信道中有：而这表明，每接收一个Z符号关于X的损失熵大于等于每接收一个Y符号后对X的损失熵，说明信息有所损失。又（损失熵）同样，由关系式可知：通过串联信道的多级传输，每传输一个符号所提供的信息量逐渐减少；串联级数越多，只会丢失更多的信息。

94如果满足：即串联信道的总传递概率等于第一级的传递概率，则通过串联信道传输，不会增加信息的不确定性（信息损失），则根据平均互信息定义有：特殊情况：对于第二级信道是无噪一一对应信道，这个条件是完全满足的。因为其信道矩阵为单位阵，使总信道的转移概率等于第一级信道的转移概率。另外可知：如果第二个信道是数据处理系统，则经过数据处理后，一般只会增加信息的损失，最多保持原来获得的信息，不可能比原来获得的信息更多。（损失熵相等）（平均互信息相等）

95由以上分析，有：数据处理定理的另一表述系统对接收到数据Y进行处理后，无论变量Z与Y之间的关系是确定函数关系还是概率关系，绝不会减少X的不确定性（丢失信息）。若要使数据处理后获得的关于X的平均信息保持不变，必须满足关系：

96例两个信道串联，并设其满足马尔可夫链，信道矩阵分别为a1a2b1b2b3C3C2C112/31/31/32/31/31/31/31/21/2XYZ串联方式为

97则显然可得分析：按马尔可夫链特点各矩阵元素：说明：此有噪声的串联信道不会增加信息的损失。刚好为第一级信道矩阵

98数据处理定理的多级串联信道推广对于一系列不涉及信源的数据处理，即对于一系列串接信道，有：信道1XY信道2Z信道3W……即有：信息不增性原理在任何信息传输系统中，最后获得的信息至多是信源提供的信息量。如果一旦在某一个过程中丢失一些信息，后续的系统无论怎样处理，如果不涉及丢失信息过程的输入环节，则再不能恢复已丢失的信息。

99多级串联信道的信道容量……显然，串联的无源数据处理环节数m越多，其信道容量（最大信息传输率）可能会越小，当串联信道级数无穷大时，信道容量就趋于0。信道1XY信道2Z信道3W……

100例信道容量分析：设两个离散二元对称信道，其串联信道如图。并设第一级信道的信源的概率空间为：分析：按马尔可夫链分析01-p0pp11-p1二元对称信道XY二元对称信道Z总信道矩阵为仍为二元对称信道

101根据平均互信息定义，可得可在串联级数m=1,2,…取不同的情况下计算平均互信息。显然，还可证明，信道容量为：当串联级数为m时：

102通信系统的数据处理定理一般通信系统模型如下图所示信源S(S1S2…SN)Y(Y1Y2…YN)编码X(X1X2…XN)译码信道信宿Z(Z1Z2…ZN)把随机序列（S,X,Y,Z）视为随机矢量序列，它们构成一个马尔可夫链：

103根据数据处理定理，对于符合马尔可夫链的通信系统模型满足如下关系：经过编码、译码处理信源S(S1S2…SN)Y(Y1Y2…YN)编码X(X1X2…XN)译码信道信宿Z(Z1Z2…ZN)

104物理含义：信息处理（如编码、译码等）只能丢失信息，不能增加或创造信息。若进行一一对应的变换处理，则上述等号成立，不会丢失信息。噪声信道的输出矢量Y包含的信源S的平均信息量，大于数据处理后所估算的矢量Z中所包含的信源S的平均信息量。然而，实际应用中往往为了获得更有用的、有效的信息，需要进行适当的数据处理（滤波、压缩等）。信源S(S1S2…SN)Y(Y1Y2…YN)编码X(X1X2…XN)译码信道信宿Z(Z1Z2…ZN)

1053.9信源与信道的匹配在一般情况下，当信源与信道相连接时，其信息传输率并未达到最大。若使信息传输率能达到或尽可能接近于信道容量，只有在信源取最佳分布时才能实现。“匹配”当信道确定后，信道的实际信息传输率与信源分布是密切相关的。当达到信道容量时，称信源与信道达到匹配，否则认为信道有剩余。

106信道剩余度相对信道剩余度——信道的实际信息传输率和信道传输能力之差。——可以用来衡量信道利用率的高低。特例在无损信道中，信道容量C＝logr(r是信道输入符号数)。而I(X;Y)＝H(X)，因而：信道的相对剩余度==信源的剩余度

107意义提高无损信道的信息传输率，就等于减少信源的剩余度。对于无损信道，可通过信源编码，减少信源剩余度，使信息传输率达到信道容量。因此在通信系统中，应将信源发出的符号转换成适合信道传输的符号，从而使信源与信道匹配。例某离散无记忆信源通过一个无噪无损二元离散信道进行传输。

108分析：此二元信道的信道容量为：C＝1(比特／信道符号)信源的信息熵为H(X)＝1.937(比特／信源符号)要使多符号信源在此二元信道传输，须对X进行二元编码：对于码(比特／信道符号)对于码(比特／信道符号)信道有剩余。因此，必须通过合适的信源编码，使信道的信息传输率接近或等于信道容量。

109无失真信源编码一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率。这就是香农无失真信源编码（无失真数据压缩）。它将信源输出的消息变换成适合信道传输的新信源消息，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。

110作业3-33-103-243-25