信息科学基础讲义三卷16-27

《信息科学基础讲义三卷16-27》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、周次：第16次时间：2007年11月6日早卩：第4章离散信道及其容量P98〜103作业：4.31,4.38提纲：五、串联信道和数据处理定理1、串联信道的数学模型2、串联信道的信道容量3、数据处理定理好，咱们开始吧。诸位同学，大家上午好！咱们这次课讲本章最后一个蕊^题串联信道和数据处理定理，在开始新的内容之前，按照惯例咱们先课前回顾。］巴上次课的内容复习一下。上次课的内容是第4章的两个问题，多符号b散信道和独立并联信道的容量。大家需要掌握的问题有这样几个。1、多符号离散信道的数学模型是什么？2、多

2、符号无记忆信道的信道转移概率与单符号信道转移概率的关系是？3、分三种情况：信源无记忆、信道无记忆和信源/信道都无记忆，说明多符号平均互信息量与单符号平均互信息量之间的关系是什么？4、离散无记忆N次扩展信道的容量是多少？5、独立并联信道的数学模型是什么？6、独立并联信道的容量是多少？好，这些问题都是上次课的重点内容，希望大家能够掌握。咱们开始今天的内容。上次课程我们在单符号离散信道的基础上介绍了两种更复杂的信道：多符号离散信道和独立并联信道。这次课程我们继续介绍另一种比较复杂的？青况:串联信道。石

3、赢可t次课讲的并联信道和这次课讲的串联信道其实都属于信道组合的问趣。信道组合在通信工程中有很多实际的应用价值，如果待发送的消息比较多时，可能会用到两个或多个信道并行传输，这就是并联信道。你可以把计算机的外部存储设备和计算机主板之间连接的数据线(IDE数据线)看成是若干个BSC信道的并联。有时信息在远距离通信时需要中继，这种情况可以看成是信道串联。比如，传播电视信号的电视塔或者卫星和地面站形成的覆盖全球的通信网络。我们已经讨论了独立并联信直的情况。这次课我们讨论第二种信道组合——串联信道。数V模型

4、我们首先考察一下串联信道的数学模型。串联信道的数学模型可以用下面的图示描述，整个信道是由第I级信道和第U级信道串联起来的。信道I的特征是条件概率P(y/x),信道U的特征是条件概率p(z/xy)o等价于VX>信道〃(力丿串联后总的信道特征仍然是一个条件概率，这个条件概率是p(y/x).p(z/xy)还是p(z/x)?应该是条件概率p(z/x)Q当然条件概率P(於丿称为串联信的信道转移概率。问题是串联后总的条件概率P(力丿与串联的两级信道的转移概率之间有什么关系？p(z/x)=^p(yz/x)Y二

5、工P(Wx)p(〃xy)Y相当于：［加必丿L=［〃()％丿L%［卩(必刃L可以看出串联后信道的转移矩阵是被串联的两级信道转移矩阵的乘积。问题是通常我们只知道第二级信道的转移概率p(z/y),如果p(z/xy)=p(z/y),那么我们讨论的问题就得到简化了。我们要讨论的串联信道正是这类特殊的串联信道，X、Y、Z构成马氏链。也就是信道II的转移概率满足条件：p(z/xy)=p(z/y),它的含义是信道II的输出Z只与它的当前输入Y有关，与更以前的输入X没有关系，就是马尔可夫过程的后无效性。我们通常把

6、时间离散的马尔可夫过程称为马尔可夫链或马氏链。这样串联信道的转移矩阵就是两个独立信道的转移矩阵的乘积：[p(z/x)rxt=[p(y/x)rxsX[p(z/y)]sxto平均互信息。屋的定理下面我们先研究一下串联信道中平均互信息量的一些定理，以这个为基础再来讨论串联信道的容量问题。定理1:/(XY;Z)>/(y；Z)当且仅当p(z/xy)=p(z/y)时等号成立含义：一般情况下X、Y联合关于Z的信息量大于等于Y关于Z信息量,只有在X、Y、Z构成马氏链时，X、Y联合关于Z的信息量等于Y关于Z信

7、息量，这正反映了后无效性的特点。证明：I{XYZ)=H(Z)-H(Z/XY)/(Y;Z)=H(Z)—H(Z/Y)•:H(Z/XY)H(Z)-H(Z/Y)?.z(xy；z)>/(r；z)等号成立的条件：/7(z/xr)=/7(z/y)p(z/xy)=p(z/y)定理说明，当X、Y、Z构成马氏链时，X、Y联合关于Z的信息量等于Y关于Z信息量，这正反映了马氏链的后无效性的特点。对于串联信道三个平均互信息量/(x；y)、/(Y；Z)、z(x；z)之间又有什么关

8、系呢？定理2:如果X、Y、Z构成马氏链，则有含义：当x、y、z构成马氏链时，经过第I级信道的信息量z(x；r)和经过第u级信道的信息量/(r；z)要大于等于经过串联后整体的信息量/(x；z)。通过整个串联信道的信息量一般要比经过每一级信道的信息量要小，最多保持相等。证明：/(X;YZ)=/(X;Z)+/(X;Y/Z)=/(x；r)+/(x；z/r)/(x；z/y)=J>ow)iogi、j*p(z/y)=0.•.7（x；z）+z（x；y/z）=z（x；y）vz(x；y/z)>o同理可得：/（x；z