[工程科技]信息论第三章

《[工程科技]信息论第三章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章信道与信道容量(3)《信息论与编码B》西安邮电学院通信与信息工程学院2012年10月目录信源与信道匹配2.3离散序列信道及其容量2.4独立并联信道及其容量2.1串联信道容量及数据处理定理2.42.12.32.42.12.33.42.13.73.32.53.5连续信道及其容量3.6信道的基本概念3.1离散信道的容量及其计算3.2复习1：离散信道的数学模型信道矩阵（转移矩阵):由转移概率组成。复习2：信道容量的定义由于平均互信息I(X;Y)是输入随机变量X的概率分布p(x)的∩型凸函数，所以对一固定的信道，总存在一种信源（

2、某种概率分布p(x)），使传输每个符号平均获得的信息量最大,即每个固定的信道，都有一个最大的信息传输率。定义一：信道容量定义为信息传输率或平均互信息的最大值。（比特

3、符号）(Bit

4、s)Ct仍称为信道容量若平均传输一个符号需要t秒钟，则信道在单位时间内平均传输的最大信息量为Ct：复习3:特殊信道容量的计算第1种：具有扩散性能的无损信道第2种：具有归并性能的无噪信道其信道矩阵是单位矩阵：第3种：具有一一对应的无损无噪信道(例3-2)□当信道输入等概率分布（输出也是等概率分布时）。1.对称离散无记忆信道容量（DMC）对称DMC信

5、道定义输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称对称的DMC信道如果输入、输出都对称，称之为对称信道。[例２]某对称离散信道的信道矩阵如下，求其信道容量。准对称信道是对称信道更为一般的情况，在计算信道容量时，需要将对称信道容量的计算方法作一个修正。定义：如果信道矩阵M的列可以划分为若干个互不相交的子集Bk，由Bk的列组成的新的子矩阵Mk是对称矩阵，则M所对应的信道称为准对称信道。2.准对称离散无记

6、忆信道容量其中：r是输入符号的个数，是准对称矩阵的行元素。假设准对称矩阵可以划分为n和不相交的子集，则NK是第K个子矩阵的行因素之和，MK是第K个子矩阵的列因素之和。可以证明达到准对称信道信道容量的输入分布是等概的，信道容量的计算如下（和对称信道相比作了一点修正）：开始学习新内容3.2.4一般离散无记忆信道容量P52■信道容量■约束条件：■求信道容量转化为求对信源概率分布的条件极值。解：引入辅助函数解：引入辅助函数解：引入辅助函数解：引入辅助函数(拉格朗日乘子法)■求信道容量，实际上是在约束条件下求多元函数极值问题。通常情况

7、下，计算量非常大。定理3.2I(X;Y)达到信道容量的充要条件是输入分布p(xi)满足以下充要条件：①p(xi)≠0时I(xi;Y)＝C②p(xi)=0时I(xi;Y)≤C某些特殊矩阵可以利用这个方法可以推导得到C。下面介绍一般离散信道I(X;Y)达到信道容量大的的充要条件：3.3离散序列信道及其容量一般离散无记忆信道的N次扩展信道离散无记忆信道的N次扩展信道离散无记忆信道(DMC，DiscreteMemorylessChannel)的N次扩展，其传递概率满足：仍可用[X，P(y

8、x)，Y]概率空间来描述。★设离散无记忆信道

9、的输入符号集A＝{a1，…，ar}，输出符号集B＝{b1，…，bs}，信道矩阵为:则此无记忆信道的N次扩展信道的数学模型如图所示:而信道矩阵：其中：根据平均互信息的定义，可得无记忆信道的N次扩展信道的平均互信息：若信道的输入随机序列为X=(X1X2…XN)，通过信道传输，接收到的随机序列为Y＝(Y1Y2…YN)。则分三种情况：①假若信道是无记忆的，即信道传递概率满足：则有：式中Xi，Yi是对应第i位的随机变量。若信源是无记忆的，则等式成立。直观分析：如果信源有记忆，前面传送的符号带有后面符号的信息，使得后面传送的符号的互信息

10、减少②假若信源是无记忆的，则有：其中Xi和Yi是随机序列X和Y中的第i位随机变量。直观分析：如果信道有记忆，后面传送的符号带有前面符号的信息，使得前面传送的符号的互信息增加。③若信道和信源都是无记忆的，则：一般情况下，消息序列在离散无记忆的N次扩展信道中传输的信息量：I（X;Y）NC即：CN=N×C。它表示离散无记忆信道的N次扩展信道的容量等于原单符号信道容量的N倍。所以，对于一般的离散无记忆信道的N次扩展信道，其信道容量是：3.4独立并联信道及其容量P58一般的独立并联信道如下图所示，又称并联信道在该信道中，每一个输出只

11、与本信道的输入有关，因此类似离散无记忆的条件，因此有：根据信道容量的定义有：注意：◆其中Ci是第i个信道的信道容量。所以并联信道容量不大于各个信道容量之和。◆只有在输入符号Xi相互独立并且满足各个子信道的最佳信源分布的时候才能取等号。3.5串联信道容量及数据处理定理P59串联信道示意图对于