信息论与编码第四章.ppt

《信息论与编码第四章.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、第4章离散信道及其容量4.1信道的数学模型及其分类4.2离散无记忆信道4.3信道的组合4.4信道容量4.5信源和信道的匹配2〉信道的作用在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。1〉什么是信道？信道是传送信息的载体——信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。3〉研究信道的目的在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。

2、信道输入量X输出量Yp(Y

3、X)4.1信道的数学模型及其分类4.1.1信道的数学模型这个数学模型也可用数学符号表示为根据输入、输出信号的时间特性和取值特性（1）离散信道：输入和输出的随机序列取值都是离散的信道（2）连续信道：输入和输出的随机序列取值都是连续的信道（3）半离散(半连续)信道：输入变量取值离散而输出变量取值连续输入变量取值连续而输出变量取值离散4.1.2信道的分类（4）波形信道：-输入和输出都是时间的实函数x(t),y(t)根据信道输入、输出的随机变量个数的多少划分：（1）单符号信道：-指信道的输入和输

4、出端都只用一个随机变量表示。（2）多符号信道：-指信道的输入和输出端用随机变量序列或随机矢量表示。根据信道的统计特性可将信道分为：（1）恒参信道：-信道的统计特性不随时间而变化，（2）随参信道-信道的统计特性随时间而变化根据信道用户数量的不同，可将信道分为：（1）两端（单用户）信道：-这是只是一个输入端和一个输出端的单向通信的信道。-这是在输入端或输出端中至少有一端有两个以上上的用户，并且还可以双向通信的信道。目前实际的通信信道绝大数都是多端信道。多端信道又可分为多元接入信道与广播信道。（2）多段（多用户）信道：根

5、据信道的记忆特性，又可将信道划分为：（1）无记忆信道：-此种信道的输出不仅与当前的输入有关，而与过去的输入和输出有关。-此种信道的输出仅与当前的输入有关，而与过去的输入和输出无关。（2）有记忆信道：一个实际信道可同时具有多种属性，根据信道的统计特性（即条件概率）的不同，离散信道又可分为（1）无干扰（无燥）信道信道中没有随机性的干扰，输出的信号与输入信号之间有确定的对应关系，即，故条件概率满足：（2）有干扰无记忆信道这种信道存在干扰，为实际中常见的信道类型，其输出符号与输入符号之间不存在确定的对应关系，但信道任一时刻

6、的输出符号仅依赖于同一时刻的输入符号，是无记忆信道。利用概率关系转换的方法可以证明无记忆信道的条件概率满足：（3）有干扰有记忆信道这是更一般的情况。这种信道某一时刻的输出不仅与当时的输入有关，还与其他时刻的输入及输出有关，对它的分析也更复杂。本章所讨论的信道仅限于无记忆、恒参、单用户的离散信道。它是进一步研究其他各种类型信道的基础。4.2离散无记忆信道4.2.1单符号离散无记忆信道信道条件概率：此时称为信道转移概率，且满足：一般单符号信道的转移概率可用如下的信道转移矩阵表示：…（输入）（输出）若记则信道转移矩阵可表

7、示为：且满足及表示了转移矩阵中每一行之和等于1。记信道输入与输出的联合概率为，则有：1、信道疑义度定义4.1设离散信道的输入、输出分别为和信道的后验概率为，定义条件熵为该信道的信道疑义度。如果信道是一一对应的无扰信道，一般情况下有说明信源符号经过有干扰信道传输后总要残留一部分不确定性。根据条件熵总是不大于无条件熵，因此同理有：2、平均互信息代表接收到输出符号以前关于信源的先验不确定性，而代表接收到输出符号后残存的关于的不确定性，两者之差即应为传输过程获得的信息量。根据这个含义可得因此，平均互信息有叫做信道的信息传输

8、率，可记为。信息=先验不确定性－后验不确定性=不确定性减少的量有扰信道干扰源信源X信宿Y通过信道传输消除了一些不确定性,获得了一定的信息。平均互信息的另一种定义方法：维拉图H(X

9、Y)H(X)H(Y)H(XY)H(Y

10、X)I(X;Y)4.2.2离散无记忆信道的扩展1、N次扩展信道数学模型简单的离散无记忆信道，其输入和输出实际上是单个消息符号。这种模型是讨论次扩展信道的基础。信道矩阵为：且满足则此无记忆信道的次扩展信道的数学模型根据信道的无记忆特性，有其信道转移矩阵为：且满足：2、次扩展信道平均互信息其中【例4.1】

11、考虑二元无记忆对称信道的二次扩展信道。二元对称信道如图所示。对于二元无记忆信道的输入和输出随机变量和都取值于同一符号集，因此，二次扩展信道的输入、输出符号集为，各有个。根据信道的无记忆特性，求得二次扩展信道的传递转移概率最后求得二元对称信道德二次扩展信道的信道矩阵为：二元对称信道的二次扩展信道如图所示：定理4.1：设离散信道的输入序列X＝(X1X2…XN)通