信息论与编码-第三章节

《信息论与编码-第三章节》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章--信道与信道容量信道的基本概念离散单个符号信道及其容量离散序列信道及其容量连续信道及其容量信源与信道的匹配信息论与编码-信道与信道容量由于一般信道中总是存在噪声和干扰，在这样的信道中进行信息传输会造成损失。那么在有噪信道中怎么能够使消息通过传输后发生的错误最少？在有噪信道中无错误传输可以达到的最大信息率是多少？这就是本章研究的内容。信息论与编码-信道与信道容量信道分类和表示参数通信系统中，信道是非常重要的部分。信道的任务是以信号方式传输信息。在信道中会引入噪声，这些都会使信号通过信道后产生错误和失真，故信道的输入和输出之间一般不是确定

2、的函数关系，而是统计依赖关系。只要知到了信道的输入信号和输出信号以及它们之间的统计依赖关系，则信道的全部特性就确定了。所以可以用信道的转移概率矩阵P(Y/X)来描述信道、信道的数学模型及分类研究信道，就要研究信道中能够传送的最大信息量，即信道容量问题。信息论与编码-信道与信道容量信道的分类：从不同的角度，有不同的分类方法。根据信道的参数是否随时间变化，可以分为：（1）固定参数信道：信道的参数不随时间变化；（2）时变参数信道：信道的参数随时间变化。根据输入和输出信号的特点，可以分为：（1）离散信道：信道的输入和输出的随机序列取值都是离散的；（2

3、）连续信道：信道的输入和输出的随机序列的取值都是连续的；信息论与编码-信道与信道容量（3）半离散或半连续信道：输入序列是离散的但相应的输出序列是连续的，或者反过来；（4）波形信道：信道的输入输出不但取值是连续的，而且还随时间连续变化。一般可用随机过程来描述其输入输出。由于实际信道的带宽总是有限的，所以输入信号和输出信号总可以分解成时间离散的随机序列。序列的取值可以是连续的，也可以是离散的，因此，波形信道可以分解成连续信道或离散信道或半离散半连续信道。信息论与编码-信道与信道容量信道参数设信道的输入矢量和输出矢量分别是通常采用条件概率来描述信道

4、输入输出信号之间统计的依赖关系。该条件概率通常称为转移概率信息论与编码-信道与信道容量根据信道是否存在干扰以及有无记忆，可将信道分为下面三类无干扰信道：信道的输出符号Y与输入符号X之间又确定的关系Y=f(X),已知X后就确知Y。有干扰无记忆信道：信道的输出符号Y与输入符号X之间没有确定的关系，但转移概率满足即每个输出符号只与当前输入符号之间有概率转移关系。在这种情况下，只需分析单个符号的转移概率即可信息论与编码-信道与信道容量有干扰有记忆信道：一般情况都是如此，常用的方法有两种将记忆很强的L个符号当矢量符号，各矢量符号之间是无记忆的，但此事会

5、引入误差，L越大，误差越小将转移概率看成马尔科夫链的形式，记忆有限，信道的统计特性可用在已知现在时刻输入符号和前信道所处的状态的条件概率来描述，这种处理方法比较复杂，通常取一阶时稍简单信息论与编码-信道与信道容量下面我们讨论几种常用信道。（1）二进制离散信道二进制离散信道的输入值集合是{0，1}，输出值集合也是{0，1}，再加上一组描述信道统计特性的转移概率，就可以完全确定信道。二进制离散信道的一个特例：二进制对称信道（BSC-BinarySymmetricChannel）。如果描述二进制离散信道的转移概率对称，即则称这种二进制输入、二进制输

6、出的信道为二进制对称信道。信息论与编码-信道与信道容量如图所示。BSC信道是无记忆信道。BSC信道是研究二元编解码最简单也是最常用的信道模型。输入011-p1-ppp输出01信息论与编码-信道与信道容量（2）离散无记忆信道设信道的输入符号集合是，输出符号集合是再加上一组（mn个）转移概率这样的一种信道称为离散无记忆信道（DMC:DiscreteMemorylessChannel）。信息论与编码-信道与信道容量可以把转移概率写成矩阵的形式，即信息论与编码-信道与信道容量图示a0an-1a1b0b1bm-1信息论与编码-信道与信道容量（3）离散输

7、入、连续输出信道信道输入符号选自一个有限离散的符号集合信道输出时未经量化的任意值，即m->∞信道特性由转移概率密度函数决定典型信道是加性高斯白噪声信道（AWGN）信息论与编码-信道与信道容量（4）波形信道输入和输出都是随机过程{x(t)}和{y(t)}，模拟系统。对于频带受限的波形信道，可以用抽样的方法变成时间离散信道。设带宽为W，则在T时间间隔内，根据抽样定理，应该抽样至少2WT个点，分别记为输入和输出这样波形信道就转化为多维连续信道信息论与编码-信道与信道容量信道转移概率密度函数为且满足完备性。连续无记忆信道，满足一般情况下，是有记忆信道

8、信息论与编码-信道与信道容量对于加性噪声，单符号信道可以表示为y(t)=x(t)+n(t)n(t)为噪声过程的一个样本函数由于噪声和信号相互独立，所以有转移概率为即