《信息论与编码》第3章信道容量

《《信息论与编码》第3章信道容量》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章信道容量赵永斌石家庄铁道大学信息科学与技术学院2021年7月15日信道及其容量3.1信道容量的数学模型和分类3.2单符号离散信源3.3多符号离散信源3.4连续信道3.5信道编码定理回顾信道是传输信息的媒质或通道。（输入→信道→输出）说明（1）信道输入是随机过程。（2）信道响应特性是条件概率P(输出值为y

2、输入值为x)，又称为转移概率。（3）信道输出是随机过程，输出的概率分布可以由输入的概率分布和信道的响应特性得到。（全概率公式）（4）根据信道输入、信道响应特性、信道输出的情况，可将信道分类：离散信道（又称为数字

3、信道）；连续信道（又称为模拟信道）；特殊的连续信道——波形信道；恒参信道和随参信道；无记忆信道和有记忆信道等回顾“离散”的含义是时间离散，事件离散。即：信道的输入、输出时刻是离散的，且输入随机变量和输出随机变量都是离散型的随机变量。“无记忆”的含义是信道响应没有时间延迟，当时的输出只依赖于当时的输入。“平稳”的含义是信道在不同时刻的响应特性是相同的。无干扰信道有干扰信道3.1信道容量的数学模型和分类信道的分类有记忆信道无记忆信道单符号信道多符号信道单用户信道多用户信道连续信道半离散信道离散信道62021/7/15信道分类

4、定义:如果（1）信道的输入为随机变量序列X1,X2,X3,…，其中每个随机变量Xu的事件集合都是{0,1,…,K-1}，（2）信道的输出为随机变量序列Y1,Y2,Y3,…，其中每个随机变量Yu的事件集合都是{0,1,…,J-1}，则称该信道为离散信道。72021/7/15信道分类如果更有（3）P((Y1Y2…YN)=(y1y2…yN)

5、(X1X2…XN)=(x1x2…xN))=P(Y1=y1

6、X1=x1)P(Y2=y2

7、X2=x2)…P(YN=yN

8、XN=xN)，则称该信道为离散无记忆信道（DMC）。如果更有（4）对任意

9、x∈{0,1,…,K-1}，y∈{0,1,…,J-1}，任意两个时刻u和v，还有P(Yu=y

10、Xu=x)=P(Yv=y

11、Xv=x)，则称该信道为离散无记忆平稳信道或恒参信道。信道容量的数学模型噪声介质缺陷XY信源编码信道编码器调制器（写入头）信道（存储介质）解调器（写入头）信道译码器信源译码转移概率矩阵p(Y

12、X)XY信道容量的数学模型P(Y/X)xY信道的数学模型：{XP(Y/X)Y}信道在某一时刻u的响应特性P(Yu=y

13、Xu=x)；x∈{0,1,…,K-1}，y∈{0,1,…,J-1}，信道容量的数学模型二元对称信

14、道BSC当N＝1时p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1当N=2时，p(00/00)=p(11/11)=p(0/0)p(0/0)=0.9*0.9=0.81P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9=0.09P(11/00)=p(00/11)=0.1*0.1=0.010.90.900110.10.1112021/7/15信道容量的数学模型（1）转移概率矩阵的每一行都是一个概率向量。12信道容量的数学模型（2）对任意y∈{0,1,…,J-1}，由全概

15、率公式有§3.2单符号离散信道的信道容量1信道容量的定义2几种特殊离散信道的容量3离散信道容量的一般计算方法信道容量的定义I(X;Y)是概率向量{q(x),x∈{0,1,…,K-1}}和转移概率矩阵[p(y

16、x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]的函数。信道容量的定义设转移概率矩阵[p(y

17、x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]（是信道的响应特性）确定，希望选择概率向量{q(x),x∈{0,1,…,K-1}}使I(X;Y)达到最大。信道容量信道单位时间传输的最大信息量定义离

18、散无记忆信道的信道容量定义为如下的C。达到信道容量的输入概率分布{x,p(x),x∈{0,1,…,K-1}}称为最佳输入分布。其中信道容量表示了信道传送信息的最大能力，这个量在信息论研究中有重要意义。传送的信息量必须小于信道容量C信道容量的定义3.2.2几种特殊离散信道的容量定义：DMC的转移概率矩阵为若P的任一行是第一行的置换，则称信道是关于输入为对称的。若P的任一列是第一列的置换，则称信道是关于输出为对称的。若信道是关于输入为对称的，又是关于输出为对称的，则称信道为对称信道。3.2.2几种特殊离散信道的容量一、离散无

19、噪信道1、一一对应的无噪信道anbna1b1a2b2……a1b1a2b2an-1bn-1anbn……X、Y一一对应C＝maxI(X;Y)＝lognp(ai)a1b1b2b32、具有扩展功能的无噪信道a2b4b5b6a3b7b8此时，H(X/Y)=0，H(Y/X)0，且H(X)