资源描述：
《信息论-第四章.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、2021/7/221第四章：信道及其容量§4.1信道分类§4.2离散无记忆信道§4.5信道的组合2021/7/222§4.1信道分类信道是传输信息的媒质或通道。（输入→信道→输出）说明（1）信道输入是随机过程。（2）信道响应特性是条件概率P(输出值为y
2、输入值为x)，又称为转移概率。（3）信道输出是随机过程，输出的概率分布可以由输入的概率分布和信道的响应特性得到。（全概率公式）（4）根据信道输入、信道响应特性、信道输出的情况，可将信道分类：离散信道（又称为数字信道）；连续信道（又称为模拟信道）；特殊的连续信道——波形信道；恒参信道和随参
3、信道；无记忆信道和有记忆信道；等等。2021/7/223§4.2离散无记忆信道定义4.2.1和定义4.2.2(p88-89)如果（1）信道的输入为随机变量序列X1,X2,X3,…，其中每个随机变量Xu的事件集合都是{0,1,…,K-1}，（2）信道的输出为随机变量序列Y1,Y2,Y3,…，其中每个随机变量Yu的事件集合都是{0,1,…,J-1}，则称该信道为离散信道。如果更有（3）P((Y1Y2…YN)=(y1y2…yN)
4、(X1X2…XN)=(x1x2…xN))=P(Y1=y1
5、X1=x1)P(Y2=y2
6、X2=x2)…P(YN=yN
7、
8、XN=xN)，则称该信道为离散无记忆信道（DMC）。如果更有（4）对任意x∈{0,1,…,K-1}，y∈{0,1,…,J-1}，任意两个时刻u和v，还有P(Yu=y
9、Xu=x)=P(Yv=y
10、Xv=x)，则称该信道为离散无记忆平稳信道或恒参信道。2021/7/224§4.2离散无记忆信道(DMC)关于定义4.2.1和定义4.2.2的注解“离散”的含义是时间离散，事件离散。即：信道的输入、输出时刻是离散的，且输入随机变量和输出随机变量都是离散型的随机变量。“无记忆”的含义是信道响应没有时间延迟，当时的输出只依赖于当时的输入。“平稳”的含
11、义是信道在不同时刻的响应特性是相同的。“离散无记忆平稳信道”是最简单的信道，信道在某一时刻u的响应特性P(Yu=y
12、Xu=x)；x∈{0,1,…,K-1}，y∈{0,1,…,J-1}，就能很简单地计算出信道在任意时间段的响应特性。即在DMC（若无特殊说明就意味着满足平稳条件）下，只需研究单个字母传送。2021/7/225§4.2离散无记忆信道例4.2.1（p89）二元对称信道BSC是离散无记忆恒参信道。当N＝1时，p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1当N=2时，p(00/00)=p(11/11)=p(0
13、/0)p(0/0)=0.9*0.9=0.81P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9=0.09P(11/00)=p(00/11)=0.1*0.1=0.010.90.900110.10.12021/7/226§4.2离散无记忆信道一、有关DMC的容量定理（所说的DMC都是离散无记忆平稳信道）设DMC在某个时刻输入随机变量为X，输出随机变量为Y。信道响应特性为转移概率矩阵[p(y
14、x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]，它是一个K×J阶矩阵（其中p(y
15、x)=P(Y=y
16、
17、X=x)）。X的概率分布为{x,q(x),x∈{0,1,…,K-1}}。Y的概率分布为{y,w(y),y∈{0,1,…,J-1}}。以下的结论是我们已知的。2021/7/227§4.2离散无记忆信道（1）转移概率矩阵的每一行都是一个概率向量。2021/7/228§4.2离散无记忆信道（2）对任意y∈{0,1,…,J-1}，由全概率公式有2021/7/229§4.2离散无记忆信道（3）I(X;Y)是概率向量{q(x),x∈{0,1,…,K-1}}和转移概率矩阵[p(y
18、x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]的函数。
19、2021/7/2210§4.2离散无记忆信道（4）设转移概率矩阵[p(y
20、x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]（是信道的响应特性）确定，希望选择概率向量{q(x),x∈{0,1,…,K-1}}使I(X;Y)达到最大。(则见p33定理2.6.2说明平均互信息量的最大值存在，可以取到。)定义4.2.3(p89)离散无记忆信道的信道容量定义为如下的C。达到信道容量的输入概率分布{x,q(x),x∈{0,1,…,K-1}}称为最佳输入分布。其中信道容量表示了信道传送信息的最大能力，这个量在信息论研究中有重要意义。传送的
21、信息量必须小于信道容量C2021/7/2211§4.2离散无记忆信道定理4.2.2(p91)（1）输入概率分布{x,q(x),x∈{0,1,…,K-1}}是最佳输入分布的充分必要条件为：对任何满足q(k)>
