资源描述：
《《离散信道及其容量》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第4章离散信道及其容量4.1信道的数学模型及其分类1〉什么是信道？信道是传送信息的载体——信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。2〉信道的作用在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。3〉研究信道的目的在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。信道输入量X(随机过程)输出量Y(随机过程)p(Y
2、X)按输入/输出信号在幅度和时间上的取值:离散信道：输入和输出的随机序列
3、取值都是离散的信道连续信道：输入和输出的随机序列取值都是连续的信道半离散(半连续)信道：输入变量取值离散而输出变量取值连续输入变量取值连续而输出变量取值离散时间离散的连续信道：信道输入和输出是连续的时间序列波形信道：输入和输出都是时间的实函数x(t),y(t)两端信道多端信道恒参信道：参数不随时间变化随参信道：参数随时间变化无记忆信道和有记忆信道对称信道和非对称信道多元接入信道广播信道无损信道确定信道无噪信道4.2离散无记忆信道4.2.1离散信道数学模型信道描述信道可以引用三组变量来描述：信道输入：X=(X1,X2…Xi,…),Xi∈{a1…an}信道输出：Y=(Y
4、1,Y2…Yj,…),Yj∈{b1…bm}信道概率转移矩阵：p{y/x}=p(y1y2..yn
5、x1x2…xn)即：{Xp(y
6、x)Y}定义4.2.1若离散信道对任意N长的输入、输出序列有则称它为离散无记忆信道DMC。其信源模型为{Xp(yn
7、xn)Y}任何时刻信道的输出至于此时刻信道的输入有关,而与以前的输入无关。定义4.2.2对任意n和m,i∈A,j∈B,若离散无记忆信道还满足则称此信道为平稳的或恒参的。1、无扰(无噪)信道信道的输出信号Y与输入信号X之间有确定的关系Y=f(X),已知X后就确知Y转移概率:2、有干扰无记忆信道信道的输出信号Y与输入信号X之间没有
8、确定的关系,但转移概率满足:3、有干扰有记忆信道4.2.2单符号离散信道X={a1,a2,……ar}P(Y/X)={p(bj/ai)}(i=1,2,……r;j=1,2,……s)Y={b1,b2,……bs}0≤p(bj/ai)≤1信道的传递概率又称为转移概率矩阵[P]称为转移矩阵或信道矩阵；表示为：[P]=b1b2…bsa1p(b1/a1)p(b2/a1)…p(bs/a1)a2p(b1/a2)p(b2/a2)…p(bs/a2)……………arp(b1/ar)p(b2/ar)…p(bs/ar)[P]矩阵为一个r×s矩阵，其每行元素之和等于13、图示法描述例4.2.1：二元
9、对称信道二元对称信道BSC输入符号X取值{0,1}；输出符号Y取值{0,1}很重要的一种特殊信道信道转移概率：p(0
10、0)=1－pp(1
11、1)=1－pp(0
12、1)=pp(1
13、0)=p0101pp1-p1-p4.2.2二元删除信道BEC二元删除信道BEC输入符号X取值{0,1}；输出符号Y取值{0,1,2}转移矩阵02101p1-pq1-q4.2.3二元对称消失信道二元删除信道BEC输入符号X取值{0,1}；输出符号Y取值{0,1,2}转移矩阵0x1011-p-qq1-p-qqpp先验概率:信源发出消息ai的概率p(ai)=P(X=ai)(i=1,2,…,r)后验概率
14、:信宿收到bj后推测信源发出ai的概率p(ai
15、bj)=P(X=ai
16、Y=bj)联合概率:p(ai
17、bj)=P(X=ai,Y=bj)=p(ai)p(bj
18、ai)=p(bj)p(ai
19、bj)前向概率:（及信道传递概率）输出符号概率:p(bj
20、ai)=P(Y=bj
21、X=ai)p(bj)=P(Y=bj)4.2.3信道疑义度定义4.2.3称输入空间X对输入空间Y的条件熵可疑度，它表示接收者收到Y后，对信源X仍然存在的平均不确定度。对于接收者来说，条件熵H(X/Y)称为疑义度，对X尚存在的平均不确定度是由于干扰(噪声)引起的4.2.4平均互信息定义4.2.4原始信源熵与信道疑
22、义度之差称为平均互信息。信息=先验不确定性－后验不确定性=不确定性减少的量Y未知,X的不确定度为H(X)Y已知,X的不确定度变为H(X
23、Y)平均互信息有扰信道干扰源信源X信宿Y通信系统中,若发端的符号为X,收端的符号为Y如果是一一对应信道,接收到Y后,对X的不确定性将完全消除：H(X
24、Y)=0一般情况：H(X
25、Y)＜H(X),即了解Y后对X的不确定度的将减少通过信道传输消除了一些不确定性,获得了一定的信息。平均互信息的另一种定义方法：定理4.2.1对于固定的信道（给定转移概率矩阵P后）,平均互信息I(X;Y)是输入信源的概率分布p(x)的上凸函数。定理4.2.2
