资源描述：
《信息论与编码第3章课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息论与编码1信道与信道容量第三章23.1信道分类和表示参数3.2离散单个符号信道及其容量3.3离散序列信道及其容量3.4连续信道及其容量内容33.1信道分类和表示参数4信道信道：信息传输的通道在通信中,信道按其物理组成常被分成微波信道、光纤信道、电缆信道等。信号在这些信道中传输的过程遵循不同的物理规律,通信技术必须研究信号在这些信道中传输时的特性信息论不研究信号在信道中传输的物理过程,并假定信道的传输特性已知,这样信息论就可以抽象地将信道用下图所示的模型来描述。信道输入量X(随机过程)输出量Y(随机过程)p(Y
2、X)53.1.1信道分类按输入/输出信号在幅度和时间上的取值:
3、离散信道：输入和输出的随机序列取值都是离散的信道连续信道：输入和输出的随机序列取值都是连续的信道半离散(半连续)信道：输入变量取值离散而输出变量取值连续输入变量取值连续而输出变量取值离散波形信道：信道的输入和输出都是一些时间上连续的随机信号。6信道分类按输入/输出之间关系的记忆性来划分：无记忆信道：信道的输出只与信道该时刻的输入有关,而与其他时刻的输入无关有无记忆信道：信道的输出不但与信道现时的输入有关而且还与以前时刻的输入有关7信道分类按输入／输出信号之间的关系是否是确定关系:无干扰信道：输入/输出符号之间有确定的一一对应关系有干扰信道：输入/输出之间关系是一种统计依存的关
4、系输入/输出的统计关系：离散无记忆信道：用条件概率矩阵来描述。离散有记忆信道：可像有记忆信源中那样引入状态的概念。83.1.2信道参数设信道的输入X=(X1,X2…Xi,…),Xi∈{a1…an}输出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道转移概率矩阵p(Y
5、X)：描述输入/输出的统计依赖关系,反映信道统计关系信道XYp(Y
6、X)9无干扰(无噪声)信道无干扰(无噪声)信道信道的输出信号Y与输入信号X之间有确定的关系Y=f(X),已知X后就确知Y转移概率:10有干扰无记忆信道有干扰无记忆信道信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:有干扰无记
7、忆信道可分为:二进制离散信道离散无记忆信道离散输入、连续输出信道波形信道11离散无记忆信道DMC信道输入是n元符号X∈{a1,a2,…,an}信道输出是m元符号Y∈{b1,b2,…,bm}转移矩阵a1a2anb1b2bm::::::p11p12p21p22pnmpij=p(bj
8、ai)12P:转移概率矩阵已知X,信道输出Y表现出来的统计特性完全描述了信道的统计特性,其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率转移概率矩阵13反信道转移概率矩阵已知Y,信道输入X表现出来的统计特性p(ai
9、bj):后向概率已知信道输出端接收到符号bj但发送的输入符号为ai的概率。1
10、4二进制离散信道BSC二进制离散信道BSC输入符号X取值{0,1}；输出符号Y取值{0,1}很重要的一种特殊信道信道转移概率：p(0
11、0)=1－pp(1
12、1)=1－pp(0
13、1)=pp(1
14、0)=p0101pp1-p1-p无错误传输的概率传输发生错误的概率15二元删除信道BEC二元删除信道BEC输入符号X取值{0,1}；输出符号Y取值{0,1,2}转移矩阵02101p1-pq1-q163.2离散单个符号信道及其容量17信道容量我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量,即信道的信息传输率R平均互信息I(X;Y)：接收到符号Y后平均每个符号获得的关于X的信息量
15、。信道的信息传输率就是平均互信息18信道容量信道容量C：最大的信息传输率单位时间的信道容量：19信道容量的计算对于一般信道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道：离散信道可分成：无干扰(无噪)信道无嗓无损信道有噪无损信道无噪有损信道有干扰无记忆信道有干扰有记忆信道203.2.1无干扰离散信道设信道的输入X∈A={a1…an},输出Y∈B={b1…bm}无嗓无损信道输入和输出符号之间有确定的一一对应关系Xa1b1Ya2b2a3b311121无干扰离散信道无嗓无损信道Xa1b1Ya2b2an-1bn-1anbn1122无干扰离散信道无嗓无损信道由计算得：噪声熵H(Y
16、
17、X)=0损失熵H(X
18、Y)=023无干扰离散信道无嗓有损信道多个输入变成一个输出(n＞m)Xa1Ya2b1a3a4b2a511111输出Y是输入X的确定函数,但不是一一对应,而是多一对应关系。24无干扰离散信道无嗓有损信道多个输入变成一个输出(n＞m)噪声熵H(Y
19、X)＝0损失熵H(X
20、Y)≠0信道中接收到符号Y后不能完全消除对X的不确定性,信息有损失。但输出端Y的平均不确定性因噪声熵等于零而没有增加。25无干扰离散信道有嗓无损信道一个输入对应多个输出(n＜m)Xb1Ya1b2b3a2b4b51/31
