资源描述：
《2019年 信息论3第3章ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信道与信道容量第三章信息论与编码22021/7/27西北大学信息学院内容DBCA3.1信道分类和表示参数3.2离散单个符号信道及其容量3.3离散序列信道及其容量3.4连续信道及其容量第三章信道与信道容量结束信息论与编码32021/7/27西北大学信息学院3.1信道分类和表示参数3.1.1信道分类3.1.2信道参数信息论与编码42021/7/27西北大学信息学院信道信道：信息传输的通道在通信中,信道按其物理组成常被分成微波信道、光纤信道、电缆信道等。信号在这些信道中传输的过程遵循不同的物理规律,通信技术必须研究信号在这些信道中传输时的特性信息论不研究信号在信道中传输的物理过程,并假定信道
2、的传输特性已知,这样信息论就可以抽象地将信道用下图所示的模型来描述。信道输入量X(随机过程)输出量Y(随机过程)p(Y
3、X)信息论与编码52021/7/27西北大学信息学院3.1.1信道分类按输入/输出信号在幅度和时间上的取值:离散信道：输入和输出的随机序列取值都是离散的信道连续信道：输入和输出的随机序列取值都是连续的信道半离散(半连续)信道：输入变量取值离散而输出变量取值连续输入变量取值连续而输出变量取值离散波形信道：信道的输入和输出都是一些时间上连续的随机信号。信息论与编码62021/7/27西北大学信息学院信道分类按输入/输出之间关系的记忆性来划分：无记忆信道：信道的输出只与信道
4、该时刻的输入有关,而与其他时刻的输入无关有无记忆信道：信道的输出不但与信道现时的输入有关而且还与以前时刻的输入有关信息论与编码72021/7/27西北大学信息学院信道分类按输入／输出信号之间的关系是否是确定关系:无干扰信道：输入/输出符号之间有确定的一一对应关系有干扰信道：输入/输出之间关系是一种统计依存的关系输入/输出的统计关系：离散无记忆信道：用条件概率矩阵来描述。离散有记忆信道：可像有记忆信源中那样引入状态的概念。信息论与编码82021/7/27西北大学信息学院3.1.2信道参数设信道的输入X=(X1,X2…Xi,…),Xi∈{a1…an}输出Y=(Y1,Y2…Yj,…),Yj∈
5、{b1…bm}信道转移概率矩阵p(Y
6、X)：描述输入/输出的统计依赖关系,反映信道统计关系信道XYp(Y
7、X)信息论与编码92021/7/27西北大学信息学院无干扰(无噪声)信道无干扰(无噪声)信道信道的输出信号Y与输入信号X之间有确定的关系Y=f(X),已知X后就确知Y转移概率:信息论与编码102021/7/27西北大学信息学院有干扰无记忆信道信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:有干扰无记忆信道可分为:二进制离散信道离散无记忆信道离散输入、连续输出信道波形信道信息论与编码112021/7/27西北大学信息学院有干扰有记忆信道一般情况都是如此，例如实际得数字
8、信道中，当信道特性不理想，存在码间干扰时，输入信号不但与当前得输入信号有关，还和以前的输入信号有关。信息论与编码122021/7/27西北大学信息学院3.2离散单个符号信道及其容量3.2.1无干扰离散信道3.2.2对称DMC信道3.2.3准对称DMC信道3.2.4一般DMC信道13信道容量C：在信道中最大的信息传输速率，单位是比特/信道符号。单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为：Ct实际是信道的最大信息传输速率。信息传输率：R=I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)]bit/符号由定理3.1可知，对于每一个确定信道
9、，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。信道容量14C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入信源概率分布p(xi)调整好以后，C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；它是信道的特征参数，反应的是信道的最大的信息传输能力。信道容量是完全描述信道特性的参量；信道容量是信道能够传送的最大信息量。结论对于二元对称信道，由图可以看出信道容量等于1-H(P)信息论与编码152021/7/27西北大学信息学院3.2.1无干扰离散信道设信道的输入X∈A={a1…an},输出Y∈B={b1…bm}无噪无
10、损信道输入和输出符号之间有确定的一一对应关系Xa1Yb1a2b2a3b3111信息论与编码162021/7/27西北大学信息学院无干扰离散信道无噪无损信道Xa1b1Ya2b2an-1bn-1anbn11信息论与编码172021/7/27西北大学信息学院无干扰离散信道无噪无损信道由计算得：噪声熵H(Y
11、X)=0损失熵H(X
12、Y)=0信息论与编码182021/7/27西北大学信息学院无干扰离散信道无噪有损信道多个输入变成一个输出(n＞m)Xa1Ya
