大学信息论与纠错编码教学课件ppt离散信道的信道容量教学ppt

《大学信息论与纠错编码教学课件ppt离散信道的信道容量教学ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第4讲离散信道的信道容量回顾：信源编码对信源进行编码，为了提高传输效率接下来的环节是信道，期望在物理信道一定时，单位时间内传输的信息越多越好依据：唯一可译，紧致编码如何确定码长以及编码方法信道的作用：把携有信息的信号从它的输入端传递到输出端。信道最重要特征参数是信息传递能力，即信道容量.信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关；存在有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量；研究在信道中传输的每个符号所携带的信息量，并定义信道容量。互信息量：结合图示讲解通信模型，信源发出消息xi

2、的概率p(xi)称为先验概率，信宿收到yi。利用收到yi推测信源发出xi的概率称为后验概率，有时也称条件概率。思考：事件xi是否发生具有不确定性，可用自信息I(xi)度量。在收到符号后，事件是否仍具有一定的不确定性，用条件信息量I（yi

3、xi）度量。相当于进行了通信。问题：观察事件（通信）前后，通信过程中所获得的信息量是什么？定义:后验概率与先验概率比值的对数为yi对xi的互信息量：回顾：互信息量和平均互信息量互信息量等于自信息量减去条件自信息量。互信息量条件概率先验概率定义互信息量是定量地研究信息传递问题的重要基础。但它只能定量地描述输入随机变量发出某个具

4、体消息，输出变量出现某一个具体消息时，流经信道的信息量；此外还是随和变化而变化的随机变量。互信息量不能从整体上作为信道中信息传递的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。定义互信息量在联合概率空间中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。平均互信息量平均互信息克服了互信息量的随机性，可作为信道中流通信息量的整体测度。三种表达方式平均互信息量的物理意义从三种不同角度说明从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。此即“信息就是负

5、熵”。信道疑义度的说明这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X/Y)=0,一般情括下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。H(X/Y)即信道疑义度，也表示信道造成的损失，故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y/X)表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵。平均互信息量的性质对称性：非负性：极值性：凸性平均互信息量是输入信源概率分布的上凸函数，研究信

6、道容量的理论基础。平均互信息量是信道转移概率的下凸函数，研究信源的信息率失真函数的理论基础。平均互信息量信源熵信道输出收到符号集Y后仍存在的对于X发送哪个消息的平均不确定性的度量二者之差就是通信过程中获得的信息量单符号传输，信息传输率：信道容量的定义回顾信息传输率的另一定义：不考虑信道的干扰，因此H(X/Y)=0；单符号传输，平均码长为1，此时I(X;Y)=H(X)-H(X/Y)=H(X)，因此两个定义等价当给定信道时(转移概率p(y/x)确定)，平均互信息量I(X;Y)是输入信源概率分布p(x)的上凸函数，因此总存在某种输入概率分布q(x)使得I(X;Y)

7、达到最大值，定义该最大值为信道容量C：信道容量的定义当给定信道时(转移概率p(y/x)确定)，平均互信息量I(X;Y)是输入信源概率分布p(x)的上凸函数，因此总存在某种输入概率分布q(x)使得I(X;Y)达到最大值，定义该最大值为信道容量C：能够达到信道容量的q(x)称为最佳分布信道容量C是在可靠通信前提下，信道所能容纳的最大信息传输量；固定信道，信道容量是C是一定的；不同信道，C值不同，是转移概率p(y/x)的函数可以找到某种输入概率分布，使信道容量达到最大12信道分类信道定义传输信息的载体，其任务是以信号形式传输、存储信息。信道分类用户数量：单用户、多

8、用户输入端和输出端关系：无反馈、有反馈信道参数与时间的关系：固定参数、时变参数噪声种类：随机差错、突发差错输入输出特点：离散、连续、半离散半连续、波形信道13信道分类和表示参数信道参数信道可分为：14信道分类和表示参数信道种类1、无干扰（无噪声）信道2、有干扰无记忆信道信道的输出信号Y与输入信号X之间有确定的关系。转移概率信道的输出信号Y与输入信号X之间没有确定关系，但转移概率满足：每个输出符号只与当前输入信号有转移概率关系，与其他时刻的信号无关，即无记忆。需分析单个符号的转移概率p(yj

9、xi).15信道分类和表示参数1）二进制对称信道（BSC）(输入输出

10、符号数均为2)由于这种信道的输出比特仅与对应时刻的一