信息论与编码3----信源及信源熵2.ppt

《信息论与编码3----信源及信源熵2.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、信息论与编码-信源及信源熵上一讲复习互信息量（续）连续信源熵信源序列熵1信息论与编码-信源及信源熵上一讲复习1.信源的分类连续信源信源单符号无记忆离散信源离散信源符号序列无记忆离散信源单符号有记忆离散信源符号序列有记忆离散信源2信息论与编码-信源及信源熵2.信源的数学模型无记忆离散信源：用概率空间有记忆离散信源：联合概率空间3信息论与编码-信源及信源熵自信息量信源熵互信息量4信息论与编码-信源及信源熵一些关系式5信息论与编码-信源及信源熵2.2.3互信息量（续）平均互信息量的物理意义：I(X;Y)是H(X)和H(X

2、Y)之差。因为H(X)是符号集合X的熵或不确定度，而H(X

3、

4、Y)是当Y已知时X的不确定度，可见“Y已知”这件事使X的不确定度减少了I(X;Y)，这意味着“Y已知”后所获得的关于X的信息量是I(X;Y)。这可以看成是信源符号集合X，信宿符号集合Y，平均互信息量I(X;Y)表示在有扰离散信道上传输的平均信息量。信宿收到的平均信息量等于信宿对信源符号不确定度的平均减少量。6信息论与编码-信源及信源熵换句话说，在有扰离散信道上，各个接受符号y所提供的有关信源发出的各个符号x的平均信息量I(X;Y)，等于唯一地确定信源符号x所需要的平均信息量H(X)，减去收到符号y后，要确定x所需要的平均信息量H(X

5、Y)。条件熵H(X

6、Y)可以看作是由于

7、信道上存在干扰和噪声而损失掉的平均信息量，又可以看作是信道上的干扰和噪声所造成的对信源符号x的平均不确定度，故又称为疑义度。7信息论与编码-信源及信源熵而由互信息量的第二个关系式，互信息量可以看作在有扰离散信道上传递消息时，唯一地确定接受符号y所需要的平均信息量H(Y)，减去当信源消息已知时确定接受符号y仍然需要的平均信息量H(Y

8、X)，因此，H(Y

9、X)也可以认为是唯一地确定信道噪声所需要的平均信息量，故又称为噪声熵或散布度，其关系可由图2-2-3来形象地表示。8信息论与编码-信源及信源熵9信息论与编码-信源及信源熵两种特殊情况：1．p(xi

10、yj)=1此时I(xi;yj

11、)=I(xi)，这表明，当后验概率p(xi

12、yj)=1(即收到输出符号yj，推测输入符号xi的概率为1)时，收到yj即可确切无误地收到输入符号xi，消除对xi得全部不定度，从yj中获取xi本身含有的全部信息量，即xi的自信息量I(xi)。此时Y已知就完全解除了关于X的不确定度，所获得的信息就是X的不确定度或熵。也可以看成是无扰信道，由于没有噪声，疑义度H(X

13、Y)为零，噪声熵也为零。于是有I(X;Y)=H(X)=H(Y)。10信息论与编码-信源及信源熵2．p(xi

14、yj)=p(xi)这时，由于后验概率p(xi

15、yj)等于先验概率p(xi)，所以后验概率与先验概率的比值等于1

16、，即有I(xi;yj)=0这表明，当后验概率p(xi

17、yj)等于先验概率p(xi)时，收到yj后对信源发xi的不定度等于收到yj前对信源发xi的不定度，收到yj后并没有减少对信源发xi的不定度，从yj中获取不到关于xi的信息量。11信息论与编码-信源及信源熵这就是说，输出符号yj与输入符号xi之间没有任何联系，完全是互不相关的两码事。显然，在这种情况下，xi与yj之间的交互信息量应该等于0。这可以理解为X与Y相互独立，无法从Y中提取关于X的信息。也可以看成信道熵噪声相当大，以至有H(X

18、Y)=H(X)。在这种情况下，能够传输的平均信息量为0，成为全损信道。12信息论与编码-

19、信源及信源熵一般情况下，X和Y既非互相独立，也不是一一对应，那么从Y获得的X信息必在零与H(X)之间，即常小于X的熵。13信息论与编码-信源及信源熵三维联合集的平均互信息：14信息论与编码-信源及信源熵数据处理中平均交互信息量的不增性：在一些实际的通信系统中，我们常常需要在信道输出端对接收到的信号或数据进行适当的处理，这种处理称为数据处理。数据处理系统一般可看成是一种信道，它与前面传输数据的信道是串联的关系。15信息论与编码-信源及信源熵如图2.2所示的串联信道，X是输入消息集合，Y是第一级信道输出，Z是第二级数据处理后的输出消息集合，可以证明I(X;Z)≤I(Y;Z)I(

20、X;Z)≤I(X;Y)第一级处理器X输入第二级处理器YZ输出图2.2串联信道16信息论与编码-信源及信源熵这就说明，从串接信道输出端Z中获取的关于输入端X的平均交互信息量I(X;Z)，总不会超过从第一级信道的输出端Y中获取关于输入端X的平均交互信息量I(X;Y)。如果第二级信道是数据处理系统，则对接收到的数据Y进行处理后，无论Z是Y的确定对应关系还是概率关系，决不会减少关于X的不确定性。数据处理不会增加从Z中获取关于X的平均交互信息量。这就是数据处理中平均交互信息量的不增性。17信息论与编码-信源及信源熵信源熵、互