熵函数的性质、随机变量序列的熵率.ppt

《熵函数的性质、随机变量序列的熵率.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信源熵（信息熵）定义：自信息的数学期望与联合熵、条件熵之间的关系l复习熵函数概率矢量熵函数性质：1、对称性：H(P)的取值与分量p1,p2,···,pq的顺序无关。一个例子：2、确定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0性质说明：这个信源是一个确知信源，其熵等于零。3、非负性：H(P)0说明：这种非负性合适于离散信源的熵，对连续信源来说这一性质并不存在。以后可看到在相对熵的概念下，可能出现负值。非负性体现信息是非负的。4、扩展性性质说明：信源的取值数增多时，若这些取值对应的

2、概率很小(接近于零)，则信源的熵不变。所以，上式成立因为5、可加性统计独立信源X和Y的联合信源的熵等于信源X和Y各自的熵之和。H(XY)=H(X)+H(Y)可加性是熵函数的一个重要特性，正因具有可加性，才使熵函数的形式是唯一的。例如，甲信源为它们的联合信源是可计算得联合信源的联合熵：H(Z)=H(XY)=log(nm)=logm+logn=H(X)+H(Y)乙信源为可加性证明6、极值性等概率分布时，离散信源熵值达到最大。最大离散熵定理。证明：因为对数是∩型凸函数，满足詹森不等式E[logY]log

3、E[Y]，则有：唯一性香农指出，存在这样的不确定性的度量，它是概率分布的函数，且该函数应满足：对称性极值性可加性扩展性它的形式是唯一的。复习熵条件熵半条件熵联合熵复习链式法则复习熵函数的性质H(p1,p2,…,pn)对称性非负性极值性连续性扩展性可加性二进制信源是离散信源的一个特例该信源符号只有二个，设为“0”和“1”。符号输出的概率分别为“”和“1-”，即信源的概率空间为：H(X)=-log–(1-)log(1-)=H()即信息熵H(x)是的函数。取值于[0，1]区间，可画出熵函

4、数H()的曲线来，如右图所示。引理1：一个常用不等式：引理2：香农辅助定理令，即可得到最大熵为。证明：定理：1.H(X/Y)≤H(X)2.H(XY)≤H(X)+H(Y)证明：设信源输出的随机序列为X=(X1X2…Xl…XL)序列中的变量Xl∈{x1,x2,…xn}离散无记忆信源离散无记忆:离散平稳信源对于随机变量序列各维联合概率分布均与时间起点无关的完全平稳信源称为离散平稳信源。离散无记忆信源信源的序列熵平均符号熵当离散平稳无记忆信源信源发出固定长度的消息序列时，则得到原信源的扩展信源。如果把N个

5、二元数字组成一组，则信源等效成一个具有2N个符号的新信源，把它称为二元无记信源的N次扩展信源。离散无记忆的扩展信源离散无记忆的扩展信源例如在电报系统中，若信源输出的是二个二元数字组成的符号序列，此时可认为是一个新的信源，它由四个符号（00，01，10，11）组成，该信源称为二元无记忆信源的二次扩展信源。[例]求如下离散无记忆信源的二次扩展信源及其熵。解：二次扩展信源的概率空间为X2的信源符号123456789对应的符号序列a1a1a1a2a1a3a2a1a2a2a2a3a3a1a3

6、a2a3a3概率P(i)1/41/81/81/81/161/161/81/161/16离散无记忆信源实例离散平稳无记忆N次扩展信源的熵H(XN)=H(X1X2…XN)=H(X1)+H(X2

7、X1)+H(X3

8、X1X2)+…+H(XN

9、X1X2…XN-1)=H(X1)+H(X2)+H(X3)+…+H(Xn)=N·H(X)H(XN)=H(X)+H(X)+……+H(X)=NH(X)aia0a1a2a09/112/110a11/83/41/8a202/97/9例:已知离散有记忆信源中各符号的概率为:

10、设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概率p(aj

11、ai)表示,如表p(aj

12、ai)离散有记忆信源实例aj由p(ai,aj)=p(ai)p(aj

13、ai)计算得联合概率p(aiaj)如表p(ai,aj)a0a1a2a01/41/180a11/181/31/18a201/187/36离散有记忆信源实例发二重符号序列的熵平均符号熵符号之间存在关联性比较离散有记忆信源实例而信源X的信息熵为条件熵而分析所以信源无记忆时若信源输出一个L长序列，则信源的序列熵为平均符号熵为极限熵离散有记忆信

14、源的极限熵对离散平稳信源若H1(X)＜，则有以下性质：(1)条件熵H(XN/X1X2…XN-1)随N的增加是递减的；(2)HN(X)H(XN/X1X2…XN-1)；(3)HN(X)也是随N增加而递减的；(4)H存在，并且:上式表明：当依赖关系趋于无穷时，平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵。对于一般平稳信源，求H相当困难。但N不很大时有：HHN(X)或HH(XN

15、X1X2…XN-1)。结论证明对于有限记忆长度的平稳信源可用有限记忆长度的