资源描述：
《熵的可加性与有根概率树》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、熵的可加性与有根概率树信息论课程讲座之2熵的可加性与有根概率树田宝玉1．熵的可加性lShannon首先提出熵的可加性含义如下：如果一种选择可以分成两步连续的选择实现，[1]那么原来的熵H应为H的单独值的加权和。“单独值”实际上是每次选择的熵值，“权值”就是每次选择的概率。例如，某随机事件集合有3个事件，概率分别为：p=1/2，p=1/3，12p=1/6；这3个事件可以直接产生，也可分两次产生，即先以1/2的概率产生两事件中的3一个，然后在其中某一事件发生条件下再以2/3和1/3的概率产生两事件中的一个。熵的可加性意味着：H(1/2
2、,1/3,1/6)=+HH(1/2,1/2)(1/2)(1/3,2/3)（1）上面等号右边的第1项是第1次选择的熵；由于第2次选择只有1/2的概率发生，所以第2项是第2次选择的熵与权值1/2的乘积。多步产生的事件也称复合事件。[2]l最大熵原理的提出者Jaynes描述熵的可加性如下：设事件集合概率分别为(pp,L,)，1n我们不直接给出这些概率，而是先将前k个事件组合成一组看成一个事件，概率为w=pp++L，第2组有m个可能性，组合后分配的概率为w=pp++L，……。11k21k++km组合事件的不确定性为H(ww,L,)，给定第
3、1个组合事件发生条件下，第2个事件发生的1r概率为(p/w,L,pw/)……。熵的可加性意味着：111kH(p,L,p)=H(w,L,w)+wH(p/w,L,p/w)++wH(p/w,LL,pw/)1n1r111k12k++122km（2）通常，熵的可加性的一般形式写成：H(pp,L,pp,pp,L,pp,LL,pp,,)pp11111m221211mnnnnmn（3）=+H(p11,LL,pn)åpiH(ppi,,)imi=1其中，mmååpij=ppi1++Lim，in=1,,L（4）jj==11[3][4]（2）与(3)实质
4、是一样的，可用于熵函数唯一性的证明。如果p=1,p=¹0()jk，对i=1,LL,i-1,in+-1,,1，那么（3）变为ikij1熵的可加性与有根概率树H(p,Lp,pp,,L,pp,ppLL,)1i-+1ii1iimin1,（5）=+H(p,L,p,p,p,LL,p)pH(pp,,)1i-+1ii11niiim式（5）也是熵的可加性的一种描述方式，而（5）是（4）的特例，而（1）是（5）的特例。l熵的可加性另一种形式[5]教材第25页中对熵的可加性做了如下描述：设两个随机变量集合X、Y与的它们的联合集XY的熵分别为H(X),H
5、(Y),H(XY)，则H(XY)=H(X)+H(Y
6、X)(2.2.16)实际上(2.2.16)与（3）式是一致的，只要设X集合中事件的概率分布为pp,,L，X与Y之1n间的条件概率矩阵为：æöp11pp121Lmç÷pppLP=ç÷21222mç÷MMMç÷pppLèøn12nnm即可。[5]l熵的可加性可以推广到多维随机变量联合集的情况（教材第25页）。设N维随机变量集X1X2…Xn，则有H(X1X2…Xn)=H(X1)+H（X2
7、X1）+…+H（XN
8、X1…Xn-1）(2.2.17)当X1X2…Xn，统计独立（即Xi独立于X1
9、X2…Xi-1）时，有H(X1X2…Xn)=H(X1)+H（X2）+…+H（XN）(6)称为熵的强可加性。l熵的可加性可以从多种角度来理解：（1）复合事件集合的不确定性为组成该复合事件的各简单事件集合不确定性的和。（2）对信源输出直接测量所得信息量等于分成若干步测量所得信息量的和。（3）信源的平均不确定性可以分步解除，每步解除的不确定性的和等于信源的熵。2.用有根概率树计算熵[6]有根概率树的概念首先见于Massey的著作，利用有根概率树计算信源熵，有如下定[5]理（教材第20页）。定理2.2.1离散信源的熵等于所对应的有根概率树
10、上所有节点(包括根节点，不包括叶)的分支熵用该节点概率加权的和，即H(X)=åq(u)H(u)iii(2.2.3)其中，q(ui)为节点ui的概率，H(ui)为节点ui的分支熵。有根概率树计算熵的公式(2.2.3)实际上就是反复利用熵的可加性的结果。设一信源含r2熵的可加性与有根概率树个符号，符号集A={aa,L,}，概率分别为pp,,L，对应的有根概率树包含k个内部节点，1r1rr片树叶，每片树叶对应一个信源符号。式(2.2.3)可写成如下形式：kH(p10,L,pr)=+q(u)åq(uii)Hu()（7）i=1其中，，H(u
11、0)为根节点u0的分支熵，而根节点u0的概率q(u0)=1。定理的证明现利用数学归纳法证明，对任何非负整数k，式(7)成立。当k=0时，所有树叶都直接与根相连，根的各分支的概率就是对应信源符号的概率，信源的熵就等于根的分支熵，等式成立。当k=1时，
