关于条件熵的质疑

《关于条件熵的质疑》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、http://www.paper.edu.cn1关于条件熵的质疑王勇桂林电子科技大学计算机与控制学院，广西桂林（541004）E-mail：hellowy@126.com摘要：从多个角度分析了条件熵的定义和计算公式的问题，对条件熵的计算公式进行了纠正，并且举例证明了熵不增并不是绝对的，进而指出香农信息定义中的不确定性的减少也不是绝对的，从而信息的定义名不副实。在分析信息可靠度的重要性之后，给出了信息的新定义。关键词：信息论，条件熵，定义，可靠性中图分类号：O231.引言[1]香农（又译仙农，Shannon）信息论对通信技术的发展具有深远的影响。但是他的信息论在许多的领

2、域，甚至日常生活中使用起来会漏洞百出。对信息论的局限性香农也承认，并且反对将信息论应用于其他的领域。一些学者对他的理论的局限性从不同的角度进行了分[2-4]析，指出了一些问题，笔者也指出信息的定义存在不考虑信息的可靠性等问题，提出了[5]新的定义。本文则试图从另外一个角度来解释香农理论为什么在现实中会出现纰漏。香农在信息论中引入了熵的概念。熵的概念来源于热力学。在热力学中熵的定义是系统可能状态数的对数值，称为热熵。它是用来表达分子状态杂乱程度的一个物理量。热力学指出，对任何已知孤立的物理系统的演化，热熵只能增加，不能减少。然而在香农的信息论中，信息条件熵则相反，它只能

3、减少，不能增加。我们在对一次一密体制的研究过程中，发现香农论证[6]的信息条件熵这种不能增加的属性能够在现实中找到反例。本文将通过例证和对条件熵的不增的论证进行分析来指出问题的根源。2.条件熵的相关描述在文献[1]中，香农定义了条件熵，并且给出了计算公式，并且做了一些论述和推导如下：首先，假设有两个事件x和y，x有m个可能的值，y有n个可能的值。假设p(i，j)是x为i，y的值为j的同时发生的概率。当已知x取特定的值i时，有y取j的条件概率pi(j)。y的条件熵Hx（y）定义为对于x的每一个值的y的熵，根据x取每一个值的概率进行加权平均的加权平均值。于是Hx（y）＝－

4、∑p(i,j)logpi(j)（1）i,j这个值是用来度量当我们已知x的时候，y在平均程度上的不确定性的。经过替代可以得出Hx（y）＝－∑p(i,j)logpi(i,j)＋∑p(i,j)log∑p(i,j)i,jij,j＝H（x，y）－H（x）1本课题得到广西自然科学基金项目（编号：桂科自0640171）和现代通信国家重点实验室基金项目（编号：9140C1101050706）的资助。-1-http://www.paper.edu.cn所以H（x，y）＝H（x）＋Hx（y）又由于H（x）＋H（y）≥H（x，y）＝H（x）＋Hx（y）所以H（y）≥Hx（y）。最后香农总结

5、，在得到关于x的认识以后，y的不确定性绝对不会增加。除非x和y相互独立是y的不确定性不改变，否则y的不确定性将会减少。这也就是说后验熵（条件熵）一定不大于先验熵。3.条件熵的证明局限性分析根据香农后面的描述，Hx（y）应该等于在x发生情况下y的熵。求此时y的熵，首先应当是求得到x发生的情况后，y每一个值j发生的概率px(j)＝∑(pi(j)p(i))i实际上的公式应该是Hx(y)＝－∑px(j)logpx(j)＝－∑(∑(pi(j)p(i)))log∑(pi(j)p(i))(2)jjii实际上由于px(j)并不受到任何限制，x对y概率的影响本身是随机的，可能是朝着增加

6、随机不确定性的方向，也可能是朝着减少随机不确定性的方向，也可能是随机不确定不改变。根据公式（2），Hx（y）与H（y）的大小并无固定的关系。而根据公式（1），则可以得出H（y）≥Hx（y）举一个例子说明，下表是x和y的联合分布概率表1x和y的联合分布概率yy＝0y＝1xx＝00.20.3x＝10.10.4y的先验概率为p(y=0)=0.3,p(y=1)=0.7。假如知道p(x=0)=1,p(x=1)=0。此时y的后验概率p(y=0

7、x)=0.4,p(y=1

8、x)=0.6。不确定性增加了。公式（1）的问题在于，把不同的事件yj发生的情况下X的熵进行了简单的加权平均，这一

9、做法并不符合熵的定义，只能说是熵的加权平均，不能说是熵，而且熵也不是在x发生的情况下的熵，而是x各种可能值下单独的熵。正确的公式应该是先求出Y发生的情况下，各个xi的概率，然后根据熵的公式来求解X的熵，即可以得出公式（2）。关于平均互信息量的定义，也存在类似的问题。当然我们也应当分析其他可能的理解，假设这里的x的各种可能的值以及相应的概率是先验的条件。即我们事先就知道关于x的可能值的概率分布，然后以知道x的某一个值（假设为i）为条件，求y的条件熵。此时的条件熵应该表述为Hi（y）＝－∑pi(j)logpi(j)j而公式（1）中的条件熵是x所有值下的H