信息的统计度量

《信息的统计度量》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章信息的统计度量信息的度量（信息量）和不确定性消除的程度有关，消除了多少不确定性，就获得了多少信息量；不确定性就是随机性，可以用概率论和随机过程来测度不确定性的大小，出现概率小的事件，其不确定性大，反之，不确定性小；由以上两点可知：概率小——>信息量大，即信息量是概率的单调递减函数；此外，信息量应该具有可加性；Log(xy)=logx+logyLog(x/y)=logx-logy中学数学知识2.1自信息和条件自信息量2.1.1自信息量定义2.1.1任意随机事件的字信息量的定义为该事件发生概率的对数

2、的负值。自信息量I(xi)的含义当事件xi发生以前，表示事件xi发生的不确定性；当事件xi发生以后，表示事件xi所提供的信息量；对于单个消息随机变量U，出现某个消息，对应概率为，这时可获得的信息量为，则有：注：I－－自信息解释：小概率事件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。自信息量的单位自信息量的单位取决于对数的底；底为2，单位为“比

3、特（bit）”；底为e，单位为“奈特（nat）”；底为10，单位为“哈特（hat）”；1nat=1.44bit,1hat=3.32bit；自信息量I(ai)的性质I(ai)是非负值；当P(ai)=1时，I(ai)=0；当P(ai)=0时，I(ai)=∞；I(ai)是P(ai)的单调递减函数例：从26个英文字母中，随即选取一个字母，则该事件的自信息量为I=-log2(1/26)=4.7比特例：设m比特的二进制数中的每一个是等概率出现的(这样的数共有2m个)，则任何一个数出现的自信息为:I=-log2(1

4、/2m)=m比特/符号计算信息量主要要注意有关事件发生概率的计算联合自信息量定义2.1.2二维联合集XY上的元素（xy)的联合自信息量定义为2.1.2条件自信息量定义2.1.3联合集XY中，对事件xi和yj，事件xi在事件yj给定的条件下的条件自信息量定义为在特定条件下(已定)随机事件发生所带来的信息量条件自信息量满足非负和单调递减性。例:甲在一个8*8的方格盘上随意放入一个棋子，在乙看来是不确定的。(1)在乙看来，棋子落入某方格的不确定性为多少？（2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子

5、落入某方格的不确定性为多少？联合自信息量和条件自信息量关系当X和Y独立时，2.2互信息量和条件互信息量2.2.1互信息量信源信道信宿XY信源集合X的概率空间XP=x1x2…..p(x1)p(x2)…..YP=y1y2…..p(y1)p(y2)…..信宿收到的符号集合Y的概率空间定义2.2.1对两个离散随机事件集X和Y，事件yj的出现给出关于事件xi的信息量，定义为互信息量。用表示，即互信息量等于自信息量减去条件自信息量。第三种表达方式：2.2.2互信息量的性质1、互信息量的互易性，即I(xi;yj)=

6、I(yj;xi)2、当X和Y相互独立时，互信息为03、互信息量可为正值或负值4、任何两个事件之间的互信息量不可能大于之中任一事件的自信息量自信息、条件自信息和互信息I(xk)I(yj)I(xk;yj)2.2.3条件互信息量定义2.2.2联合集合XYZ中，给定条件zk的条件下，xi与yj之间的互信息量，其定义式另外，联合集合XYZ中还存在xi与yjzk之间的互信息量，其定义式或将上式进一步表示为思考下式的证明上式表明一对事件yjzk出现后提供有关xi的信息量I（xi;yjzk),等于事件yj出现后所提供

7、的有关xi的信息量I（xi;yj)加上在给定时间yj的条件下再出现事件zk所提供的有关xi的信息量。一个离散随机变量X，以不同的取值概率有N个可能取值,XP（x）＝a1a2…aNp1p2…pN信息论关心：X的不确定性不确定性－－大，获取的信息－－多2.3离散集的平均自信息量熵的引入箱内100个球摸到红球不确定性分析：随机变量X、Y、ZXP（x）＝a1a20.990.01ZP（z）＝a1a2a3a4a50.20.20.20.20.2YP（y）＝a1a20.50.5问题：能否度量、如何度量？？小大99个红

8、球，1个黑球50个红球，50个黑球20个红球，其它4种颜色各20个2.3.1平均自信息量（熵）通常研究单独一个事件或单独一个符号的信息量是不够的，往往需要研究整个事件集合或符号序列(如信源)的平均的信息量(总体特征)，这就需要引入新的概念--平均自信息量定义2.3.1集X上，随机变量I（xi)数学期望定义为平均自信息量由于这个表达式和统计物理学中热熵的表达式相似，且在概念上也有相似之处，因此借用“熵”这个词，把H(X)称为信息“熵”；熵函数的自变量是X,