第2章信息的统计度量ppt课件.ppt

《第2章信息的统计度量ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码理论第2章信息的统计度量主要内容从概率的角度研究问题自信息量互信息量平均自信息量平均互信息量信息的大小多个信息之间关联的密切程度2.1自信息和条件自信息2.1.1自信息量事件发生的概率越大，它发生后提供的信息量越小。张三今天吃饭了事件发生的概率越小，一旦该事件发生，它提供的信息量就越大。美国总统的专机发生空难2.1.1自信息定义2-1任意随机事件的自信息量定义为该事件发生概率的对数的负值。假设事件xi发生的概率为p(xi)，则其自信息定义式为根据该公式可能提出的问题底数是多少？常用底数：2真的成反比吗？I(x)≥0规定：0log0=0自信息量的含义自信

2、息量表示了一个事件是否发生的不确定性的大小。一旦该事件发生，就消除了这种不确定性，带来了信息量，即：自信息量表示了一个事件的发生带给我们的信息量的大小。自信息量表示了确定一个事件是否发生，所需的信息量的大小。自信息量表示了将事件的信息量表示出来，所需的二进制位的个数。自信息量的例子假设“张三今天吃饭了”这个事件发生的概率是99.99%，则该事件的自信息量为：这表明该事件的不确定性很小。假设“美国总统的专机发生空难”这个事件发生的概率是0.01%，则该事件的自信息量为：这表明该事件的不确定性很大。联合自信息量定义2-2二维联合集XY上的元素(xiyj)的联合自信息量

3、定义为联合自信息量衡量的是多个事件同时出现的不确定性；或者，两个事件同时发生带给我们的信息量的大小；或者，将该信息量表示出来，所需的二进制位的个数。2.1.2条件自信息量定义2-3事件xi在事件yj给定的条件下的条件自信息量定义为：含义：知道事件yj之后，仍然保留的关于事件xi的不确定性；或者，事件yj发生之后，事件xi再发生，能够带来的信息量。p(x)：x出现的概率I(x)：x的不确定性p(x

4、y)：y出现之后x出现的概率I(x

5、y)：知道y之后仍然保留的关于x的不确定性衡量的都是不确定性先验概率后验概率条件自信息量的例子事件：x=“美国总统的专机发生空难”y=

6、“今天是9.11”概率：p(x)=0.01%p(x

7、y)=1%事件x的自信息量为：事件x在事件y发生的情况下的条件自信息量为：2.2互信息量举例张三今天没来上课张三有可能病了为什么没来上课就会猜到生病了？因为二者有关系互信息衡量的就是这种关系的大小象形字，本意：绞绳用的工具，又象握手互相，两者或者多者相互作用两个或者多个事件之间关联的密切程度2.2.1互信息量定义2-4随机事件yj的出现给出关于事件xi的信息量，定义为互信息量。定义式：单位：同自信息量互信息量的含义还可表示为：含义：本身的不确定性，减去知道了事件y之后仍然保留的不确定性，即由y所提供的关于x的信息

8、量，或者说由y所消除的x的不确定性。互信息量=原有的不确定性-尚存在的不确定性对数的几个性质：互信息量的例子事件：x=“美国总统的专机发生空难”y=“今天是9.11”概率：p(x)=0.01%p(x

9、y)=1%前面已求出自信息量和条件自信息量为：而x和y的互信息量为：2.2.2互信息量的性质概率乘法公式全概率公式x1x2…xn和y1p(x1y1)p(x2y1)…p(xny1)p(y1)y2p(x1y2)p(x2y2)…p(xny2)p(y2)………………ymp(x1ym)p(x2ym)…p(xnym)p(ym)和p(x1)p(x2)…p(xn)1全概率公式互信息量

10、的性质1互信息量的互易性I(x;y)=I(y;x)证明：含义：由y所提供的关于x的信息量等于由x所提供的关于y的信息量概率乘法公式全概率公式互信息量的性质2互信息量可为0当事件x、y统计独立时，互信息量为0证明：含义：当两个事件相互独立时，一个事件不能提供另一个事件的任何信息。即一个事件发生之后，对于确定另一个事件是否发生没有任何帮助。p(x

11、y)=p(x)无论是否知道y，都对x出现的概率没有影响x和y没有什么关系概率乘法公式全概率公式互信息量的性质3互信息量可正可负正：y的出现有助于肯定x的出现x：张三病了。y：张三没来上课。负：y的出现有助于否定x的出现x：李

12、四考了全班第一名。y：李四没有复习功课。无论正负，互信息量的绝对值越大，x和y的关系越密切。回想自信息量I(x)I(x)≥0：x的出现或多或少总能带来一些信息互信息量的性质4互信息量不大于其中任一事件的自信息量证明同理：I(x;y)=I(y;x)≤I(y)互信息量=原有的不确定性-尚存在的不确定性2.3离散集的平均自信息量（熵）离散集X={x1,x2,…,xn}离散集的概率分布表示为离散集中的每一个事件都有自己的自信息量所有这些自信息量的均值，就是离散集的平均自信息量定义2-5集X上，随机变量I(xi)的数学期望定义为平均自信息量。又称作集X的信息熵，简称熵。H(

13、X)又可记