ch2-信息的统计度量ppt课件.ppt

《ch2-信息的统计度量ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章信息的统计度量教师：李琼哈尔滨工业大学2.1自信息量和条件自信息量2.2互信息和条件互信息2.3离散集的平均自信息量（熵）2.4离散集的平均互信息量主要内容2021/9/22符号约定：1.大写字母：集合、随机变量2.小写字母：集合中的元素、随机变量的可能取值3.2021/9/232.1自信息量和条件自信息量2.1.1自信息量信息能度量吗？许多直观的经验告诉我们，信息是有度量的．“这句话很有用，信息量很大”“这句话没有用，我们早就知道”2021/9/242.1.1自信息量信息量与不确定度事件发生的概率

2、越大，它提供的信息量就越小。事件“中国足球队0:1负于韩国足球队”事件发生的概率越小，一旦该事件发生，它发生后提供的信息量越大事件“中国足球队5:0力克韩国足球队”2021/9/252.1.1自信息量根据客观事实和人们的习惯，函数应满足：2021/9/26定义2.1.1任意随机事件的自信息量定义为该事件发生概率的对数的负值。假设事件xi发生的概率为p(xi)，则其自信息定义为2.1.1自信息量2.1.1自信息量2021/9/282.1.1自信息量2021/9/292.1.1自信息量底数单位2bit(bin

3、aryunit)比特enat(natureunit)奈特10hart(hartly)哈特2021/9/2102.1.1自信息量自信息量的含义：自信息量衡量的是随机事件的不确定性。事件的不确定性越大，其自信息量也越大；反之亦然，两者成正比2021/9/2112.1.1自信息量假设事件“中国足球队0:1负于韩国足球队”这个事件发生的概率是99%，则该事件的自信息量为：假设事件“中国足球队5:0力克韩国足球队”发生的概率是1%，则该事件的自信息量为：举例：该事件的不确定性小，自信息量小。该事件的不确定性大，自信

4、息量大。2.1.1自信息量例2.1.12.1.1自信息量例2.1.1（续）2.1.1自信息量定义2.1.2二维联合集XY上的元素(xiyj)的联合自信息量定义为联合自信息量衡量的是多个事件同时出现的不确定性。2.1.2条件自信息量定义2.1.3p(x)：x出现的概率I(x)：x的不确定性p(x

5、y)：y出现之后x出现的概率I(x

6、y):已知y之后仍然保留的关于x的不确定性衡量的都是不确定性先验概率后验概率含义：2.1.2条件自信息量举例：事件：x=“明天会发生海啸”y=“明天会发生地震”概率：p(x)=0

7、.01%p(x

8、y)=1%事件x的自信息量为：事件x在事件y发生的情况下的条件自信息量为：2.1.2条件自信息量例2.1.22.2互信息量和条件互信息量举例：张三同学今天没来上课张三可能病了为什么没来上课就会猜到生病了？因为二者之间有关系互信息衡量的就是这种关系的大小象形字，本意：绞绳用的工具，又象握手2.2.1互信息量定义2.2.1随机事件y的出现给出关于事件x的信息量，定义为互信息量。定义式：单位：同自信息量2.2.1互信息量含义：本身的不确定性，减去知道事件y之后仍然保留的不确定性，即由y所提供的关

9、于x的信息量，或者说由y所消除的关于x的不确定性。互信息量=原有的不确定性-尚存在的不确定性对数的性质：2.2.1互信息量互信息量=原有的不确定性-尚存在的不确定性信道xy2.2.1互信息量——举例事件：x=“明天会发生海啸”y=“明天会发生地震”概率：p(x)=0.01%p(x

10、y)=1%前面已求出自信息量和条件自信息量为：而x和y的互信息量为：2.2.2互信息量的性质——1.互易性性质1:互易性：I(x;y)=I(y;x)证明：含义：由y所提供的关于x的信息量等于由x所提供的关于y的信息量2.2.2互

11、信息量的性质——2.可为零性质2:当事件x、y统计独立时，互信息量为0证明：含义：当两个事件相互独立时，一个事件不能提供另一个事件的任何信息。即一个事件发生之后，对于确定另一个事件是否发生没有任何帮助。p(x

12、y)=p(x)x和y之间没有什么关系，无论是否知道y，都对x出现的概率没有影响2.2.2互信息量的性质——3.可正可负正：y的出现有利于确定x的发生x：张三病了。y：张三没来上课。负：y的出现不利于确定x的发生x：李四考了全班第一名。y：李四没有复习功课。无论正负，互信息量的绝对值越大，x和y的关系

13、越密切。I(x)≥0：x的出现或多或少总能带来一些信息2.2.2互信息量的性质——4.互信息量不大于任一事件的自信息量互信息量=原有的不确定性-尚存在的不确定性信道xy互信息量的例子例2.2.1已知条件p(b)=p(c)=p(d)=1/3,p(d

14、e)=0,p(b

15、e)=p(c

16、e)=1/2p(c

17、ef)=p(d

18、ef)=0,p(b

19、ef)=1。求互信息量：解：2.2.3条件互信息量定义2.2.2联合集XYZ中，在给定z的条件