信息论信息的统计度量

《信息论信息的统计度量》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第2章信息的统计度量主要内容从概率的角度研究问题自信息量互信息量平均自信息量平均互信息量信息的大小多个信息之间关联的密切程度离散信号和连续信号连续信号：时间和幅度都是连续的离散信号：时间和幅度都是离散的，是我们的研究重点离散信号和连续信号之间的转换连续信号离散时间信号离散信号抽样离散化插值2.1自信息量和条件自信息量定义2.1.1任意随机事件的自信息量定义为该事件发生概率的对数的负值。假设事件xi发生的概率为p(xi)，则其自信息定义式为自信息量一般以2为底，单位为比特。概率自信息量自信息量的含义自信息量衡量的是随机事件的不确定性

2、。事件的不确定性越大，其自信息量也越大；反之亦然，两者成正比。自信息量的例子假设“人每天都要吃饭”这个事件发生的概率是99.99%，则该事件的自信息量为：这表明该事件的不确定性很小。假设“美国总统的专机发生空难”这个事件发生的概率是0.01%，则该事件的自信息量为：这表明该事件的不确定性很大。自信息量的例子例2.1.1设在甲袋中放入n个不同阻值的电阻，，每个电阻被取出的概率是相等的，，则事件“取出的电阻的阻值为i”的信息量为：自信息量的例子例2.1.1（续）设在甲袋中放入个不同阻值的电阻，其中1Ω的1个，2Ω的2个，…，nΩ的n个

3、，则那么，事件“取出的电阻的阻值为i”的信息量为：条件自信息量定义2.1.3事件x在事件y给定的条件下的条件自信息量定义为：含义：知道y之后仍然保留的关于x的不确定性。自信息量事件本身的不确定性。条件自信息量知道了另一件事情之后，仍然保留的不确定性。衡量的都是不确定性条件自信息量的例子事件：x=“美国总统的专机发生空难”y=“今天是9.11”概率：p(x)=0.01%p(x

4、y)=1%事件x的自信息量为：事件x在事件y发生的情况下的条件自信息量为：条件自信息量的例子例2.1.2设xi表示棋子落入第i行；yj表示棋子落入第j列，i,

5、j=1,2,…,8，则（1）（2）2.2互信息量定义2.2.1随机事件y的出现给出关于事件x的信息量，定义为互信息量。定义式：互信息量的含义还可表示为：含义：本身的不确定性，减去知道了事件y之后仍然保留的不确定性，即由y所提供的关于x的信息量互信息量=自信息量-尚存在的不确定性互信息量的例子事件：x=“美国总统的专机发生空难”y=“今天是9.11”概率：p(x)=0.01%p(x

6、y)=1%前面已求出自信息量和条件自信息量为：而x和y的互信息量为：互信息量的性质概率乘法公式全概率公式互信息量的性质1.互信息量的互易性含义：由y所提

7、供的关于x的信息量等于由x所提供的关于y的信息量互信息量的性质2.互信息量可为0何时为0：这表明当x和y统计独立时，也就是x和y没有什么关系的时候，互信息量为0。含义：一个事件不能提供另一个事件的任何信息。即一个事件发生之后，对于确定另一个事件是否发生没有任何帮助。互信息量的性质3.互信息量可正可负正：y的出现有助于肯定x的出现x：张三病了。y：张三没来上课。负：y的出现有助于否定x的出现x：李四考了全班第一名。y：李四没有复习功课。无论正负，互信息量的绝对值越大，x和y的关系越密切。互信息量的性质4.互信息量不可能大于其中任一事

8、件的自信息量互信息量=自信息量-尚存在的不确定性互信息量的例子例2.2.1已知条件p(B)=p(C)=p(D)=1/3,p(D

9、E)=0,p(B

10、E)=p(C

11、E)=1/2p(C

12、EF)=p(D

13、EF)=0,p(B

14、EF)=1互信息量2.3平均自信息量自信息量的均值定义2.3.1集X上，随机变量I(xi)的数学期望定义为平均自信息量。又称作集X的信息熵，简称熵。平均自信息量含义0*log0=0自信息量：集合X中某一个元素xi的信息量平均自信息量：集合X中所有元素信息量的平均值集合X的平均不确定性平均自信息量的例子例2.3.1平均每

15、个画面可提供的信息量：平均每篇千字文可提供的信息量：平均自信息量的例子例2.3.2凸函数一维和二维凸集合的例子凸集合非凸集合熵函数的数学特性1.对称性：集合中各分量的次序任意变更时，熵值（平均自信息量）不变从熵（平均自信息量）的公式上来看，该结论是明显的深层含义：熵是有局限性的。它是平均不确定性的度量，抹煞了个体的特性。熵函数的数学特性2.非负性：H(X)≥0源于自信息量的非负性。什么时候为0：有且仅有一个pi=1，其余的pi=0，即确定信源。熵函数的数学特性3.扩展性含义：集合X中，一个事件发生的概率比其它事件发生的概率小得多时

16、，这个事件对于集合的熵值的贡献可以忽略。集合X有q个事件，集合Y比X仅仅是多了一个概率接近0的事件，则两个集合的熵值一样。熵函数的数学特性4.极值性：各事件等概率发生时，熵最大。5.确定性：集合中只要有一个事件为必然事件，则其余事件为不可能事件，熵