第二章信息度量ppt课件.ppt

《第二章信息度量ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章信息论的基本概念——信息的统计度量引言——预备知识1信息的度量信息的可度量性-建立信息论的基础；信息度量的方法:结构度量﹑统计度量﹑语义度量﹑模糊度量等；统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念；熵概念是香农信息论最基本最重要的概念。2单符号离散信源的数学模型离散信源只涉及一个随机事件，可用离散随机变量来表示。单符号离散的数学模型X，Y，Z代表随机变量，指的是信源整体；代表随机事件的某一结果或信源的某个元素。不可混淆!3概率复习4中学数学知识Log(xy)=logx+logyLog(x/y)=logx-logy2.1自信息和条

2、件自信息量2.1.1自信息量自信息量InformationI(ai)ofaimustbefunctionofai’suncertaintysuchasP(ai)ItcanbeexpressionasI(ai)=f[P(ai)]HowaboutI(ai)=P(ai)?Notsuitfor4axiomIfP(ai),;IfP(ai)=0,I(ai)=∞;IfP(ai)=1,I(ai)=0;IfP(a1)andP(a2)areindependentthenI(a1a2)=I(a1)+I(a2)对于单个消息随机变量U，出现某个消息，对应概率为，这时可获得的信息量为，则有：解释：小概率事

3、件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。注：I－－自信息自信息量I(ai)的性质I(ai)是非负值；当P(ai)=1时，I(ai)=0；当P(ai)=0时，I(ai)=∞；I(ai)是P(ai)的单调递减函数联合自信息量信源模型(涉及两个随机事件)联合自信息量举例2.12(6)2.1.2条件自信息量条件概率对数的负值在特定条件下(已定)随机事件发生所带来的信息量定义联合自信息量和条件自信息量也满足非负和单调递减性。关

4、系当X和Y独立时，2.2互信息量和条件互信息量信源发出消息的概率称为先验概率，信宿收到后推测信源发出的概率称为后验概率。定义的后验概率与先验概率比值的对数为对的互信息量，用表示，即互信息量等于自信息量减去条件自信息量。第三种表达方式：互信息的性质对称性当X和Y相互独立时，互信息为0互信息量可为正值或负值条件互信息量给定条件下，与之间的互信息量，其定义式问题与思考课堂疑问?某地二月份天气构成的信源为现有人告诉你:“今天不是晴天。”，把这句话作为收到的消息。当收到消息后，各种天气发生的概率变成后验概率了。其中计算与各种天气之间的互信息量信息量X2、x3、x4各1比特的信息量，也可以理解

5、为y1使X2、x3、x4不确定度各减少1比特说明收到y1后，不仅没有使x1的不确定度减少，反而使x1不确定更大，互信息量为负举例2.2概率复习2.3信源熵2.3.1熵的引入一个离散随机变量X，以不同的取值概率有N个可能取值,XP（x）＝a1a2…aNp1p2…pN信息论关心：X的不确定性不确定性－－大，获取的信息－－多熵的引入箱内100个球摸到红球不确定性分析：随机变量X、Y、ZXP（x）＝a1a20.990.01ZP（z）＝a1a2a3a4a50.20.20.20.20.2YP（y）＝a1a20.50.5问题：能否度量、如何度量？？小大99个红球，1个黑球50个红球，50个黑球2

6、0个红球，其它4种颜色各20个2.3.2信源熵数学描述信源熵定义：信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时也称为无条件熵或熵函数，简称熵。公式：熵函数的自变量是X,表示信源整体，实质上是无记忆信源平均不确定度的度量。也是试验后平均信息量为熵单位：以2为底，比特/符号为什么要用熵这个词，与热熵的区别？不确定性＝携载的信息熵的单位信息熵的单位与公式中的对数取底有关。通信与信息中最常用的是以2为底，这时单位为比特（bit）；理论推导中用以e为底较方便，这时单位为奈特（Nat）；工程上用以10为底较方便

7、，这时单位为笛特（Det）。它们之间可以引用对数换底公式进行互换。比如：1bit=0.693Nat=0.301Det香农熵与热力学中热熵的关系熵这个名词是仙农从物理学中的统计热力学借用过来的，在物理学中称它为热熵是表示分子混乱程度的一个物理量，这里，仙农引用它来描述信源的平均不确定性，含义是类似的。但是在热力学中已知任何孤立系统的演化，热熵只能增加不能减少；而在信息论中，信息熵正相反，只会减少，不会增加。所以有人称信息熵为负热熵。二者还有一个重大差别：热熵是有量纲的，