《信息的度量》ppt课件

《《信息的度量》ppt课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章信息的度量主要内容信源模型不确定性与信息熵与平均互信息扩展信源离散有记忆信源的熵离散信源的信息（速）率和信息含量效率连续随机变量下的熵和平均互信息量各节内容2.1信源模型2.2（概率）信息的描述2.3不确定性与信息2.4离散熵2.5联合熵和条件熵2.6平均互信息量及其性质2.7离散无记忆信源的扩展2.8离散有记忆信源的熵2.9离散信源的信息（速）率和信息含量效率2.10连续随机变量下的熵和平均互信息量2.1信源模型信源模型的建立信源分类1实际信源信源的性质由其输出完全确定。实际信源的输出各不相同，可能是汉字、英文、声音、图像等，统称为消息。信源

2、发出消息的过程，等同于从一个基本消息集合取出基本消息的过程。信源消息基本消息集合基本消息2信源模型对认识主体而言，信源在某一时刻输出什么符号是随机的。信源消息基本消息集合基本消息信源随机变量序列值域符号集或符号表3信源分类（一）根据参数集和值域是离散集合还是连续区间进行分类：信源随机变量序列值域信源输出随机变量序列：参数集(1)时间离散空间离散信源:离散，离散。（离散信源）(2)时间离散空间连续信源:离散，连续。（连续信源）(3)时间连续空间离散信源:连续，离散。(4)时间连续空间连续信源:连续，连续。（波形信源）4信源分类（二）（1）有记忆信源：中

3、各随机变量是统计相关。（2）平稳信源：序列的统计特性与时间的推移无关。根据信源输出随机变量序列的统计关联性进行分类：（3）无记忆信源：是一族相互独立的随机变量。2.2（概率）信息的描述离散无记忆信源（DMS）非理想观察模型1离散无记忆信源DMS：DiscreteMemorylessSource，离散无记忆信源。DMS随机变量序列值域符号集或符号表：独立同分布随机变量序列。DMS离散无记忆信源（续）DMS先验概率：先验概率集合：DMS的概率空间：概率的完备性条件：有用的记号：2非理想观察模型：先验概率集合：后验概率集合：转移概率集合信源观察过程传递的信

4、息＝先验不确定性－后验不确定性2.3不确定性与信息信息是不确定性的减少量。为度量信息，可从度量不确定性入手。不确定性的种类很多。未经统计平均的不确定性有：自信息量、条件自信息量和联合自信息量。统计平均意义下的不确定性有：熵、条件熵和联合熵。先介绍各种不确定性的度量方法，然后再引入信息的度量方法。1自信息量DMS注：自信息量与信息有联系，但不是信息，而是符号的先验不确定性。：的（先验）不确定性，也称为的自信息量。自信息量的单位自信息量的单位与公式中对数底的选取有关。进制单位正整数十进制单位，迪特（dit，decimaldigit的缩写），也可用哈特（H

5、art）自然单位，奈特（nat，naturaldigit）二进制单位，比特（bit，binarydigit）单位对数符号102对数底自信息量的单位（续）单位换算：进制单位为了强调是符号的不确定性，我们将单位写成：bit/符号nat/符号dit/符号r进制单位/符号自信息量单位的物理含义说明意义：的不确定性可用2位二进制数字来度量或1位四进制数字来度量。例随机变量，各符号的概率相等，则各符号的自信息量相等：Bit/符号Bit/符号2联合自信息量DMS联合符号的先验不确定性称为联合自信息量:bit/二元符号多元联合符号的联合自信息量三元符号的自信息量为:

6、bit/三元符号3条件自信息量对于联合随机变量:存在两种条件概率:在条件下的条件自信息量:bit/符号思考:自信息量的物理解释信源观察过程先验概率先验不确定性后验概率后验不确定性转移概率干扰引入的不确定性例1甲在一8×8的方格棋盘上随意放入一个棋子，在乙看来棋子落入的位置是不确定的。（1）在乙看来，棋子落入某方格的不确定性为多少？（2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？解棋格按顺序编号棋格行号(1)bit/符号(2)bit/符号4自信息量的性质和相互关系(1)概率为0时，相应的自信息量无意义。(2)非负性。三

7、种自信息量均非负。公式:自信息量的性质和相互关系（续一）公式:联合概率、条件概率和边缘概率之间的乘法关系：自信息量的可加性:物理解释:教材第21页。自信息量相互关系推广自信息量的可加性:推广到多维空间自信息量可加性的链公式：特殊情况下自信息量相互关系公式:自信息量的可加性:当和统计独立时，概率之间的乘法关系：可加性的链公式：5互信息量及其性质信源观察过程信源观察过程的后验不确定性的先验不确定性从中获得的关于的信息＝的先验不确定性－的后验不确定性：互信息量，事件信息实在信息从中得到了的全部信息含有的实在信息在数值上等于例2甲在一8×8的方格棋盘上随意放

8、入一个棋子，在乙看来棋子落入的位置是不确定的。（1）若甲告知乙棋子落入方格的行号，这时乙得到了多少信息量？（