《熵和互信息量》ppt课件

《《熵和互信息量》ppt课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1章熵和互信息量本章介绍信源的统计特性和数学模型各类信源的信息测度----熵及其性质引入信息理论的一些基本概念和重要结论通信系统模型：对信息论的学习可从信源开始消息是信息的载荷者。信息是抽象的，消息是具体的。要研究信息，还得从研究消息入手。由于信源发送什么消息预先是不可知的，只能用概率空间来描述信源1.1信源的数学模型及分类单符号信源：输出是单个符号（代码）的消息离散信源连续信源平稳随机序列信源：信源输出的消息由一系列符号序列所组成，可用N维随机矢量X＝(X1,X2,…,XN)描述，且随机矢量X的各维概率分布都与时间起点无关----平稳！离散平稳信源连续平稳信源无记忆（独立）离

2、散平稳信源有记忆信源m阶马尔可夫信源随机波形信源离散信源(单符号)特点：输出是单个符号（代码）的消息，符号集的取值A:{a1,a2,…,aq}是有限的或可数的，可用一维离散型随机变量X来描述。例：投硬币、书信、电报符号等等。数学模型：设每个信源符号ai出现的(先验)概率p(ai)(i=1,2,…,q)满足：概率空间能表征离散信源的统计特性，因此也称概率空间为信源空间。连续信源特点：输出是单个符号（代码）的消息，输出消息的符号集A的取值是连续的，可用一维的连续型随机变量X来描述。例：语音信号、热噪声信号、遥控系统中有关电压、温度、压力等测得的连续数据等等。数学模型：连续型的概率空间

3、。即：或满足或1.2离散信源的信息熵及其性质基本的离散信源可用一维随机变量X来描述信源的输出，信源的数学模型可抽象为:问题：这样的信源能输出多少信息?每个消息的出现携带多少信息量?信息的度量考虑：信息的度量（信息量）和不确定性消除的程度有关，消除的不确定性＝获得的信息量；不确定性就是随机性，可以用概率论和随机过程来测度，概率小－>不确定性大；推论：概率小－>信息量大，即信息量是概率的单调递减函数；信息量应该具有可加性；信息量的推导某事件发生所含有的信息量应该是该事件发生的先验概率的函数。即：I(ai)＝f[p(ai)]根据客观事实和人们的习惯概念，函数f[p(ai)]应满足以下条

4、件：（1）它应是先验概率p(ai)的单调递减函数，即当p(a1)>p(a2)时，有f[p(a1)]

5、要注意有关事件发生概率的计算；自信息量的单位取决于对数的底；底为2，单位为“比特（bit,binaryunit）”；底为e，单位为“奈特（nat,natureunit）”；底为10，单位为“哈特（hat,Hartley）”；根据换底公式得：一般计算都采用以“2”为底的对数，为了书写简洁，常把底数“2”略去不写1nat=1.44bit,1hat=3.32bit；[例]8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和确定哪个灯泡已损坏。解：收到某消息获得的信息量(即收到某消息后获得

6、关于某事件发生的信息量)＝不确定性减少的量＝(收到此消息前关于某事件发生的不确定性)-(收到此消息后关于某事件发生的不确定性)已知8个灯泡等概率损坏，所以先验概率P(x1)＝1/8，即第二次测量获得的信息量=I[P(x2)]-I[P(x3)]=1(bit)第三次测量获得的信息量=I[P(x3)]=1(bit)至少要获得3个比特的信息量就可确切知道哪个灯泡已坏了。第一次测量获得的信息量=I[P(x1)]-I[P(x2)]=1(bit)经过二次测量后，剩2个灯泡，等概率损坏，P(x3)＝1/2一次测量后，剩4个灯泡，等概率损坏，P(x2)＝1/4二.信息熵对一个信源发出不同的消息所含

7、有的信息量也不同。所以自信息I(ai)是一个随机变量，不能用它来作为整个信源的信息测度。定义自信息的数学期望为平均自信息量Hr(X)，称为信息熵：由于这个表达式和统计物理学中热熵的表达式相似，且在概念上也有相似之处，因此借用“熵”这个词，把H(X)称为信息“熵”；信息熵的单位由自信息量的单位决定，即取决于对数的底。H(X)的单位：r进制单位／符号（r>1）熵的计算[例]：有一布袋内放l00个球，其中80个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜色，那么其概率空