信息论与编码 第2章 信源熵

《信息论与编码 第2章 信源熵》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、当你感到悲哀痛苦时，最好是去学些什么东西。学习会使你永远立于不败之地。第1章：概述第2章：信源熵第3章：信道容量第4章：信息率失真函数第5章：信源编码第6章：信道编码第7章：密码体制的安全性测度信息度量的方法有：结构度量、统计度量、语义度量、语用度量、模糊度量等等。最常用的方法是统计度量。它用事件统计发生概率的对数描述事物的不确定性，得到消息的信息量，建立熵的概念。熵概念是香农信息论最基本最重要的概念。从随机变量出发来研究信息，正是香农信息论的基本假说。§2.1单符号离散信源§2.3连续信源§2.2多符号离散信源§2.4离散信源无失真编码定理§2.1.6各种熵之间的关系§2.1.

2、1单符号离散信源的数学模型§2.1.2自信息和信源熵§2.1.3信源熵的基本性质和定理§2.1.4加权熵的概念和基本性质§2.1.5平均互信息连续信源离散信源单符号离散信源多符号离散信源信源输出的是一个个符号，这些符号的取值是有限的或可数的。只涉及一个随机事件的离散信源。可用离散随机变量来描述。涉及多个随机事件的离散信源。可用随机矢量来描述。输出连续消息的信源。可用随机过程来描述。信源离散信源连续信源单符号多符号随机变量随机矢量随机过程信源分类对于离散随机变量，取值于集合单符号离散信源的数学模型为(2.1.2)对任一记需要注意的是：大写字母X、Y、Z代表随机变量，指的是信源整体。

3、带下标的小写字母:代表随机事件的某一结果或信源的某个元素。两者不可混淆。§2.1.4加权熵的概念和基本性质§2.1.1单符号离散信源的数学模型§2.1.2自信息和信源熵§2.1.3信源熵的基本性质和定理§2.1.5平均互信息§2.1.6各种熵之间的关系随机变量X、Y分别取值于集合联合随机变量取值于集合记无条件概率、条件概率、联合概率满足下面一些性质和关系：123456一、信息量自信息量联合自信息量条件自信息量信息量度量信息的基本思路考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。?设为最大可能的输出，为最小可能的输出。例如，假设信源输出代表天气情况，为晴或多云天气，为冰

4、雹或其它强对流天气。?哪个输出包含更多的信息，还是？?直观地，传递给出了更多的信息。?由此可以合理地推算信源输出的信息量应该是输出事件的概率的减函数。?信息量的另一个直观属性是，某一输出事件的概率的微小变化不会很大地改变所传递的信息量，即信息量应该是信源输出事件概率的连续减函数。假设与输出相关的信息能被分成独立的两部分，比如与，即。例如，假设天气预报中的天气及温度变化是与污染程度相关性很小甚至几乎完全独立的，则信源的每一个输出就能分成独立的两部分。直观地，传递所包含的信息量是分别传递和所得到的信息量的和。若信源中事件的出现所带来的信息量用来表示并称之为事件的自信息量，则概率为的信

5、源输出所包含的信息量必须满足以下几个条件：信源输出所包含的信息量仅依赖于它的概率，而与它的取值无关。2.是的连续函数。3.是的减函数，即：如果，则。极限情况，若,则；?若,则。4.若两个单符号离散信源（符号集合X,Y）统计独立,则X中出现、Y中出现的联合信息量问题：什么函数能够同时满足以上条件呢？［举例］设在甲布袋中，放入p个不同阻值的电阻。如果随意选取出一个，并对取出的电阻值进行事先猜测，其猜测的困难程度相当于概率空间的不确定性。甲布袋的概率空间为：阻值为i的电阻：选取出阻值为i电阻的概率假设电阻选取的概率是相等的，则接收到“选取出阻值为i的电阻”所获得的信息量为乙布袋中，放入

6、按功率划分的q种不同功率的电阻。如果对任意选取出来的功率值进行事先猜测，那么，可看成为另一概率空间：功率为j的电阻：选取出功率为j的电阻的概率假设q种不同功率的选择也是等概率的，则被告知“选取出功率为j的电阻”所获得的信息量为这两个函数应该是同一类函数再设在第三个布袋中，放入p种不同阻值，而每一种阻值又有q种不同功率的电阻，即共有p·q个电阻。设它们的选取也是等可能性的，其概率空间为则“选取出阻值为i，功率为j的电阻”这一事件提供的信息量应为从第三个布袋中选出一电阻的效果相当于从甲布袋中选择一电阻后再从乙布袋中选择一电阻。“选取出阻值为i，功率为j”这件事提供的信息量应该是“选取

7、出阻值为i”和“选取出功率为j”这两件事提供的信息量之和，即可以用泛函分析方法解得满足条件的函数形式为所以：显然满足：用概率测度定义信息量：设离散信源X，其概率空间为如果知道事件已发生，则该事件所含有的自信息定义为单位：比特(2为底)、奈特、笛特（哈特）三个信息单位之间的转换关系如下：自信息量1由式(2.1.3)可知，一个以等概率出现的二进制码元(0,1)所包含的自信息量为1bit。对于进制的数字序列,假设每一符号的出现完全随机且概率相等，求任一符号的自信息量。解：设进制数字序列