信息论与编码理论_02

《信息论与编码理论_02》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码理论杨文通信工程系2信源熵本章重点：信源的统计特性和数学模型、各类信源的信息测度—熵及其性质。2.1单符号离散信源2.2多符号离散信源2.3连续信源2.4离散无失真信源编码定理2信源熵信息论的发展是以信息可以度量为基础的，度量信息的量称为信息量。对于随机出现的事件，它的出现会给人们带来多大的信息量？考虑到通信系统或很多实际的信息传输系统，对于所传输的消息如何用信息量的方法来描述？本章将围绕这些问题展开讨论。2.1单符号离散信源2.1.1单符号离散信源的数学模型2.1.2信息量和信息熵2.1.3熵的基本性质和定理2.1.4平均互信息2.1.5

2、各种熵之间的关系2.1.1单符号离散信源的数学模型(1)信源的描述方法(2)单符号离散信源(3)单符号离散信源数学模型(1)信源的描述方法在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的。①离散信源：输出的消息常常是以一个个符号形式出现，这些符号的取值是有限的或可数的。单符号离散信源：只涉及一个随机事件，可用随机变量描述。多符号离散信源：每次输出是一个符号序列，序列中每一位出现哪个符号都是随机的，而且一般前后符号之间是有依赖关系的。可用随机矢量描述。②连续信源：输出连续消息，可用随机过程描述。(2)单符号离散信源从讨论信源的特征入手，给出

3、定量度量信息的方法。以天文学范畴的事件为例：小行星撞击地球、月食、日食、流星雨、星系的产生与消亡等等，都是天文学内一个个离散的事件如果将一个事件用一个符号来表示，则一个符号代表一个完整的消息如果把都是天文学内的事件看作是天文学这个“信源”输出的符号，则这个信源可以看作是单符号离散信源。(2)单符号离散信源由此给出如下定义：如果信源发出的消息是离散的、有限或无限可列的符号或数字，且一个符号代表一条完整的消息，则称这种信源为单符号离散信源。(2)单符号离散信源单符号离散信源的实例掷骰子每次只能是1,2,3,4,5,6中的某一个；天气预报可能是晴、阴、

4、雨、雪、风、冰雹…中的一种或其组合以及温度、污染等；二进制通信中传输的只是1、0两个数字；等等。这种符号或数字都可以看作某一集合中的事件，每个符号或数字（事件）都是信源中的元素，它们的出现往往具有一定的概率。因此，信源又可以看作是具有一定概率分布的某一符号集合。(3)单符号离散信源数学模型若信源的输出是随机事件X，其出现概率为P(X)，则它们所构成的集合，称为信源的概率空间或简称为信源空间。(3)单符号离散信源数学模型单符号离散信源的数学模型就是离散型的概率空间：Xx1,x2,，xn信源空P(X)p(x1),p(x2),,p(

5、xn)间的描信源空间述n必定是一0p(xi)1，P(xi)1i1个完备集X代表随机变量，指的是信源整体xi代表随机事件的某一结果或信源的某个元素p(xi)=P(X=xi)，表示随机事件X发生某一结果xi的概率。n是有限正整数或可数无限大2.1.2信息量和信息熵(1)自信息量和条件自信息量(2)互信息量和条件互信息量(3)信息熵(1)自信息量和条件自信息量①自信息量②联合自信息量③条件自信息量①自信息量度量信息的基本思路自信息公式确定自信息量计算举例信息量与不确定性的关系自信息含义度量信息的基本思路考虑一个单符号离散信源，它的输

6、出被传送给对此感兴趣的一方。设x1为最大可能的输出，xn为最小可能的输出。例如，假设信源输出代表天气情况，x1为晴或多云天气，xn为冰雹或其它强对流天气。哪个输出包含更多的信息，x1还是xn？直观地，传递xn给出了更多的信息。由此可以合理地推算信源输出的信息量应该是输出事件的概率的减函数。信息量的另一个直观属性是，某一输出事件的概率的微小变化不会很大地改变所传递的信息量，即信息量应该是信源输出事件概率的连续减函数。度量信息的基本思路假设与输出x相关的信息能被分成独立的两部i分，比如x与x，即x={x,x}。i1i2ii1i2例如，假设天气预报

7、中的天气及温度变化是与污染程度相关性很小甚至几乎完全独立的，则信源的每一个输出就能分成独立的两部分。直观地，传递x所包含的信息量是分别传递xii1和x所得到的信息量的和。i2度量信息的基本思路若信源中事件x的出现所带来的信息量用iI(x)来表示并称之为事件x的自信息量，ii则概率为p(x)的信源输出x所包含的信息ii量I(x)必须满足以下几个条件：i度量信息的基本思路1.信源输出x所包含的信息量仅依赖于它的概率，而与i它的取值无关。2.I(x)是p(x)的连续函数。ii3.I(x)是p(x)的减函数，即：ii如果p(xi)>p(xj)，则I(xi)

8、