资源描述：
《第2章_离散信源及信息测度1》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第二章离散信源及信息测度DUT信息论基础本章内容提要本章内容提要2.1信源的数学模型及分类2.2离散信源的信息熵2.3信源的基本性质2.5离散无记忆的扩展信源2.6离散平稳信源2.8信源剩余度自然语言的熵DUT信息论基础22.1信源的数学模型及分类从信源发出的消息在时间上的分布分为离散信源和连续信源；从信源消息是模拟的还是数字的分为模拟信源和数字信源；对数字信源还可分为二进制信源和多进制信源。对于离散信源，根据符号的特点以及符号间的关联性可分无记忆离散信源和有记忆离散信源对于前者，又可分为发出单个符号的无记忆离
2、散信源和发出符号序列的无记忆离散信源；对于后者，又可分为发出符号序列的有记忆离散信源和发出符号序列的马尔可（Markov）信源。DUT信息论基础32.1信源的数学模型及分类从描述信源消息的随机过程的平稳性角度分为平稳信源和非平稳信源按随机过程的类别分为高斯信源、马尔可夫信源等根据人们对信源消息的感知分为数据信源、文本信源、语音信源、图像信源等，其中文本信源和语音信源都是针对人类语言、文字、声乐等感知的，又通称为自然语信源。数学上怎样描述信源?DUT信息论基础42.2离散信源的信息熵单符号离散信源从讨论信源的特征入手，给出
3、定量度量信息的方法。以天文学范畴的事件为例。小行星撞击地球、月食、日食、流星雨、星系的产生与消亡等等，都是天文学内一个个离散的事件如果将一个事件用一个符号来表示，则一个符号代表一个完整的消息如果把都是天文学内的事件看作是天文学这个“信源”输出的符号，则这个信源可以看作是单符号离散信源。DUT信息论基础52.2离散信源的信息熵单符号离散信源由此给出如下定义：定义2.1如果信源发出的消息是离散的、有限或无限可列的符号或数字，且一个符号代表一条完整的消息，则称这种信源为单符号离散信源。DUT信息论基础62.2离散信源的信息
4、熵单符号离散信源单符号离散信源的实例掷骰子每次只能是1,2,3,4,5,6中的某一个；天气预报可能是晴、阴、雨、雪、风、冰雹…中的一种或其组合以及温度、污染等；二进制通信中传输的只是1、0两个数字；等等。这种符号或数字都可以看作某一集合中的事件，每个符号或数字（事件）都是信源中的元素，它们的出现往往具有一定的概率。因此，信源又可以看作是具有一定概率分布的某一符号集合DUT信息论基础72.2离散信源的信息熵单符号离散信源定义2.2若信源的输出是随机事件X，其出现概率为P(X),，则它们所构成的集合，称为信源的概率空间或简称
5、为信源空间。信源空间通常用如下方式来描述：X:x1,x2,,xi,,xN(2.1)[XP:]P(X:)P(x1),P(x2),,P(xi),,P(xN)显然，信源空间必定是一个完备集，即N(2.2)P(x)1ii1DUT信息论基础82.2离散信源的信息熵度量信息的基本思路考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。设x为最大可能的输出，x为最小可能的输出。1N例如，假设信源输出代表天气情况，x为晴或多云天气，x为冰1N雹或其它强对流天气。哪个输出包含更多的信息，x还是x？1N直观地，传
6、递x给出了更多的信息。N由此可以合理地推算信源输出的信息量应该是输出事件的概率的减函数。信息量的另一个直观属性是，某一输出事件的概率的微小变化不会很大地改变所传递的信息量，即信息量应该是信源输出事件概率的连续减函数。DUT信息论基础92.2离散信源的信息熵度量信息的基本思路假设与输出x相关的信息能被分成独立的两部分，比如ix与x，即x={x，x}。i1i2ii1i2例如，假设天气预报中的天气及温度变化是与污染程度相关性很小甚至几乎完全独立的，则信源的每一个输出就能分成独立的两部分。直观地，传递x所包含的信息量是分别传递x
7、和x所得ii1i2到的信息量的和。DUT信息论基础102.2离散信源的信息熵度量信息的基本思路若信源中事件x的出现所带来的信息量用I(x)来表示ii并称之为事件x的自信息量，i则概率为p(x)的信源输出ix所包含的信息量I(x)必须ii满足以下几个条件：DUT信息论基础112.2离散信源的信息熵度量信息的基本思路1.信源输出x所包含的信息量仅依赖于它的概率，而与它的取值无关。i2.I(xi)是P(xi)的连续函数。3.I(x)是P(x)的减函数，即：ii如果P(x)>P(x)，则I(x)8、)=0,则I(x)→∞；ii若P(x)=1,则I(x)=0。ii4.若两个单符号离散信源（符号集合X,Y）统计独立,则X中出现x、Yi中出现y的联合信息量jI(xi,yj)=I(xi)+I(yj)只有对数函数能够同时满足以上条件。DUT信息论基础122.2离散
