第三章连续信源的信息熵.ppt

《第三章连续信源的信息熵.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章：连续信源的信息熵§3.EntropyofContinuousSource§3.1连续信源的离散化§3.2随机变量的相对熵§3.3相对熵的性质§3.4常见几种概率密度下的相对熵§3.5连续信源的最大熵定理§3.6平稳高斯随机过程的信息熵与互信息§3.7熵功率与功率不等式«信息理论基础»第三章.连续信源的信息熵§3.1连续信源的离散化(DiscretizationofContinuousSource)我们前面所介绍的信源均指离散信源，即信源所发的消息都是由符号或符号序列所组成；而且每一个符号的取值都属于一个有限元素组成的集合之

2、中。而连续信源是指信源所发出的消息都是由一个个随机过程(stochasticprocess)所形成。如：语音信号它不仅幅度上，而且在时间上也都是连续的，即分别属于一个无限的集合之中。§3.1连续信源的离散化因此，我们所研究的问题就复杂了，然而任何复杂的问题都可以分解成比较简单的问题分步解决。故通常我们有一些处理连续变量的方法。TimediscretizationStochasticprocessRandomvectorRandomvariableMemorylessMarkovianAmplitudediscretizationA

3、mplitudecontinuous正交变换OrthogonalTransformation所谓正交变换是一种数学处理手段，将在T时间内的受限于最高频率为F的随机过程，无失真地变换成2FT个随机变量。最理想的正交变换是：K—Lexpansion。§3.1连续信源的离散化因此任何复杂的统计对象，经多种处理后就可由浅入深地逐步解决问题。正如我们在离散信源中：任何处理过程总要丢失信息，最多保持不变。所以简化处理就得付出代价即：容忍信息的丢失，除非正交变换和极限处理。消息事件随机变量随机序列随机过程自信息信息熵序列熵的表达类型随机过程的熵

4、第三章.连续信源的信息熵§3.2连续变量的相对熵(ThedifferentialentropyofContinuousrandomVariable)一个连续变量总可以采用数字量化的方式简化成一个离散变量来近似，而且量化单位越小则所得的离散变量就越接近那个连续变量。因此我们针对连续变量的概率统计规律——概率分布密度函数(probabilitydensityfunction)也可采用上述近似方法。Δ0ab§3.2连续变量的相对熵如果把x∈[a,b]的定义域划分成n个小区间，且每个小区间宽度相等。那么处于第i个区间的概率就等于：0abΔ

5、1§3.2连续变量的相对熵以上我们将一个连续变量的概率空间量化成一个离散空间，从而得到连续信源的近似信息熵。如果将此近似手段在取极限的方式下就可逼近这个连续变量的熵。称为相对熵Differentialentropy称为绝对熵absoluteentropy信息散度D(p//q)(relativeentropy)§3.2连续变量的相对熵在取极限的过程中由于n→∞相当于→0，此时这个离散变量越来越逼近一个连续变量；而离散集合中的信息熵Hn(X)就分解为两项，其中一项与划分精度无关，趋于一个常量——Hc(X)。而另一项，随着→0最终

6、趋于一个无穷大的量。很显然这与取极限之前的离散熵差别很大，那么这种极限形式能否表达出信源平均不定度的概念吗？由于表达形式的不同，则它的物理意义也应有所不同。所以我们不能以离散熵的概念来理解上述表达式，特别是当某些离散熵的数学性质不在继续保持的情况下，如：非负性、对称性、扩展性等。但值得庆幸，上式中将熵函数中最能反映信源的固有属性的数学性质如可加性、极值性和上凸性仍旧依然保持着。因此有可能上述表达式的某些部分仍能代表连续信源的某些物理属性。（但我们要深入讨论离散向连续逼近时，物理属性的变化。）§3.2连续变量的相对熵因为对于一个连续

7、变量,它的取值有无穷多个,无论它取任何值，其随机事件所对应的不定度一定是无穷大量。而对熵来说，应是这个随机事件集合的平均值,既然每一个事件的自信息都是无穷大,则它的集合平均值也应是无穷大才对。又因为从绝对的观点来看,每一个连续信源的平均不定度都是无穷大，那么这个熵的价值也就无意义了。但是再仔细分析一下,上式中只有H()项才与划分精度有关,这说明只有此项能反映人为地利用离散模式向连续型逼近的近似程度。换句话说,这仅是强加上的人为因素，并不代表事物原有的客观属性。比如,对于同样概率分布的随机变量x，如果仅划分精度不同时,可取1

8、，2代表两种划分精度，则我们所得到的熵的表达式：§3.2连续变量的相对熵为什么说相对熵反映连续变量的客观存在的平均不定度？首先一个随机变量，当它的概率分布一旦确定，则它的不定性就该给定，而不能随划分精度的变化而变化。第二，由于信息量的概念是不定度