最大熵原理与最小鉴别信息原理

《最大熵原理与最小鉴别信息原理》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第七章最大熵原理与最小鉴别信息原理非适定问题与最大熵和最小鉴别原理⑴非适定问题的概念先了解正问题，逆问题，过定、欠定由与欠定原因造成解不存在，不唯一或不连续，称为非适定问题如：地震勘探确定地层结构雷达根据接受信号进行功率谱估计以及声音、图象识别问题⑵最大熵原理概念：把符合约束条件但熵值取最大的概率分布的解，作为唯一不偏不倚的解。即：在约束条件∑q(ak)fm(ak)=cm∑q(ak)=1使熵∑q(ak)logq(ak)取最大分布，按拉格朗日乘数法：q(ak)=exp[-λ0-∑λmfm(ak)]m=1….M该试就是满足约束条件下最大

2、熵的q分布.实际例子：1）统计力学气体分子速度的分布是能量约束下的最大熵分布；2）大气层空气密度随高度的分布，是平均势能约束下最大熵分布；应用范围：统计学、运输、排队、建模、防真、决策、股市信号处理（谱估计，图象复原）理解：⑶最小鉴别信息原理概念：把满足约束条件下接近于P(x)(先验概率)的概率分布的解，接近于P(x)，说明鉴别信息最小。即：在约束条件∫q(x)fm(x)dx=Cm其中∫q(x)dx=1的q(x)中选择能使鉴别信息取最小的解,作为q(x)的估计引入拉格朗日乘子,得q(x)=p(x)exp[λ0+∑λmfm(x)]理解

3、：是最大熵原理的推广，在特定条件下达到统一(等概分布），当然鉴别信息越小越好。Ø最大熵原理的合理性⑴客观性的问题：因为香农提出的熵和信息带有一定的主观性，但最大熵原理下所给出的解却完全是一个客观量。因为只有一组数学期望值有关，是实实在在客观测量到的，所以不存在主观性问题。⑵如何理解被最大熵排除满足约束条件其它解：理论证明P259实测P26099.9%的解满足1.602≤H≤1.61358(Hmax)这一结果说明：从概率的观点看，熵值远离最大熵的可能解出的机会非常小，从组合的观点来看，熵值远离最大熵的组合，种类在所有可解的组合中所占的

4、比例很小。最小鉴别信息原理与最大熵原理的公理化推导⑴最小鉴别信息原理推导，P261—P268证明引入了一致性的4条公理，即：唯一性、不变性、子集独立和系统独立。说明只有鉴别信息最小所得的解满足4条公理。4条公理的理解：唯一性：要求解是唯一不变性：坐标变换下解的不变性独立性：按两种方式求得解要一致子集独立性：把集合分成若干独立的子集所得解一致我们不难由鉴别信息的基本性质证明鉴别信息取最小所得解确实满足上述4条公理，这意味着其他泛函取最小所得的解将不满足上述4条公理的一部分或全部。这4条公理有时统称一致性公理，因为它要求不同计算途径下所

5、得结果的一致性。⑵最大熵原理的推导可以证明满足4条公理的算子相当于使下述泛函取最小F(q)=A∑q(ak)logq(ak)-KA+B就是H(x)=-∑q(ak)logq(ak)熵取最大。这一证明，意味着在离散分布和对先验分布无知的情况下，只有最大熵原理才能提供，满足这些公理的解。最大熵与最小鉴别信息原理应用由于熵和鉴别信息在信息技术中具有普遍意义，所以最大熵和鉴别信息原理在理论上也有普遍的适用性，但是利用这两个原理进行优化时，熵和鉴别信息的计算都是比较繁重的，尽管现在已有一些成熟的算法，如最大熵求解时的见桥算法等，但其运算量比用二次

6、函数作准则的最优化运算量要大得多，因此在实际运用中要根据这两个原理的特点正确应用，下面通过事例说明什么情况下应用适当，并能取得其它准则达不到的效果⑴最大熵谱估计根据测量到的一段数据对原信号的功率谱作出估计是在科学研究和工程设计中经常遇到的问题：问题的提出：我们对功率谱的估计在T趋于∞时，其期望可以无偏，但方差不会减少。造成这一原因就是估计值在τ在2T（-2T)时的值极不可靠，为减少影响，最直接的方法是用满足以下条件下的窗函数W(t)对估计值进行加权W(t)=0

7、t

8、>D,d<<2T然后用加权的相关函数估计值求其谱，这样虽然方差趋于0

9、，但功率谱估计值分辨率减低。是一两难的处境。1967年J.P.Burg根据最大熵原理对谱估计问题提出理想的解决办法。他不是用窗函数简单减少相关函数估计值两侧不可靠数据给功率谱的影响，而是根据已知的比较可靠的部分数据对相关函数进行最大熵准则下的外推。已知随机信号的P+1个相关函数值为约束条件寻找满足此约束条件的具有最大熵率的随机过程。此过程就是高斯马尔可夫过程P279已知随机信号的P+1个值为约束条件寻找满足此约束条件的具有最大熵率的随机过程。此过程就是高斯马尔可夫过程P279⑵最小鉴别信息盲分离信息论指出：在信息意义上鉴别信息是两种

10、概率密度函数差别的一种理想量度，所以可取鉴别信息作为盲分离的优化准则。这样盲分离的求解就成为最小差别信息准则下的最优化问题，由于鉴别信息是凸函数，这就从原则上保证了其解必定是全局最优，所以最小鉴别信息准则下的优化计算是求解盲分离问题的