模式识别的最大熵神经网络方法

《模式识别的最大熵神经网络方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、模式识别的最大熵神经网络方法张九龙张万龙胡正国（西北工业大学计算机科学系，西安;$"";!）+0E5C1：F>52GH51D7IJ$K!LA#27J摘要文章提出了模式识别的最大熵方法，其基本思想是求出最大熵概率分布，再求出条件概率分布，进而作出二值分类。它的特点是能最大限度地利用已有信息做出最合理的推测。求解最大熵分布时，需要解复杂的约束优化问题，为此使用了神经网络，从而使该方法结合了神经网络的很多优点。该方法的突出优点是在小样本情况下仍能保持很好的识别率。关键词模式识别最大熵神经网络文章编号$""!0MAA$0（!""!）$"0

2、""MA0"!文献标识码N中图分类号3&$MA!"#$%&’()*+,+-)#+%"./#0%$12%$3)##/$"4/5%6"+#+%"78)"69+:;%"678)"6<)";%"6=:78/"66:%（)?IJ>O78J7I2&?16J7P>2CP51Q2CR7I8CJ6，SCT52;$"";!）>?@#$)5#：U2J>C8V5V7I，E5WCEXE72JI?V6E7J>?YC85VV1C7YJ?V5JJ7I2I7P?G2CJC?2，J>7Z76V?C2JC8J?[C2YJ>7VI?D5DC1CJ6YC8JICDXJC

3、?2J>5J>58E5WCEXE72JI?V6E758XI7，O>CP>728XI78J>5JJ>7YC8JICDXJC?2C8E?8JI758?25D17#=?1RC2GJ>7E5WCEXE72JI?V6YC8JICDXJC?2C2R?1R785P?28JI5C27Y?VJCECF5JC?2，52YD6P?28JIXPJC2G527XI5127JO?IZ，J>751G?ICJ>EC8E?I7I?DX8J#3>C8E7J>?YC878V7PC5116X87[X1O>72J>785EV1787JC88E511#A/’0%$B@：V5

4、JJ7I2]7P?G2CJC?2，*5WCEXE+2JI?V6，)7XI51)7JO?IZ$引言均值为：$在模式识别问题中，会碰到要求解概率分布的情况。问题"*+’!%&*（+&）（!）的提法是，在已知一些样本的情况下，求概率分布。现在考虑这&’"样的二值分类问题，设有一个对象，它可以分为两类，可以量测要求出使"*+取特定值的概率分布，如果,-$，那么这样的到该对象的!个属性，"$，"!，⋯，"!，要求根据这!个属性分类。概率分布有很多，为了从这些分布中选择“最合理”的分布，就可以用前向神经网络及%&算法解决这个问题’$(。其过程

5、必须有一个挑选准则。+#3#456278在$9:;年提出了最大熵原是用样本对网络进行训练，然后网络就可以工作了。该方法的理，即从全部相容的分布中挑选出这样的分布，它是在某些约缺陷是训练时需要大量的样本，当样本较少时，效果不好。小样束条件下（通常为矩约束）使信息熵达到最大值的分布’<(。现在本的情况是医学上的疾病诊断、复杂工业过程的故障诊断等。另外可以使用概率神经网络（&))）来解决该问题，但同样的约束是"*+取特定值，求使熵最大的概率分布。对小样本情况效果不佳。文中使用熵方法来解决这类模式识别理论上可以证明，当信息熵取极大值时对应

6、的一组概率分问题，结果表明熵方法不仅有很高的识别率，而且对小样本情布出现的几率占绝对优势。在=>522?2引入熵这个概念时，它况尤其有效。的含义是最大的不确定性，它是用来表示一个概率分布的不确最大熵估计（*+*）是用样本作矩，求概率分布，结果为熵定性的，选择最大熵分布就意味着选择在给定约束下具有最大最大的概率分布。理论上认为，这样的概率分布是最有可能的不确定性的分布。从其含有的不确定性来看，这种分布是最随概率分布。物理学中的熵最大代表最均匀的状态，而且应当认机的，是主观成分最少，把不确定性看作最大的分布。为系统常处于这样一种状态。

7、对于上面所说的模式识别问题，以"","或$代表分类结果，设"$，"!，⋯，"!的取值都是有限个数的离散值，则构造如下!最大熵模式识别的原理积空间：#’""@"$@⋯@"!。#就是样本空间，利用最大熵原理求出设#,-"，$，!，⋯，$.为一有限集，-%"，%$，%!，⋯，%!.为该集合样本空间中每个元素的概率%（""，"$，⋯，"!），然后再求出%（".上的概率分布，即%&代表元素&发生的概率。那么有，%&/"，!&，"$，⋯，"!）和%（$."$，⋯，"!），则模式识别的结果如下：$"，%（"."$，⋯，"!）/%（$."$，⋯，

8、"!）且!%&’$"",#（A）&’"$，%（"."$，⋯，"!）-%（$."$，⋯，"!）$该概率分布的熵为：(（)）’0!%&12（%&）（$）A最大熵分布的解&’"设*+，+’$，!，⋯，,为定义在#上的函数，那么这些函数的求解最大熵分布相当