最大近邻间隔判别投影算法研究

《最大近邻间隔判别投影算法研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、最大近邻间隔判别投影算法研究摘要：针对高维数据的模式识别问题，提出一种新的降维算法——最大近邻间隔判别投影。它主要是利用样本数据的局部几何信息和类别信息，模型化同类近邻散度和异类近邻散度。实验结果表明，所提出的此算法在模式识别中，是一种有效的降维新方法。关键词：模式识别，降维，图嵌入，近邻中图法分类号：TP311文献标识码：AAlgorithmResearchofMaximumNeighborhoodMarginDiscriminantProjectionAbstract:patternrecognitionproblemofhighdimensionaldata,

2、anewdimensionreductionalgorithm-MaximumNeighborhoodMarginDiscriminantProjection.Ittakesthelocalgeometryofsampledataandcategoryinformation,similartomodelheterogeneousneighborsandneighborsdivergencedivergence.Experimentalresultsshowthattheproposedalgorithminpatternrecognition,isaneffecti

3、vemethodofreducingRestoration.Keywords:patternrecognition,dimensionreduction,graphembedding,neighbor1引言图嵌入(GraphEmbedding)[1]是最近几年发展起来的一种新的降维技术，在模式识别、机器学习和计算视觉等领域有着广泛的应用前景。图嵌入的目的就是解决“维灾”⑵问题，并将高维数据映射到低维子空间，并在子空间中保持高维原始数据本质的流形结构。在基于图嵌入框架下的降维技术屮，最典型的方法有PCA[3,4]>LDA汽UDP⑹、LPP[6,7]及其相应的核扩展方法

4、皿和二维扩展方法问。其屮，LPP是一•种最具代表性的线性图嵌入算法，近些年来，出现了很多基于LPP思想的图嵌入方法。在基于LPP思想的许多算法中，小样木问题阳、局部过学习问题[⑷依然存在，而口数据的类别信息未得到充分利用，从而导致在高维数据的模式识别问题下，分类性能下降。为了解决这些问题，基于LPP思想，提出了一种新的图嵌入学习算法，即最人近邻间隔判别投影(MaximumNeighborhoodMarginDiscriminantProjcction,MNMDP)o2最大近邻间隔判别投影2.1基本思路在模式识别中，数据集的类标签信息对分类起着重要的作用，同时，保持训

5、练样本集的局部几何信息对分类也是十分冇用的。基于以上两点，以及流形学习过程屮存在的一些问题，我们引入一种新的线性子空间学习方法：最大近邻间隔判别映射（MNMDP）。在所提的MNMDP算法中，数据集的类别信息和局部几何结构同时得到充分的考虑oMNMDP方法的主要目的是在学习过程中找到一个线性的图嵌入，该嵌入不仅能很好的保持数据同类的潜在子流形结构，还能增强数据不同类的子流形Z间的可区分性。为了得到给定数据的图嵌入，MNMDP首先建立数据点之间的K-近邻图，以便在投影空间屮保持点之间的近邻关系；其次，充分利用类标签信息，给该近邻图上的同类和异类近邻点Z间的相应边，分配完

6、全不同的权重；然后，计算同类近邻散度和异类近邻散度矩阵；最后，利用最大化间隔原则，尽可能的保持同类近邻和异类近邻散度之间的差异最大化，从而获得一个较好的图嵌入，进而捉高在子空间屮的分类效果。2.2类内近邻散度给定一个m维空间，含有N个样本的数据集/={x占Rf＞，}/=i，其中,任意一个样本的类标签c严{12・・・，C},C是类别的个数。首先，MNMDP利用K■近邻选择原则，建立数据集所有点的近邻图Go对于任意的一个点X,"tv*&J表示其k个近邻点集。其中，M表小mO中同类近邻点，mCJ表示N&中界类近邻点，即nD二nW为了恰当的表示每个点的近邻关系，分别建立同类

7、近邻点和异类近邻点的权重矩阵。相应地，分别定义类内近邻散度和类间近邻散度，以便在投影子空间屮保持这种局部的近邻关系。通过尽可能的保持类内近邻散度和类间近邻散度Z间弄界最大化，可以使同类近邻点和界类近邻点在投影子空间中的间隔最大化，从而获得分类所需的重要的模式判别信息。所有数据点与其同类近邻点之间的权重定义为/)——2丫(Xi-XjS2、S1+exp丿丿/%=X戶N*k(A7)orxfG./)(2-1)/根据公式(2-1),近邻权重是由局部权重exp-Xi~XjII2/和同类判别权重(II2一X厂厂/8丿1+exp组成，其中参数力是一个止的调整因了。局部权重保