基于正则化的相关熵平均近邻最大间距特征提取方法.pdf

《基于正则化的相关熵平均近邻最大间距特征提取方法.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、SOFrWAREDEVEL0PMENTANDDESIGN软件开发与设计基于正则化的相关熵平均近邻最大间距特征提取方法马琳娜(河北大学数学与计算机学院机器学习与计算智能重点实验室，河北保定071002)摘要：针对传统的平均近邻最大间距特征提取方法对噪声敏感的缺点，提出了基于正则化的相关熵平均近邻最大间距fRCANMM1特征提取方法，使用相关熵衡量数据间的相似程度，提高了原方法的鲁棒性。在目标函数中添加正则化项．提高了泛化性。在AR、YALE—B和ORL人脸数据库上的实验结果表明，RCANMM相比传统ANMM方法有较好的性能。关键词：特征

2、提取；正则化相关熵；半二次优化技术；ANMM方法FeatureExtractionbyRegularizedCorrentropyBasedANMMMALin-na(KeyLaboratoryofMachineLearningandComputationalIntelligence，CollegeofMathematicsandComputerScience，HebeiUniversity，HeibeiBaoding071002，China)Abstract：Inthepaper，regularizedcorrentropybased

3、averageneighbourhoodmarginmaximization(RCANMM)isproposedtoimprovetheanti—noiseabilityofANMM．Theproposedmethodutilizescorrentropytomeasurethesimilaritybetweenthegivendata．whichmakesRCANMMmorerobust．Inaddition，aregularizationtermisaddedintheobjectivefunctionoftheproposedm

4、ethodtoavoidovefitting．Theexperimentalresultsonthethreebenchmarkfacedatabasesvalidatetheeffective—nessoftheproposedmethod．Keywords：FeatureExtraction；RegularizedCorrentropyCriterion；Half-quadraticoptimization；ANMMmethod1引言精确。此外，目标函数中添加了L2范数正则化项用来解决过特征提取是模式识别中的一个热门研究问题，其中

5、最流拟合的问题。行的算法是主成分分析(PCA)t】和线性判别分析(LDA)~21。主成这种方法有以下几个优点：分分析的思想是提取映射后数据方差较大的子空间。线性判(1)这是一种非线性的方法，可以更有效地区分不同类别分析则利用了数据的局部信息，使投影后样本的类间散布别的数据。矩阵最大，同时类内散布矩阵最小。然而，LDA经常遇到小(2)由于应用了相关熵，使得这种方法具有旋转不变性样本集的问题。为了避免这个问题的出现，王、张提出了平和鲁棒性。均近邻最大间距算法(ANMM)t31。ANMM旨在求得一个特征子(3)目标函数中添加了L2范数的正则

6、化项，使算法具有更空间．使同类数据点集中在一起，同时最大化不同类别之间好的泛化能力。的距离。但当应用于人脸识别时，ANMM可能会因为图像中其余部分组织如下。第二节回顾了传统ANMM算法以及的噪声和异常值而影响其性能。为了降低噪声和异常值的影相关熵。第三节介绍基于正则化的相关熵平均近邻最大间距响，在此提出应用相关熵的方法来提高算法的抗噪声能力。特征提取方法。第四节显示了在3个人脸图像数据集上的实相关熵在信息理论学习中有很好的鲁棒性。是一种有效地处验结果。第五节中给出了总结。理非高斯噪声目的相似性度量方法。杨等人[61提出了基于相关2相关

7、知识熵原则的半二次优化技术来解决优化问题。前人已有将相关2．1基于平均近邻最大间距的特征提取熵用于特征提取的一些应用。例如，鲁棒的人脸图像的稀疏回顾平均近邻最大间距算法。ANMM算法目的是求目标表示使用相关熵克服均方误差原则的弱点，鲁棒的主成分分矩阵，使在特征空间中的数据具有最大类间区分度和类内析方法学习鲁棒的特征和系数[7181等。对于有监督的学习算法经相似度。常出现的过拟合问题，赫等人提出的基于L21正则化相关熵给定数据集X：“，X2⋯．，XN}，其中，=(⋯，)。的鲁棒的特征选择，分别在理论上和算法上对其进行了研定义W=【，W2

8、．，Wm】，将数据映射到特征空间，=W‘。究；基于正则化相关熵的鲁棒的模式识别框架㈣，提出了使用正则化相关熵的多元线性回归模型。基金项目：国家自然科学基金项目(60903089)，河北省自然提出了一种新的特征提取方法，即