基于最小化训练误差的子空间分类算法研究

《基于最小化训练误差的子空间分类算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要捅要予室阕矗法足模式识别领域一个重要的研究方向，很多年来一直受到该领域学者们的，’4泛关注。Fisher线性判别分析方法(FisherLinearDiscriminant灿鑫lysis，FLD或LDA)及以其为代表的其他一些予空闻分类方法，在分类问题中有着突出的作用。然而，这些子空问算法也存在一定的缺陷。其中最主要的问题是，大部分黄统：矛空闻算法麓特征提玻准瓣并不与训练误箍壹接糯关联，丽是根据菜种准则由样本数据分布(通常假设为高斯分布)的统计特征得出。所以当统计准则不能蕞确反映样本分布情况时，算法往往会失效。这个问题镣致传统≯空间算法墩燃于某些数据分布较为复杂的情形时，难以取得理

2、想的效梁。本文所提出的方法正是嗣绕这个问题而展开的。‘本文第3章酋先攒出，传统约L激方法由予其固有的缺陷，在处壤多分类阈题时，即使各类数据都满足高斯间方差分布，也可能冤法找到最优分类子空阀。接蓿遂过分褥数瓣样本分布与仂A算法得到的投影辩量之润的关系，讨论‘rLDA投影向量与类间散布矩阵和类内散布矩阵特征值乏间存在的关联，并以此提出一种基予遗传箨法的∞A算法。该算法以予空问上的训练误差最小为毯标，通过遗传算法调整LDA算法巾类间矩阵特征位的大小，达到搜索最佳特征予空间的效果。通过模拟数摒和真实数据的实验，表明这种方法的分类正确率比现有的线性≯空阉方法有所提离。集成学习瑚论中的AdaBo

3、ost(AdaptiveBoost池g)算法足一类以最小训练误差为准则构建分类器的学习算法。本文在第4肇中通过结合Ad鑫300翳算法与LDA子空间方法提出了基于提升自举LDA投影的特征提取算法，完成两类问题中豹特征提取弓缝合。A如Boos{算法楚一种将若干分类性能仅好于随枫猜测的弱分类器提升为强分类器的算法框架，要求备弱分类器具有较火的分离度和不稳定性。所以，本文提出的算法酋先借助Bagging(Bootstral)Aggregating)算法中的自举采样(Bootst￡apS黜plil增)原理对训练样本进行随机抽样形成若干彭ll练样本自举予集，：再通过结合LDA箩；[法和最近邻分类

4、器由这些自举予集得出若千弱分类器，并由Ad鑫Boo鼗算法提升为强分类器。该簿法克服了传统：≯窄闻方法特征提取准则不与；Ji『练误差井稍关联的弱点，生成的分类器柯较好的泛化性能，筢够缀好地解决数据分布复杂的分类溺题。文章逶过复杂分布船两类闻题实验证明了该算法的可行性和优越性。·摘要疼l予多类麓题的研究，特别怒入验li；：l翻闯题，其霄史捆f“泛麓应燎价毽，本文第5：章在第4：誊的基础上，借助AdaB00st．M2算法峙LDA子空问方法的结合耱以上莽法推，“到多类闯题中，提出了蒸予提升蠢举己激予空闽的分类棼法。第5章通过改善的向举采样方法，使AdaBoost。M2算法在原有嬉础上更注重难

5、分样本的分类，同时兼顾弱分类嚣的多样性，达到更好地提升和缝合幕予LDAf字剃的弱分类器。通过手写数4≯陶像和人脸蚓像i；{别的实验，比较+，该算法与传统“，窄I-自j疗法及其他基’j二集成学习的分类雄法的性能，证明丫该算法的效果达磷或超越+3，葵它舞法。关键词：降维，予窀闽，线性翔翻分析，遗传葬法，集成学习，久脸；j{剐／AbstractABSTRACTAsas逸nificaIltresearchdirection，SubSpaceMe也odSattl鼍lctwideattention仔omtllescholarSinmefieldofPattemRecogllition．FiShe

6、rLinearDiscrimiIlantAnalySis(FLDorLDA)aIldotllerrelatedsub印acemethodseXertoutstandinge虢ctSinclassificationproblems．However’也esesubSpaceme也odshavesomeshortcomings．Themainshortcomingisthat仃aditionalSubspacemethods，suchasLDA，donotrelate廿1efeatllreextractioncriteriadirectlytothe讹i11ingerror'butrela

7、tetothestatisticalfeatureofthedistribu“0n(generany嬲sumed私Gaussian)of仃aining妇a．Thus，whenmestatisticalfeatureisnotablet0renecttlledatadistributionproperly，thesememodswillprobablyfail．Asaresult，traditional§ubspacemethodsarenotcompete