非平行平面支持向量机及特征提取中若干问题研究

《非平行平面支持向量机及特征提取中若干问题研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号密级博士学位论文题目：非平行平面支持向量机及特征提取中若干问题研究英文并列题目：Researchesonsomeproblemsinnonparallelhyperplanessupportvectormachineandfeatureextraction研究生：陈素根专业：控制科学与工程研究方向：模式识别与智能系统导师：吴小俊指导小组成员：学位授予日期：2016年12月答辩委员会主席：杨健江南大学地址：无锡市蠡湖大道1800号二○一六年十二月独创性声明本人声明巧呈交的学位轮文是本人在导

2、师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加议标注和致谢的化方外，论义中不包含其他人已经发表或撰写过的研究成果，也不包含本乂为获得江南大学或其芭教育机构的学位或证书而使用过的材料一王作的同志。与巧同巧本研究巧做的任何贡献均己在论文中作了明巧的说明并表示谢意。客名：緣日期：关于论文使用授权的说明本学位论文作者完全了解江南大学有关保留：、使用学位论文的規定汪南大学有权保留并向国家有关部口或机构送交论文的复印件和巧盘，光许轮文被查陶巧借阁，可化将学

3、位论文的全部或部分内容编乂有关巧据库进行捡索，可从采用影印、缩印或扫描等复制手段保存、汇编学位论文，一致并且本人电子文档的内容和纸质论文的内容相。保密的学位论文在解密后也遵守此规定。签名：导师签名：豕Ｋ之、曰期摘要摘要特征提取和分类器设计是模式识别和机器学习领域的重要研究问题。1995年，Vapnik等人基于结构风险极小化理论提出了支持向量机算法(SVM)，它因为具有完备的数学理论基础和可以避免维数灾难等特点而成为处理小样本问题的有效工具之一。虽然SVM在解决小样本和

4、高维模式识别问题中展现出了一定的优势，但当训练集样本规模巨大时，就会出现训练速度慢和效率低下等问题，这一定程度上限制了SVM在实际问题中的应用。在2006年和2007年，人工智能国际顶级杂志“IEEETransactionsonPatternAnalysisandMachineIntelligence，TPAMI”上相继发表了“广义特征值支持向量机”和“孪生支持向量机”的两篇文章，这标志着SVM思想开始从平行平面向非平行平面转移，开启了分类决策新思路。近年来，非平行平面支持向量机算法得到了广泛和深

5、入的研究，逐渐成为模式识别领域一个新的研究热点。另一方面，特征提取是模式识别系统至关重要的步骤之一，如何有效地提取特征依然是研究的热点问题之一。本文主要从非平行平面支持向量机和特征提取方法两个方面开展研究，论文的主要工作包含以下几个方面：(1)提出了新型孪生支持向量机算法。孪生支持向量机算法是基于经验风险的思想提出的，模型的求解转化为两个规模较小的二次规划问题，当数据集规模逐渐增大时，求解两个二次规划问题也是比较耗时的。为了解决上述问题，我们提出了一类新型的孪生支持向量机算法，该算法将拟合超平面的

6、思想和正则化技术引入到模型目标函数的构造中，并构建了快速求解二次规划问题的超松弛迭代算法。(2)提出了新型投影孪生支持向量机算法。首先，投影孪生支持向量机算法是借鉴线性判别分析的思想提出的，该算法通过寻找两个最优投影方向来实现二类分类问题，为了获取能够更好地保持数据局部几何特征的投影方向，将局部保持投影思想和正则化技术引入到投影孪生支持向量机算法中，提出了局部保持投影孪生支持向量机算法。同时，该算法通过经验核映射的方法给出了非线性形式，弥补了原始投影孪生支持向量机算法没有给出非线性形式的缺陷。其次

7、，为了克服投影孪生支持向量机算法线性模型与非线性模型需要构造不同优化模型的缺陷，提出了改进的投影孪生支持向量机算法。该算法先构造改进的线性投影孪生支持向量机，再利用核技巧直接推广到非线性形式，继承了传统支持向量机的精髓，并解决了投影孪生支持向量机算法在训练之前需要计算两个逆矩阵的问题。(3)提出了改进的广义特征值支持向量机算法。广义特征值支持向量机算法是最早提出的关于非平行平面决策分类的算法，为了解决该算法在训练过程和决策过程中的不一致性问题，提出了基于特征值分解的中心支持向量机算法。该算法先是针

8、对二类分类问题提出的，模型的求解转化为标准特征值分解问题，降低了算法的计算复杂度；然后基于“一类对余类”策略推广到了多类分类问题，拓广了模型的应用范围。(4)提出了多胞胎最小二乘支持向量机多类分类算法。该算法是对多胞胎支持向量机多类分类算法的一种改进，模型仅仅需要求解线性方程组问题，不仅降低了模型的计I摘要算复杂度，而且提升了算法性能。针对K类分类问题，该算法采取“一类对余类”的思想，对每类训练样本基于最小二乘孪生支持向量机算法构造一个分类超平面，在得到所有的K个超平面后，基于最远