半监督支持向量机模型与算法研究

《半监督支持向量机模型与算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中困分类号：０２２１单位代码：１０２８０密级１３８２０１６３：公开学号：上洛大聲藝博±学位论文ＳＨＡＮＧＨＡＩＵＮＩＶＥＲＳＩＴＹＤＯＣＴＯＲＡＬＭＳＳＥＲＴＡＴＩＯＮ题半监巧支持向ｉｔ机目模型与算法研巧■＊、＇作者闻辛学科专业运筹学与控制论导师白延琴教巧龄完成日期２０１６年４月猎漏－一一一巧＇．測资碰导通上海大学本论文经答辩委员会全体委员审查，确认符合上海大学博±学位论文质量要求。答辩委员会签名：從才令媒

2、主席：方＾軒委员：＾義米＾與ｙＡＰ技皆咬＾中导师：咎巧＾答辩曰期：如ｕ．ｔ．原创性声明本人声明：所呈交的论文是本人在导师指导下进行的研究工作。除了文中特别加标注和致谢的地方外，论文中不包含其他人己发表或撰写过的研究成果一。参与同王作的其他同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。￣签名．：间曰期；ｈ，ＬＵ＾本论文使用授权说明本人完全了解上海大学有关保留、使用学位论文的规定。即；学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可

3、Ｗ公布论文的全部或部分内容。（保密的论文在解密后应遵守此规定）签名：导师签名：若矣日期；Ｍｉｌ＿（＾＿＾＿等上海大学理学博士学位论文半半半监监监督督督支支支持持持向向向量量量机机机模模模型型型与与与算算算法法法研研研究究究作者：闫辛导师：白延琴教授学科专业：运筹学与控制论理学院数学系上海大学2016年4月ADissertationSubmittedtoShanghaiUniversityfortheDegreeofDoctorinScienceResearchonModelsandAlgorithmsof

4、Semi-supervisedSupportVectorMachineCandidate:XinYanSupervisor:Prof.YanqinBaiMajor:OperationResearchandCyberneticsDepartmentofMathematics,CollegeofSciencesShanghaiUniversityApril,2016上海大学博士学位论文IX摘要支持向量机是一种针对小样本分类问题的机器学习方法，它是根据统计学习理论中的结构风险极小化原则提出的,由于具有获得全局最优解以及良好

5、的泛化能力被广泛应用到当前的热点领域,如压缩感知、稀疏优化、模式识别、特征提取、图像处理和医疗诊断等领域中.半监督支持向量机是一种同时考虑有标签样本和无标签样本的学习方法.由于在实际问题中人们通常容易获取大量的无标签样本和少量的有标签样本,因而半监督支持向量机被广泛应用到处理大规模数据识别与分类问题中.然而,半监督支持向量机的挑战主要在于其数学模型是一个难解的优化问题,并且在处理非线性分类时选取核函数既耗时又带来计算上的困难.因而研究半监督分类的模型与算法设计具有重要的理论意义和广泛的应用价值.本博士学位论文主要研究

6、了新的半监督支持向量机分类模型与算法,并通过人工数据集和分类数据库中的基准数据集测试新方法的分类表现.首先,针对半监督支持向量机模型对应的优化问题难解的挑战以及带有二次Hinge损失函数的半监督支持向量机模型的研究,提出了两种锥松弛方法.半监督支持向量机模型对应的优化问题是混合整数规划问题,本文首先提出了一个新的半正定松弛问题,并近似估计了原问题最优值与该松弛问题最优值的最大比值,即该松弛问题对原问题的近似程度.接着,构造了与原混合整数规划问题等价的全正锥规划问题.由于该问题通常是NP-难的,故对其进行进一步松弛，从

7、而得到该问题的双非负松弛问题.与半正定松弛相比,双非负松弛得到的最优值是原问题最优值更紧的下界.最后,通过凸优化工具包CVX和交替方向算法求解两个松弛问题,数值结果表明两种松弛方法都得到了较高的分类精度,并且双非负松弛方法比半正定松弛方法分类效果更好.其次,针对选取合适的核函数比较困难且比较耗时等问题,首次提出无核半监督二次曲面支持向量机模型,该模型是一个混合整数规划问题,通常来说是NP-难的.首先将该混合整数规划问题等价转化为一个带有绝对值约束的非凸优化问题,再使用向量提升技术将其松弛为一个多项式时间可计算的半正定

8、规划问题,并采用凸优化工具包CVX进行求解.通过数值实验发现,与传统半监督支持向量机方法和监督支持向量机方法进行对比,半监督二次曲面支持向量机能够得到更高的分类精度.实验结果不仅说明无核分类模型是有效的,也表明同时训练有标签和无标签样本提高了分类性能.但是该方法存在的问题是当数据集规模较大时容易产生内存溢出.最后,针对半监督二次曲面支持向量机存