基于间隔分布优化的大间隔分类器改进方法研究

《基于间隔分布优化的大间隔分类器改进方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP311单位代码：10183研究生学号：2013544065密级：公开吉林大学硕士学位论文（专业学位）基于间隔分布优化的大间隔分类器改进方法研究ResearchonLargeMarginClassifierBasedonOptimizingMarginDistribution作者姓名：史正谦类别：工程硕士领域（方向）：软件工程指导教师：李占山教授培养单位：软件学院2016年5月基于间隔分布优化的大间隔分类器改进方法研究ResearchonLargeMarginClassifierBasedonOptimizing

2、MarginDistribution作者姓名：史正谦领域（方向）：软件工程指导教师：李占山教授类别：工程硕士答辩日期：2016年5月28日未经本论文作者的书面授权，依法收存和保管本论文书面版本、电子版本的任何单位和个人，均不得对本论文的全部或部分内容进行任何形式的复制、修改、发行、出租、改编等有碍作者著作权的商业性使用（但纯学术性使用不在此限）。否则，应承担侵权的法律责任。吉林大学硕’女学位论文原创性声明本人郑重声明：所呈交学位论文，是本人在指导教师的指导下，独立进行研究工作所取得的成果。除文中

3、已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均己在文中明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：曰期：八年女月＞曰摘要基于间隔分布优化的大间隔分类器改进方法研究分类是机器学习的一个核心问题，属于监督学习范畴，即通过已知类别的样本数据进行训练，得到一个分类模型对未知数据的类别进行预测。在分类问题中，训练得到的分类模型一般是一个分类决策函数，输入待预测数据的各特征值，输出对其预测的分类结果。换言

4、之，对分类模型的训练过程即是对分类决策函数的求解过程。间隔理论是许多目前流行的分类算法（如SVM、Adaboost等）求解分类决策函数的理论依据，通过使训练数据中距离分类超平面最近的点间隔最大化得到分类决策函数，称为最大间隔模型，相应的分类算法称为大间隔分类器，SVM和Adaboost都是基于最大间隔模型的分类学习算法。近年来一些研究表明，优化平均间隔和间隔方差比最大间隔模型有着更好的泛化性能。有学者已经证明优化间隔分布模型（LDM）得到比最大间隔模型更小的泛化误差上界。目前训练优化间隔分布模型的算法有双坐标下降法和平均随

5、机梯度下降法，其中后者为针对线性大规模问题的优化版本。在本文实验研究中发3现，双坐标下降法的时间复杂度达到O(m)，不能适用于数据规模较大的问题；平均随机梯度下降法虽然可以处理线性大规模问题，但不适用于非线性模型。Nyström矩阵低秩近似是一种基于取样的大型矩阵近似技术。本文对双坐标下降法中的核矩阵使用Nyström近似矩阵代替，提升了其对较大规模非线性核LDM的适应性。在本文的实验中，改进后的Nyström-CD在处理较大规模数据时相比原算法在准确度上会有2%~3%的小幅降低；但训练效率有大幅提升，提升幅度在7.8~1

6、6.5倍，并能在较短时间内处理一些原算法无法在24小时训练出结果的数据。目前对LDM的研究主要针对二类分类问题，因为多类问题可以通过简单的转化变为多个二类问题来训练。针对复杂分类问题的多实例多标签（MIML，IMulti-InstanceMulti-Label）分类框架将训练数据实例看做复杂对象，将可能包含多个类别标签的分类结果处理成一个标签集合，建立从实例集合到标签集合的映射模型。本文受启发于MIML框架中多标签分类的思想，对多类LDM问题采用多标签分类进行建模，设计出多类版的LDM模型，并将双坐标下降法与Nyström

7、矩阵低秩近似考虑进来，给出ML-LDM与ML-LDMNyström的CD算法。基于多标签分类模型的多类LDM方便问题建模与后期扩展，并且在分类效果上也较简单转化有所提升。实验表明，在多数情况下ML-LDM都能达到最好的分类准确率、召回率和F1值；在数据规模较大时，ML-LDMNyström也能表现出同样优秀的效果。关键词：分类，间隔理论，间隔分布优化，矩阵低秩近似IIAbstractResearchonLargeMarginClassifierBasedonOptimizingMarginDistributionClass

8、ificationisacoreproblemofmachinelearningbelongingtosupervisedlearning,whichtriestotrainaclassificationmodeltopredictunknowndatacategories.Inclassificati