鲁棒最小二乘支持向量机研究与应用

《鲁棒最小二乘支持向量机研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要摘要二分类问题是统计学习理论、机器学习以及人工智能中研究的一个重要问题。支持向量机模型采用结构风险极小化原则和核函数方法来构造分类模型，模型比较简单，解具有唯一性。最小二乘支持向量机模型使用误差均方和作为目标函数，把二次规划模型的求解转化成求解线性方程组，克服了支持向量机模型求解二次规划计算量大的问题。但是最小二乘支持向量机模型中的等式约束以及目标函数中的均方误差和使得模型的解丢失了稀疏性，降低了解的鲁棒性。由于随机的或者非随机过程的存在，现实生活中的数据经常带有噪声和不确定性。数据的噪声以及不确定性会影响统计学习分类算法模型的性能，降低分类的准确率及其分类模型的推广

2、能力。支持向量机和最小二乘支持向量机模型都是采用了固定范数的目标函数，这种建立模型的方法不能够很好的适应各种各样的数据结构，从而使得模型的适应能力较弱。为了加强最小二乘支持向量机模型的鲁棒性和稀疏性，增强其推广能力，使模型能够根据数据结构自动进行调整，本文主要开展了以下几个方面的工作：1．系统整理了文献中对支持向量机模型(SVM)和最小二乘支持向量机模型(LS．SVM)中改进鲁棒性的方法，并指出这些改进模型存在的问题和缺陷。从而得到了本文将要研究的主要问题，即以加强最小二乘支持向量机模型的稀疏性、鲁棒性和可解释性为目的，对原有模型进行了较大的改进，给出了基于最小二乘支持向

3、量机模型的有效二分类算法模型。2．针对最小二乘支持向量机模型丢失稀疏性和鲁棒性的原因，提出了使用核主成分法对样本数据中存在的噪声特征进行剔除，并借鉴先前的增强最小二乘支持向量机模型稀疏性的方法，对特征进行压缩，给出了一个双层厶范数最小二乘支持向量机模型一KPCA．厶．LS．SVM。通过使用KPCA方法，可以有效的进行特征抽取和提取。同时以厶范数作为目标函数，可以有效的消除噪声点对模型推广能力的影响，并使模型的解更稀疏，从而可以降低计算的复杂度。在仿真数据集和基准数据库上对该模型的测试表明该方法是有效的。3．在实际的二分类问题中，由于噪声点或者噪声特征的存在使得样本的标签会

4、出现不确定的情况。分类模型应该能够自动判别哪些是相对重要的点，哪些是受噪声点影响较大的样本，从而在分类函数的构造中剔除这种样本。模糊隶属度的概念则可以用来描述样本标签的不确定性。本文采用厶范数作为目标函数以及模糊隶属度的概念可以构造出一个具有稀疏性和鲁棒性的基于最d'-乘支持向量摘要机的分类模型一模糊厶．LS．SVM。在测试数据集上的测试表明这个模型同样可以消除噪声点的影响，并具有较好的可解释性。4．在分类问题中，不同的样本在分类函数的构造中所起的作用是不同的。在分类函数的构造中，样本所包含的判别信息越是重要，相应的样本对分类模型的构造所起的作用就越大。因此，为了区别不同

5、样本对于决策函数构造的不同作用，可以对包含重要信息的样本赋予较大的权重，而包含次要信息的样本所对应的权重就会较小。通过这种赋权的方法也可以消除噪声点对分类模型的影响，使得模型具有鲁棒的特征。无论是支持向量机还是最小二乘支持向量机模型，在目标函数中都使用固定的L．范数，这是一种基于先验知识的建模方法，不能适应各种各样复杂的数据结构。从模型更好的适应数据的角度出发，本文提出了一个赋权鲁棒最小二乘支持向量机模型一Rw．L。．LS．SVM。在仿真数据集以及UCI基准数据库上的测试表明该模型具有鲁棒性特征，稀疏性好，具有较好的解释能力。5．信用评估数据库所包含的数据类型比较特殊，其

6、类别比例极不均衡。为了检验本文所提出的三个模型的分类性能，我们使用这三个模型在三个信用数据库上进行测试，所得到的结果说明模型能够较好的适应信用数据库类别不均衡的特点，因而可以作为信用风险评价的备选模型。关键词：最小二乘支持向量机鲁棒性特征选择稀疏性ABSTRACTABSTRACTBinaryclassificationisawildlystudiedtopicinstatisticallearningtheory,machinelearningandartificialintelligence．SupportVectorMachines(SVM)adoptsstructu

7、ralriskminimizationprincipleandkernelmethod．Itisasimplequadraticprogrammingandhasauniquesolution．TheobjectiveoftheLeastSquaresSupportVectorMachines(LS-SVM)isasumofsquareserror(SSE)term，thusitssolutionisobtainedbysolvingalinearformulationequations，whichmakesiteasiert