改进最小二乘支持向量机及其应用

《改进最小二乘支持向量机及其应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号______________________________密级______________________________ＵＤＣ______________________________编号______________________________全日制专业学位硕士论文改进最小二乘支持向量机及其应用学位申请人：陈立勇学科领域：控制工程校内导师：衷路生副教授校外导师：毛鹏鸣答辩日期：万方数据华 东 交 通 大 学届 全 日 制 专 业 学 位 硕 士 论 文改 进 最 小 二 乘 支 持 向 量 机 及 其 应 用电 气 与 电 子 工 程 学 院陈 立 勇万方数据独创性声明本人郑重

2、声明：所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其它人已经发表和撰写的研究成果，也不包含为获得华东交通大学或其它教育机构的学位或证书所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人签名_______________日期____________关于论文使用授权的说明本人完全了解华东交通大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅。学校可以公布论文的全部或部分内容，可以采用影印、缩印或其它复制手段保存论文。保密的论文在解

3、密后遵守此规定，本论文无保密内容。学生本人签名日期校内导师签名日期校外导师签名日期万方数据摘要改进最小二乘支持向量机及其应用摘要支持向量机(SVM)是以结构风险最小化为建模准则的机器学习方法，其追求的是在有限样本信息情况下取得模型学习能力和模型复杂度的有效折衷。作为SVM的改进，最小二乘支持向量机(LS-SVM)继承了SVM处理小样本、非线性和局部极小点等问题的优势，但是LS-SVM的解缺失了稀疏性以及鲁棒性。另一方面LS-SVM模型的超参数仍有待进一步优化。为此论文针对LS-SVM存在的上述不足，提出如下相应的改进措施：(1)为了提高LS-SVM的拟合精度和泛化能力，提出采用耦合模拟退火(C

4、SA)算法优化LS-SVM超参数。CSA算法通过并行处理多个独立模拟退火(SA)寻优过程，促进优化信息共享；然后通过自适应调整接受温度值，控制LS-SVM超参数的接受概率方差，降低接受温度初始赋值对CSA算法敏感性；最后结合既有线轮轨现场检测数据，开展了CSA优化LS-SVM的性能对比实验。结果表明优化的LS-SVM取得较好的预测效果。(2)为了降低噪声数据对LS-SVM模型稳健性影响，采用迭代鲁棒最小二乘支持向量机(IRLS-SVM)对现场数据进行建模和预报。首先增加权函数迭代次数以增强建模过程鲁棒性；然后将具有全局搜索的CSA与局部优化的单纯形法(SM)相结合的方法用于优化IRLS-SVM

5、超参数，进而采用鲁棒交叉验证作为CSA-SM算法拟合目标函数，提高模型超参数优化过程的鲁棒性；最后利用变速箱现场齿轮磨损数据进行数值试验，结果表明所提出方法的有效性。(3)针对LS-SVM缺失稀疏性的问题，论文相继提出两种稀疏模型：①构建基于特征向量选择(FVS)的稀疏最小二乘支持向量机(SLS-SVM)模型。首先采用FVS在特征空间建立特征向量子集，对训练样本进行稀疏线性重构；然后将稀疏化的特征向量作为支持向量，从而实现对LS-SVM稀疏化建模；最后将所提出的SLS-SVM模型进行了数值模拟和弓网系统的仿真对比实验。结果表明SLS-SVM模型在取得高预报精度的同时，实现支持向量的稀疏化，模型

6、预报速度得到加快。②通过在LS-SVM目标函数中引入L0-范数正则项稀疏思想，迭代实现支持向量的稀疏化，并据此建立迭代稀疏最小二乘支持向量机(ISLS-SVM)。由于ISLS-SVM迭代稀疏过程涉及额外的线性方程组。为了加快ISLS-SVM建模速度，提出首先基于快速留一交叉验证减少稀疏模型初值设置过程计算量；接着经过一系列变换采用更加高效的Chol分解法求解降阶后的线性方程组。最后将所提出的改进ISLS-SVM模型应用于UCI标准数据预测，结果表明改进稀疏模型的有效性。关键词：最小二乘支持向量机，超参数，鲁棒，稀疏，预报I万方数据AbstractAPPLICATIONOFIMPROVEDLEA

7、STSQUARESSUPPORT VECTORMACHINEABSTRACTSupportvectormachine(SVM)isaparticularmachinelearningalgorithmwhichisbased onstructuralriskminimizationprinciple.SVMaimstoachieveagoodtrade-offbetweenthe learning