基于mas算法支持向量机参数优化的研究

《基于mas算法支持向量机参数优化的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ADissertationSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofManagementParametersOptimizationofSVMsbasedonMemeticAlgorithmsCandidate:HuZhongyiMajor:ManagementScienceandEngineeringSupervisor:Prof.BaoYukunHuazhongUniversityofScience&TechnologyWuhan430074,

2、P.R.ChinaDecember,2011独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可

3、以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在_____年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要支持向量机作为一个非常有效的机器学习方法，已经广泛应用于小样本、高维的分类和回归问题中。然而，在构建支持向量机模型时，一个非常重要的问题是如何优化模型参数与核参数。针对支持向量机参数优化的问题，本文首先对相关文献做了较详细的综述研究。在已有文献中，最简单直接的参数

4、优化方法是网格搜索，但是该方法非常耗时，尤其是优化多于两个参数时；使用经典的数值优化算法最小化泛化误差边界有非常快的收敛速度，但是该类方法对初始点非常敏感，因此极易陷入局部极值点；进化算法由于具有较好的全局搜索能力，近来被许多学者用来优化支持向量机的有关参数，但是其缺乏在潜在邻域进行局部精细搜索的能力。针对已有文献中各方法的不足，本文提出了基于粒子群优化算法和模式搜索的文化基因算法，并将该算法应用到支持向量机参数优化中。在该算法中，粒子群优化算法主要负责参数空间的全局搜索和对存在最优解的潜在区域的探测，而模式搜索则在部分潜在区域中进行局部开

5、采，以提高个体的质量。为了验证本文提出的算法的有效性，文章设计了三个实验。第一个实验研究模式搜索在该算法中的作用以及选择学习个体的策略；第二个实验和第三个实验分别将提出的算法应用到支持向量机分类和回归问题的参数优化中，结果表明，该算法与网格搜索、粒子群优化算法等常用方法和部分文献中的结果相比，有较好的准确率和稳定性。最后，总结全文并结合本文研究成果指出了下一步的研究方向。关键词：参数优化，支持向量机，文化基因算法，粒子群优化算法，模式搜索I华中科技大学硕士学位论文AbstractSupportVectorMachines(SVMs)area

6、powerfulmachinelearningmethodandhavebeensuccessfullyappliedtomodelthedatasetswithfewsamplesandhighdimensionsforclassificationandregression.AcriticalissueconcernedwiththeperformanceofSVMsmodelsishowtodeterminethekernelparametersandthehyperparameters.Thisstudymainlyconcentra

7、tesontheparametersoptimizationofSVMs,whichhasgainedmanyattentionsintheexistingliteratures.AsimpleanddirectwayistouseanexhaustiveGridSearchintheparameterspace,whichistimeconsuming,especiallyinthecaseofregressionproblemswithmorethantwoparameterstobeoptimized.Numericaloptimiz

8、ationmethodsbyminimizingthegeneralizationerrorboundsaregenerallyefficientwithfastconverge