资源描述:
《用模拟退火方法研究支持向量机的参数决定》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、基于模拟退火方法的支持向量机参数确定及特征选择Shih-WeiLina,b,*,Zne-JungLeeb,Shih-ChiehChenc,Tsung-YuanTseng611DepartmentofInformationManagement,ChangGungUniversity,No.259Wen-Hwa1stRoad,Kwei-ShanTao-Yuan333,Taiwan,ROCbDepartmentofInformationManagement,HuafanUniversity,No.1HuafanR
2、oad,Taipei,Taiwan,ROCcDepartmentofIndustrialManagement,NationalTaiwanUniversityofScienceandTechnology,No.43KeelungRoad,Sec.4,Taipei,Taiwan,ROCReceived31January2007;receivedinrevisedform6October2007;accepted21October2007Availableonline26October2007摘要支持向量机是一
3、种新颖的分类法方法,它在许多应用中都极具价值。在支持向量机的训练过程中,核参数设置及特征选择对分类准确率具有显著的影响。该研究的FI的是找到最优参数值,同时寻找一个不会降低支持向量机分类准确率的特征子集。本研究提出了一种用于支持向量机中确定参数和特征选择的模拟退火方法,命名为SA-SVMo为了衡量所提的SA-SVM方法,从UCI机器学习库中选用了一些数据集,用于计算分类進确率。将所提方法与用于参数设置的传统格搜索方法及其他多种方法进行了比较。实验结果表明,所提方法的分类准确率超过了格搜索方法和其他方法。因此
4、,SA-SVM在支持向量机的参数测定和特征选择屮很有用。关键词:支持向量机;模拟退火;参数测定;特征选择1引言对分类问题已经有了广泛研究。对于一个给泄的模型参数值的选择,像数据不完整等众多因素可能会彫响分类的成果。以前的分类问题通常是用统计方法,如物流,冋归或判别分析等来处理。技术进步导致了解决分类问题的新技术,包括决策树,BP神经网络,粗糙集理论和支持向量机(SVM)的产生。支持向量机是首先被Vapniktl]开发的一个新兴的数据分类技术,并己在最近的分类问题[2-9]广泛的应用于各个领域。在支持向量机屮
5、,采用抽样成本在训练阶段产生分类模式。然后,分类是基于训练模式的基础上完成的。在建立支持向量机模型屮最大的困难是选择核函数及其参数值。如果参数值设置的不合适,那么分类的结果将不是最优的[10]。利用分化与整合,低收入和高通过率和数据库的光谱数据,对原始数据及预处理的数据进行分类,得到轴承条件。在复杂的分类领域,某些功能可能含有虚假相关性,它们阻碍数据的处理。此外,一些功能可能是多余的,因为他们补充的信息包含在其他功能里。冗余功能会延长计算时间,影响分类精度。因此,在分类过程中必须用最少的功能且快速,准确,这
6、时通过使用特征选择实现目标。特征选择已用于提高分类性能,并减少数据噪声[11-13L如果没有特征选择而采用支持向量机,1引言对分类问题已经有了广泛研究。对于一个给泄的模型参数值的选择,像数据不完整等众多因素可能会彫响分类的成果。以前的分类问题通常是用统计方法,如物流,冋归或判别分析等来处理。技术进步导致了解决分类问题的新技术,包括决策树,BP神经网络,粗糙集理论和支持向量机(SVM)的产生。支持向量机是首先被Vapniktl]开发的一个新兴的数据分类技术,并己在最近的分类问题[2-9]广泛的应用于各个领域。
7、在支持向量机屮,采用抽样成本在训练阶段产生分类模式。然后,分类是基于训练模式的基础上完成的。在建立支持向量机模型屮最大的困难是选择核函数及其参数值。如果参数值设置的不合适,那么分类的结果将不是最优的[10]。利用分化与整合,低收入和高通过率和数据库的光谱数据,对原始数据及预处理的数据进行分类,得到轴承条件。在复杂的分类领域,某些功能可能含有虚假相关性,它们阻碍数据的处理。此外,一些功能可能是多余的,因为他们补充的信息包含在其他功能里。冗余功能会延长计算时间,影响分类精度。因此,在分类过程中必须用最少的功能且
8、快速,准确,这时通过使用特征选择实现目标。特征选择已用于提高分类性能,并减少数据噪声[11-13L如果没有特征选择而采用支持向量机,那么输入的空I'可维数大,且数据不干净,就会降低支持向量机的功能。因此,需要一个支持向量机拥有高效,稳定的特征选择方法,它忽略嘈杂的,不相关和冗余数据,同时仍保留判别数据的权力。特征提取采用原始数据,以在支持向量机分类器中输入。本研究整合了模拟退火(SA)为基础支持向量机的方式来确定