基于最优化理论的支持向量机学习算法研究

《基于最优化理论的支持向量机学习算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、西安电子科技大学博士学位论文基于最优化理论的支持向量机学习算法研究姓名：吴青申请学位级别：博士专业：应用数学指导教师：刘三阳20090401摘要支持向量机是借助优化方法解决机器学习问题的新工具．近年来，支持向量机越来越受到人们的广泛关注，在其理论研究和算法实现方面都取得了重大进展，成为机器学习领域的前沿热点课题．支持向量机将机器学习问题转化为优化问题，并应用优化理论构造算法．优化理论是支持向量机的重要理论基础之一，本文主要从优化理论和方法的角度对支持向量机进行研究．主要内容如下：1．对最小二乘支持向量机进行研究

2、．提出一类训练最小二乘支持向量机的条件预优共轭梯度法．当训练样本的个数较大时，最d'-乘支持向量机需要求解高阶线性方程组，利用分块矩阵的思想将该高阶线性方程组系数矩阵降阶，为了提高收敛速度，克服数值的不稳定性，采用条件预优共轭梯度法求解低阶的线性方程组，大大提高了最小二乘支持向量机的训练速度．2．对光滑支持向量机进行研究．无约束支持向量机模型是非光滑不可微的，许多优化算法无法直接用来求解该模型．采用CHKS函数作为光滑函数，提出了光滑的CHKS支持向量机模型，并用Newton．Armijo算法来训练该模型．该算

3、法通过批处理训练来提高训练速度，节省存储空间，可以有效求解高维、大规模的分类问题．3．基于优化理论中的KKT互补条件，分别建立了支持向量分类机和支持向量回归机的无约束不可微优化模型，并给出了有效的光滑化近似解法．建立了支持向量分类机的无约束不可微优化模型，给出了求解支持向量分类机的调节熵函数法．该方法不需要参数取值很大就可以逼近问题的最优解，避免了一般熵函数法为了逼近精确解，参数取得过大而导致数值的溢出现象；调节熵函数法同样可以用来训练无约束不可微的支持向量回归机，提出了求解支持向量回归机的调节熵函数法，有效避

4、免了数值的溢出现象．这两个算法分别为求解支持向量分类机和支持向量回归机提供了新的思路．4．对模糊支持向量机进行研究．针对支持向量分类机对训练样本中的噪声和孤立点特别敏感的问题，提出了一类基于边界向量提取的模糊支持向量机方法．选择可能成为支持向量的边界向量作为新样本，减少了参与训练的样本数目，提高了训练速度．样本的隶属度根据边界样本和噪声点与所在超球球心的距离分别确定，减弱了噪声点的影响，增强了支持向量对支持向量机分类的作用；为了克服最小二乘支持向量机对于孤立点过分敏感的问题，将模糊隶属度概念引入最d'-西安电子

5、科技大学博士论文II基于优化理论的支持向量机学习算法研究乘支持向量机中，提出了基于支持向量域描述的模糊最小二乘支持向量回归机．新的隶属度的定义减弱了噪声点的影响．把所要求解的约束凸二次优化问题转化为正定线性方程组，并采用快速Cholesky分解的方法求解该方程组．在不牺牲训练速度的前提下，比支持向量机和最小二乘支持向量机具有更高的预测精度．5．对半监督支持向量机进行研究．为了改进VTSVM的分类性能，引进了一个光滑分段函数，给出了光滑分段半监督支持向量机模型．光滑分段函数的逼近性能优于高斯近似函数．根据光滑分段

6、半监督支持向量机的非凸特性，首次采用保证收敛的线性粒子群算法来训练半监督支持向量机，光滑分段半监督支持向量机在分类性能上优于VTSVM．关键词：统计学习理论KKT条件Lagrangian对偶支持向量机二次规划模糊隶属度条件预优共轭梯度法CHKS光滑函数调节熵函数粒子群算法西安电子科技大学博士论文ABSTRACTSupportvectormachine(SVM)isanewapproachthatcansolvemachinelearningproblemwithoptimizationmethods．Inrec

7、entyears，therehasbeenasurgeofinterestinSVM．Ithasachievedaprodigiousprogressinthetheoryresearchandalgorithmimplement，thushasbeenallactiveresearchareainmachinelearning．SVMtranslatesthemachinelearningproblemsintotheoptimizationproblemsandappliestheoptimizationt

8、heorytoconstructalgorithms．TheoptimizationtheoryistheimportanttheoryfoundationofSVM．ThisdissertationmainlydoesresearchesonSVMwiththeoptimizationtheoryandtheoptimizationmethods．Alloftheresearchre