基于统计学习理论的支持向量机算法研究

《基于统计学习理论的支持向量机算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华中科技大学博士学位论文基于统计学习理论的支持向量机算法研究姓名：唐发明申请学位级别：博士专业：控制理论与控制工程指导教师：陈绵云;王仲东20050430摘要传统的统计学研究的是假定样本数目趋于无穷大时的渐近理论现有的机器学习方法大多是基于这个假设然而在实际的问题中样本数往往是有限的现有的基于传统统计学的学习方法在有限样本的情况下难以取得理想的效果统计学习理论是在有限样本情况下新建立起来的统计学理论体系为人们系统地研究小样本情况下机器学习问题提供了有力的理论基础支持向量机是在统计学习理论基础上开发出来的一种新的非常有效的机器学习新方法它较好地解决了以往困扰很多学习方法的小样本非线性过学

2、习高维数局部极小点等实际问题具有很强的推广能力目前统计学习理论和支持向量机作为小样本学习的最佳理论开始受到越来越广泛的重视正在成为人工智能和机器学习领域新的研究热点本论文研究的主要内容包括以下几个方面:支持向量机算法多输出支持向量回归多类支持向量机分类支持向量机算法以及支持向量分类和支持向量回归的应用论文主要研究工作有1.标准的支持向量机算法其最优分类超平面与正负两类是等距的在处理一些特殊分类问题时会存在不足在对支持向量机算法进行研究和分析之后提出了基于不等距分类超平面的支持向量机算法并对算法进行了简要的理论推导和仿真2.支持向量回归算法是针对单输出回归问题提出的对于多输出系统的回归估

3、计传统的方法是对各个输出独立地建立单输出支持向量回归模型其缺点是忽略了各个输出之间实际存在的联系并且不能保证各输出误差和最小化针对这些问题通过增加误差和约束条件且在同一个优化公式中考虑所有输出的回归估计提出了一种多输出支持向量回归算法从而可以考虑到各个输出之间的联系并能提高整个回归模型的回归估计精度3.支持向量机的训练算法需要解决一个大的二次规划最优化问题传统的二次规划数学算法在求解大数据的二次规划问题时需要巨大的内存空间所以并不能I直接用于支持向量机的训练因此设计适于大量样本的训练算法成为支持向量机研究中的重要内容目前出现了一些比较有效的训练算法和实用软件在对这些算法进行了研究和分析

4、之后提出了利用粒子群优化算法对支持向量机进行训练的新方法4.对于大规模训练样本数据的分类问题提出了基于粗糙集理论和支持向量机的集成分类算法该算法利用粗糙集理论的知识约简方法对样本数据进行预处理属性约简可删除不必要的属性从而可减少样本输入空间的维数简化计算同时对约简后的条件属性进行重要性度量利用属性重要度可以构造加权支持向量机模型对象约简可把冗余或冲突的样本从训练样本集中剔除从而可简化训练过程5.采用二叉树结构对多个二值支持向量机子分类器组合可实现多类问题的分类并且还克服了传统多类支持向量机算法存在的不可分区域的情况针对现有二叉树多类分类方法未采用有效的二叉树生成算法根据聚类分析中的类距

5、离和类包含的思想提出了几种新的基于二叉树的多类支持向量机分类方法实验结果表明新算法可以明显的减少测试时间且分类精度比较理想6.支持向量机和支持向量回归具体应用研究对于储粮害虫的种类识别问题提出了一种根据害虫产生的声音来进行基于支持向量机的识别算法利用已知害虫的声音样本经过语音预处理特征提取用所提取的语音特征向量构造多类支持向量机在识别应用中在无法看到害虫的情况下利用传感器采集到的害虫声音样本预处理之后利用训练好的支持向量机来判断是什么害虫从而采取合适的灭虫措施散乱数据点的三维曲面重建是CAD/CAM工程中主要研究热点之一为此提出了基于支持向量回归的散乱数据点曲面拟合方法并成功应用到大型

6、粮仓的温度场重建当中关键词统计学习理论支持向量机多类别支持向量机分类支持向量回归不等距分类超平面多输出支持向量回归二次规划问题IIAbstractTraditionalstatisticsisbasedonassumptionthatsamplesareinfinite,soaremostofcurrentmachineslearningmethods.However,inmanypracticalcases,samplesarelimited.Mostofexistingmethodsbasedontraditionalstatisticaltheorymaynotworkwellf

7、orthesituationoflimitedsamples.StatisticalLearningTheory(SLT)isanewstatisticaltheoryframeworkestablishedfromfinitesamples.SLTprovidesapowerfultheoryfundamenttosolvemachinelearningproblemswithsmallsamples.SupportVectorMachine