支撑矢量机应用的关键技术研究

《支撑矢量机应用的关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、代B学{0111310047●簧电手辩敏戈警博士学位论文题c自、*i，目⋯⋯妻掸拳量女崾甩的巷键捷攫衔鞋⋯。⋯T№舅缸TechnoIogiesfor如8州calAp州cations!f§”nQrcM地rMM÷j№⋯⋯作者姓名⋯．挫囊组指导教师姓名、职务焦李虞热挺学科门娄王．学⋯学科、专业⋯⋯⋯史路与幂缝⋯提交论文日期_⋯⋯⋯⋯⋯⋯二三旦9点生粤月摘要摘要基于数据的机器学习一直是智能系统技术中的一个重要和极为活跃的研究方向和热点，其内容主要为研究如何从观测数据(样本)中发现规律，利用获得的规律对未来数据或无法观测的数据进行预测。包括模式识别、函数拟合及概率密度

2、估计等在内的现有的基于数据的机器学习方法共同的重要理论基础之一就是统计学。传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有的诸如神经网络等机器学习方法也多是基于此假设。但对于大多数实际问题来说，样本数目往往是有限的，因此一些在理论上很优秀的机器学习方法在实际应用中的表现却可能不尽人意。统计学习理论(Statisticallearningtheory,SLT)是一门研究小样本情况下基于数据的机器学习理论的科学，其核心归纳原则为结构风险最小化(Structuralriskminimization，SRM)原则。支撑矢量机(Supportvectormach

3、ine，SVM)是统计学习理论中最实用、最年轻的部分，是基于结构风险最小化的普适而有效的统计学习理论最具代表性的新型小样本学习机，是结构风险最小化原则的具体实现。作为统计学习理论中最年轻、最具代表性的核心内容，SVM是机器学习领域研究与应用的热点之一，仍处在不断发展与丰富阶段。针对支撑矢量机面向实际应用的几个关键问题，展开了相应的研究，主要内容包括下面四个方面：将模糊逻辑技术引入传统的SVM中以加速传统SVM的学习速度及提高其性能：提出了基于遗传算法的SVM模型自动选择方法；系统客观地评价了几种常用的SVM泛化性能指标；提出了一种简单高效的SVM泛化性能指标

4、。主要工作可概括为如下五个创新点：(1)由于在多数支撑矢量机中采用全部数据进行优化计算得到稀疏的支撑矢量，在优化过程中不仅对支撑矢量进行优化，也对非支撑矢量进行优化，大大增加了不必要的计算。将模糊逻辑技术与传统SVM相结合，提出了小样本快速学习的模糊预选支撑矢量机(FuzzySVM，FSVM)。通过提出的模糊规则，利用近似SVM(ProximalSVM，PSVM)的快速性在原始数集上预选支撑矢量，然后再利用标准SVM在训练样本数大大降低的预抽取的数集上获得通常意义的稀疏的支撑矢量。不但提高了SVM的学习速度，同时保持其原有的较好的泛化能力。人造数据与Iris

5、、Wine和Soy基准数集的实验结果证明了所提方法的有效性。(2)针对现有的多类SVM有可能出现多个两类分类器无法判别(即拒分)或一个数据属于多类(即误分)的情况，在研究支撑矢量机分类机理的基础上，详细分析了SVM多类分类问题中存在的误分、拒分现象，结合模糊理论，提出荫安电子科技大学博十学位论文：支撑矢量机应用的关键技术研究了更加简单明确、易于计算的模糊隶属度函数，给出拒分区域和误分区域中的决策函数，提出了模糊多类支撑矢量机(Fuzzymulti．SVM，FMSVM)。基准数据集、下1；体数据以及残缺不全的高分辨窄脉冲雷达目标一维距离像的洪别实验结果验证了所

6、提出的FMSVM的有效性。(3)正如大多数学习机算法，SVM中的模型选择问题在解决过匹配和欠匹配的折衷问题上也是一个关键所在，特别是在小样本学习中，内嵌超参数的SVM如果参数选择不当，会导致系统性能恶化。实际应用时，多采用试凑的实验方法来确定SVM模型参数，不但带有一定的随机性而且不一定获得最优的模型参数，并且不断的试凑又浪费大量宝贵的时间。鉴于此，针对困扰着SVM研究与实际应用的模型选择这一尚待解决的公开问题。提出了基于实值遗传算法(Real．codedgeneticalgorithm．RGA)的SVM模型自动选择方法。Heart基准数集与二值遥感军事目标

7、的分类识别实验证明了所提出的基于RGA的SVM模型自动选择方法的高效性。(4)在基于RGA实现SVM模型自动选择的基础上，进一步提出了指数编码实值遗传算法(Exponentional．codedgeneticalgorithm，EGA)SVM模型自动选择方法，使之对大数集与较大的搜索空间仍然有效。进而在很大的参数空间范围内系统地比较了几种常用的SVM模型选择泛化性能指标。由于避免了人为确定模型参数对SVM性能的影响，从而使对这几种泛化性能指标的比较评价更客观准确。机器学习领域基准数集的实验结果证明了支撑矢量数界对一阶软间隔SVM来说，是一个比较理想的泛化性能

8、指标。(5)在上述工作的基础上，提出了一种简单高效的