基于闭凸包收缩地非线性分类方法研究

《基于闭凸包收缩地非线性分类方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要支持向量机是在统计学习理论基础上发展起来的一种全新的机器学习方法，解决了在小样本情况下的统计学习问题，因此具有良好的泛化能力和推广性能。通过核函数的构造，支持向量机也是一种利用线性方法解决非线性问题的学习机，由支持向量机核心部分，即核函数所衍生的模式分析的核方法，成为研究非线性学习问题的有力的数学基础和研究平台，核思想降低了对于非线性学习问题研究的复杂性，使得对非线性学习问题的研究直接转化为对线性学习问题的研究，由此，模式分析的核方法成为指导研究人员研究非线性学习问题的方法论。本文通过对支持向量机及核思想的深入研究，以及对支持向量机多类分类方法的对比分析，做了以下几个方面的

2、工作：第一，将线性两类分类方法——平分最近点法利用核化思想进行推广，转化为非线性分类方法。平分最近点法和支持向量机具有相同的分类性能和推广能力，对于相同的两类数据，两种方法得到的最优分类面是相同的，但是平分最近点法具有更简单的几何特性和较低的计算复杂性。第二，针对线性不可分问题将闭凸包收缩原理进行推广，转化为非线性数据处理的方法。闭凸包收缩原理是一种数据预处理的数学手段，通过将两类数据相对于各自的均值中心进行一定收缩，从而将两类数据转化为可分数据，闭凸包收缩原理最初是用来解决线性问题的，本文通过核思想将其推广，应用到非线性问题中来。支持向量机对于不可分问题是通过软间隔思想来解决

3、的，即在约束条件中增加一个松弛项来增强分类器的分类性能。由于平分最近点法的特殊性，本文结合了闭凸包收缩原理来解决不可分问题，闭凸包收缩原理可以通过选择适当的收缩率，将学习机在训练时的错分率降低为零，因此具有较高的优越性和实用性。第三，提出了在特征空间中判断两类数据是否有交叉重叠的分离度量方法，对于多类问题构造了分离度量矩阵，利用分离度量，给出了新的较为简单的确定收缩系数的条件。对于不同的分类问题，采用什么样的分类机，也要根据相应数据的具体分布情况来确定，然而现有的大多数分类方法都没有提前对此作出判断，因此具有一定的盲目性。本文提出的分离度量方法，可以通过构造分离度量矩阵来判断各

4、个类别之间是否具有交叉重叠的样本，同时也可以知道交叉重叠的深度。通过这种先验信息的提取，可以减少分类机选择的盲目性，也可以改进现有的多类分类方法，提高它们的分类性能。⑨项士学位论文MASTER’STHESIS第四，利用闭凸包收缩原理和特征空间分离度量方法对决策树多类分类算法进行了改进。由于决策树多类分类方法的分类性能跟决策树的结构，尤其是决策树根节点的选择有紧密的联系，一般的决策树分类方法没有对根节点的选取做一定的限制，因此相对比较盲目，决策树的分类能力没有得到明显的提高。本文通过构造多个类别的分离度量矩阵，对所有类别数据统一按照最大的交叉深度进行收缩，选择最易分割的子类作为分

5、类树的上层节点，依次建立决策树，从而降低了训练时的错分率，提高了分类树的分类性能。第五，本文以手写体数字和手写体金融汉字为研究对象，对支持向量机的几种多类分类方法和本文提出的方法进行了测试和比较，结果证明本文提出的方法相对其他方法具有较高的分类精度和分类性能。关键词：统计学习理论，支持向量机，核思想，特征空间，闭凸包，平分最近点，决策树，多类分类⑨硕士学位论文～【ASTER‘STHESISAbstractSupportvectormachineisabrandnewmethodofmachinelearningdevelopedfromstatisticallearningth

6、eory,itsolvedtheproblemofstatisticallearninginconditionofsmallsampledata,SOithavethebettergeneralizationabilityandextensionproperty．Byconstructingthekemelfunction，supportvectormachineisalearningmachinewhichisusingthelinearmethodsolvingthenon-linearproblem．KernelmethodforpaRemanalysisderivedf

7、romthekernelfunctionasthecoresectionofsupportvectormachine，whichhavebeingthepowerfulfoundationsofmathematicsandresearchplatformofstudyingthenon·linearlearningproblem．Kerneltheoryreducedthecomplexityofstudyingonthenon-·linearlearningproblemanddirect