模式识别的核方法研究

《模式识别的核方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要浙江人学博十学位论文模式识别是一门以应用为基础的学科，模式识别研究的理论和方法在很多方面得到了成功的应用，所有这些应用都是和问题的性质密不可分的，至今还没有发展成统一有效的可应用于所有问题的模式识别方法。由于大量实际的模式识别问题是具有多类别的高维复杂模式的识别，因此研究复杂模式的分析和分类方法是必要而且有意义的。基于核函数的学习方法(简称为核方法)是从统计学习理论中发展出来的较新的学习方法，它有效克服了传统模式识别方法的局部极小化和不完全统计分析的缺点。核方法本质上是非线性的信息处理工具，它在处理具有非线性关系的高维复杂模式识别问题时，有着其它学习方法无法比拟的优越性

2、。核方法的研究和应用目前正方兴未艾，新的算法不断地被提出，但是作为一种尚未成熟的技术，仍然存在着许多不完善和有待解决的问题，如核函数的构造和选择、多类分类等问题，因此研究基于核方法的复杂模式识别理论具有重要的意义。本论文研究的内容主要侧重于如何用核方法实现高维多模式对象的特征提取和模式分类，论文所作的工作包括以下几部分内容：1．针对奇异情况下如何更好地解决核Fisher描述分析中非线性最优鉴别矢量集的求解问题，提出了改进的核直接描述分析(IKDDA)方法。根据再生核理论，定义核类内散度矩阵和核类问散度矩阵，将高维特征空问中的Fisher描述准则函数转化为核Fisher描述准

3、则函数。基于同构映射原理和奇异值分解定理，在一个更小的空间内将核Fisher描述准则函数的极大值问题转化为其倒数的极小值问题，使最终的解不需要分开考虑核类内散度矩阵的零空间和非零空间。在ORL和UMIST人脸库上的实验结果表明了IKDDA方法与其他方法相比具有较低的误识率和较快的运行速度。2．针对高维、小样本模式识别中的特征提取问题，提出了一种约束线性描述分析方法(CLDA)。以线性变换后样本的类内距离与类间距离之比最小作为准则函数，同时加上约束条件使变换后的样本中心沿着特定的正交方向，通过白化变换、Gram-Schimdt正交化和正交子空间投影求解约束准则函数得到最优变换

4、矩阵。针对人脸识别的小样本问题，根据奇异值分解定理实现白化变换。运用核技巧，将CLDA推广到非线，阡的约束核描述分析(CKDA)，给出了原理‘j算法过程。对ORL和UMIST人脸库进行了仿真研究，结果表明CI。DA方法和CKDA方法的有效性。3．针对如何有效地设计决策树支持向量机(SVM)多类分类器的层次结构这个关键问题，提出了’种犟T向鼓投影的类

5、1lj可分性测度的设计方法，并给出摘要浙江人学博十学位论文了基于该类间可分性测度设计决策树SVM多类分类器层次结构的偏二叉树方法和完全二叉树方法。为了加快每个SVM子分类器的训练速度且保持其高推广性，将改进的基于向量投影的支持向

6、量预选取方法用于每个子分类器的训练中。对不同类型的数据的仿真实验，结果表明新方法有效地提高了决策树SVM多分类器的分类精度和速度。4．提出了改进的基于投影和三角不等式的k近邻搜索法以及改进的基于向量投影的边界向量预选取方法。针对样本总体分布已知的分类问题，提出了一种新的分类方法。通过非线性映射将训练样本映射到高维特征空间，基于向量投影法从训练样本中选择边界向量，运用k近邻搜索法确定每个边界向量同类中的k近邻，运用统计理论中的大数定理估计样本的类条件概率密度函数，由边界向量与相应的密度函数构成新的训练样本对。对每一类建立一个径向基函数(RBF)网络，以相应类的边界向量作为中心

7、，通过训练，最终以RBF网络来估计样本的类条件概率密度。在此基础上，基于最小错误率的贝叶斯决策实现分类。对机器学习数据的仿真研究结果表明该方法能快速有效地实现多类分类。关键词：模式识别；核方法；核Fisher描述分析；约束线性描述分析；约束核描述分析；决策树支持向量机多分类器；向量投影ABSTRACT浙江人学博十学位论文ABSTI认CTPattemrecognitionisanapplicationorientedsubject，itstheoriesandmethodshavebeensuccessfullyappliedinmanyareas，andalltheseap

8、plicationsareconsanguineouswiththepropertyofidiographicproblem．Uptopresent，nomethodcanbeappliedtoallproblems．ItisnecessaryandsignificativetostudypaRernrecognitionmethodforproblemswithcomplexpattemsowingtothefactthatmostpracticalproblemscomprisehighdimensionand