基于先验知识的支持向量机理论与算法研究.pdf

《基于先验知识的支持向量机理论与算法研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、博博博士士士学学学位位位论论论文文文基于先验知识的支持向量机理论与算法研究RESEARCHONTHEORYANDALGORITHMOFSUPPORTVECTORMACHINEBASEDONPRIORKNOWLEDGE刘刘刘凤凤凤秋秋秋哈哈哈尔尔尔滨滨滨工工工业业业大大大学学学2011年年年12月月月国内图书分类号：O175学校代码：10213国际图书分类号：517.98密级：公开理理理学学学博博博士士士学学学位位位论论论文文文基于先验知识的支持向量机理论与算法研究博士研究生：刘凤秋导师：薛小平教授申请学位：理学博士学科：基础数学所在单位：理学院答辩日期：2011年12月授予学位

2、单位：哈尔滨工业大学ClassifiedIndex:O175U.D.C:517.98DissertationfortheDoctoralDegreeinScienceRESEARCHONTHEORYANDALGORITHMOFSUPPORTVECTORMACHINEBASEDONPRIORKNOWLEDGECandidate:LiuFengqiuSupervisor:Prof.XueXiaopingAcademicDegreeAppliedfor:DoctorofScienceSpecialty:FundamentalMathematicsAffiliation:Departmen

3、tofMathematicsDateofDefence:December,2011Degree-Conferring-Institution:HarbinInstituteofTechnology摘要摘要标准的支持向量机通过隐式映射将原空间的数据映射到高维的再生核Hilbert空间，实现非线性可分数据在高维空间的线性划分。在支持向量机的训练中，隐式映射仅以内积的形式出现，该内积可以视为再生核Hilbert空间中的正定核。因此，对于给定的学习问题，选择核函数就意味着选择了学习问题的解，核函数是支持向量机获得好的泛化能力的关键因素。此外，先验知识普遍存在于学习问题中，为了获得尽可能

4、好的泛化能力，先验知识必须要结合到算法的训练过程中。然而，由于隐式映射未知，先验知识无法通过它结合到核函数中，使得标准支持向量机的泛化能力受到限制。鉴于此，本文关注具有模糊规则形式的先验知识的学习问题，利用模糊等价关系设计核函数以实现提高支持向量机泛化能力的目的。本文主要从以下四个方面开展研究：(1)利用模糊等价关系设计核函数的过程中会出现不定核函数。因此，本文在再生核Krein空间的框架下，对模糊等价关系的三角模传递性和伪度量的传递性之间关系进行了研究；在此基础上，利用Hermitian核函数的Kolmogorov分解，将核函数的特征空间解释为再生核Krein空间，特征映射利

5、用Kolmogorov分解表示出来；而且，若模糊等价关系的传递性满足一定条件，原数据空间能够等距嵌入到该Krein空间中。(2)以研究内容(1)为理论基础，对于具有模糊规则形式的先验知识的二类分类问题，利用模糊等价关系设计了一类新的核函数——自然分类核函数。从理论上证明了自然分类核支持向量机能够从训练样本推广到先验知识对应的测试样本。自然分类核函数具有为空间上同类样本点提供较大相似性的能力。理论结果表明该性质使得支持向量机和凸包分离算法将训练样本推广到先验知识对应的测试样本成为可能。引入模糊先验置信区域概念表示先验知识是设计核函数的关键。仍然以研究内容(1)为理论基础，对于具有

6、模糊规则形式的先验知识的回归问题，利用模糊等价关系和模糊熵设计了一类新的核函数——自然回归核函数。模糊熵与模糊规则的公式化是自然回归核函数构造的关键。(3)经验结果表明，不定核函数的应用已经取得成功。但是不定核支持向量机导出的非凸优化问题，存在局部极小，很难处理。为了实现不定核支持向量机，本文利用次梯度技巧和外罚函数方法建立神经网络模型，-I-哈尔滨工业大学理学博士学位论文证明了该模型解的存在性、唯一性和有限时间收敛以及不变性；进一步利用Łojasiewicz指数分析稳定点的收敛速率。所得结论表明网络的轨道指数收敛或有限时间收敛。本文所提出的优化算法没有增加任何新的参数，只需要

7、通过求解一个微分方程组就可实现。(4)应用研究。利用人工合成数据和来自于UniversityofCalifornia(Irvine)的机器数据集的真实数据用于数值测试。实验结果验证了所提出理论结果的可行性以及算法的有效性。具体而言，首先，自然分类核函数结合了先验知识，相应的支持向量机和凸包分离算法将训练样本推广到了先验知识对应的测试样本；其次，自然回归核函数结合了先验知识，相应的支持向量机的泛化能力得到提高；最后，次梯度神经网络算法有效求解了支持向量机中的非凸优化问题。关键词：支持向量机；先