支持向量机算法pac-bayes边界理论与实验研究

《支持向量机算法pac-bayes边界理论与实验研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、支持向量机算法PAC-Bayes边界理论与实验研究PAC-BayesBoundTheoryandExperimentalResearchonSVMAlgorithm一级学科：计算机科学与技术学科专业：计算机应用技术作者姓名：汤莉指导教师：赵政教授天津大学计算机科学与技术学院二零一四年十二月独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得天津大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做

2、的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名：签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解天津大学有关保留、使用学位论文的规定。特授权天津大学可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。（保密的学位论文在解密后适用本授权说明）学位论文作者签名：导师签名：签字日期：年月日签字日期：年月日摘要PAC-Bayes边界理论融合了贝叶斯定理和随机分类器的结构风险最小化原理，为机器学习算法提供了一个

3、理论框架，进而可以推导出最紧的泛化风险边界。该理论的有效性和正确性可由概率近似正确性理论和贝叶斯决策理论推导得到。PAC-Bayes边界是衡量机器学习算法泛化性能的重要统计量，具有严格的数学形式和一般意义。本文根据PAC-Bayes边界理论，将其运用于评价支持向量机(SVM)的泛化性能。首先，使用五个UCI数据集分别进行封闭测试和开放测试，测试得出PAC-Bayes边界和敏感性、特异性和正确率统计指标。分析PAC-Bayes边界值和对应的统计指标的协方差与相关系数，实验结果表明PAC-Bayes边界值与分类正确率具有很高的负相关性，与敏感性和

4、特异性也具有一定的负相关性。其次，PAC-Bayes边界方法作为模型性能评价的方法，将它与N折交叉验证方法进行比较。它们的实验结果是一致的，说明PAC-Bayes边界能够较好地反映泛化风险边界。再次,将PAC-Bayes边界通过模型选择应用于SVM，实现快速优选SVM的惩罚系数和核函数参数。最后，将SVM和PAC-Bayes边界应用于蛋白质结构预测中。PAC-Bayes边界在实际应用中的主要问题是，在概念空间下估计不确定的先验分布和后验分布。本文通过使用核方法，以再生核希尔伯特空间来构造概念空间，并提出以随机采样方法和马尔科夫链蒙特卡洛采样方

5、法来模拟概念空间的后验分布的采样，进而计算KL相对熵及PAC-Bayes边界。同时通过方差最小化方法来评价支持向量的统计显著性，以实现支持向量及其权向量的优化。在两个人工设置的数据集上进行实验，实验结果表明，该模拟方法在实际应用中是合理且有效的。在以再生核希尔伯特空间来构造概念空间的基础上，本文还提出一种融合模型反馈信息的改进马尔科夫链蒙特卡洛采样方法，来模拟对概念空间后验分布的采样。同时使用核密度估计方法对后验分布进行概率密度估计，求得后验分布与先验分布的KL相对熵，进而解决PAC-Bayes边界的计算问题。最后分别采用随机采样方法、马尔科

6、夫链蒙特卡洛方法和改进的马尔科夫链蒙特卡洛方法进行实验，实验结果表明，该方法使得PAC-Bayes边界的计算问题得到了改进。I关键词：统计学习理论，机器学习，PAC-Bayes边界，支持向量机，马尔科夫链蒙特卡洛，再生核希尔伯特空间，泛化性能IIABSTRACTPAC-BayesriskboundintegratingtheoriesofBayesianparadigmandstructureriskminimizationforstochasticclassifiershasprovidedaframeworkformachinelearn

7、ingalgorithmsandderivedsomeofthetightestgeneralizationbounds.TheeffectivenessandcorrectnessofthePAC-BayestheoryarededucedbytheProbablyApproximatelyCorrectmodelandBayesiandecisiontheory.PAC-Bayesboundistheimportantstatisticalfactortomeasurethegeneralizationperformanceofmachi

8、nelearningalgorithms,andhasthestrictmathematicalexpressionandageneralmeaning.Thist