统计学习理论及SVM算法研究

《统计学习理论及SVM算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中国科学院自动化研究所博士学位论文统计学习理论及SVM算法研究姓名：吴高巍申请学位级别：博士专业：模式识别与智能系统指导教师：王珏2003.7.1统计学习理论及SVM算法研究摘要f统计学习理论的建立是统计推断领域内的一个里程碑，使得机器学习成为了一门真正的科学，为学习算法的设计提供了坚实的理论基础。统计学习理论从经验风险最小化归纳原则出发，将“依概率近似”的思想引入机器学习中，建立了泛函空间的大数定理，改变了机器学习领域的续计基础。在此基础上，发展出非渐近理论，得到小样本归纳推理原则吖7一／论文的

2、主要内容包括：从统计学习理论的统计基础开始着手，与经典模式识别相比较，从中可以看到统计思想的发展进步：从统计学的大数定律到泛函空间的大数定律；从大样本假定到小样本理论。、基于小样本归纳原则，分析SVM方法}[1Boosting方法，归纳出统计学习算法的设计规范。并据此，设计出解决不确定分类问题的后验概率支持向量机。核技巧是SVM得以成功的一个重要因素，我们从特征映射的角度进行核的研究，并将之应用于其他成功的方法中。在论文的最后部分，我们还讨论适应于大规模数据的学习算法。苎警字j．统计学习理畔经验风

3、险最小够结构风险最小哆统计学习算穆涎化}特征映自移核。边缘j支持向量机岁Boosting．儿1英文摘要AbstractStatisticallearningtheory(SLT)isthemilestoneinstatisticalconclusionItnlakesmachinelearningatruescience，andprovidesastronggroundworkfordesigninglearningalgorithmtheoretically．InSLT，Vapniksetout

4、fromEmpiricalRiskMinimizationtochangethestatisticalbaseinmachinelearning．Heintroducedtheideaofprobablyapprox—imatelycorrectintomachinelearning，andprovedthelawofgreatnumbersinfunctionalspaceNonasymptotictheoryWasfurtherpresented，andtheinductiveprincipl

5、eofsinailsamplesizewaseduced．Themaincontentofthispaperisthefollowing．WestartedwiththestatisticalbasisofSLT．ComparingwithclassicalI)at—ternrecognition，wediscoveredthatthestatisticalideasinmachinelearningwasdeveloping，ie．fromthelawofgreatnumbersinstatis

6、ticstothatinfunctionalspace，fromtheassumptionwithlargesamplesizetothetheoryofsmaIIsamptPSizeBasedonthetheoryofsmallsamplesize，weanalyzedtheappmachofSVM8ndBoosting，thenacriterionfordesigningstatisticallearninga如rithmw．博proposed·Fromthecriterion，wedevis

7、edaPosteriorProbabilitySVMfⅢa．：uncertainclassification．KerneltechniquesplayanimportantroleinSVM．Fromtheviewpointofr88t“。。mapping，weanalyzedkerneltechniques，andappliedkernelto()c}l∽successfulalgorithmsAtlast，wediscussedthealgorithmavailabletolarge．scal

8、edatasetsK。yword-StatisticalLearningTheory，EmpiriealRiskMinimizati。n．Struc¨州Itj8kMi“imizati。n，statisticalLearningAlgorithm，generalizati。n．featuremaplping，kernel，margin，SVM，Boosting统计学习理论及SVM算法研究独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究、r作及取得的研究成果。尽我所知，除了