资源描述：
《浙江大学svm(支持向量机)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、浙江大学研究生《人工智能引论》课件徐从富(CongfuXu)PhD,AssociateProfessorEmail:xucongfu@zju.edu.cnInstituteofArtificialIntelligence,CollegeofComputerScience,ZhejiangUniversity,Hangzhou310027,P.R.ChinaSeptember11,2003第一稿Oct.16,2006第三次修改稿第八章统计学习理论与SVM(Chapter8SLT&SVM)目录概述统计学习理论中的基本概念统计学习理论的发展简况统计学习理论的基本内容支持向量机概述研究现状参考文献8.
2、1.1SLT&SVM的地位和作用是统计学习方法的优秀代表有严密的数学依据，得到了严格的数学证明有力反驳——“复杂的理论是没有用的，有用的是简单的算法”等错误观点充分表明——“没有什么比一个好的理论更实用了”等基本的科学原则8.1概述8.1.2SLT&SVM的数学基础概率论与数理统计泛函分析“ForGodsolovedtheworldthathegavehisoneandonlySon,thatwhoeverbelievesinhimshallnotperishbuthaveeternallife.ForGoddidnotsendhisSonintotheworldtocondemnthewor
3、ld,buttosavetheworldthroughhim.”fromJOHN3:16-17NIV8.1.3SLT&SVM所坚持的“基本信念”传统的估计高维函数依赖关系的方法所坚持的信念实际问题中总存在较少数目的一些“强特征”，用它们的简单函数（如线性组合）就能较好地逼近未知函数。因此，需要仔细地选择一个低维的特征空间，在这个空间中用常规的统计技术来求解一个逼近。SLT&SVM所坚持的信念实际问题中存在较大数目的一些“弱特征”，它们“巧妙的”线性组合可较好地逼近未知的依赖关系。因此，采用什么样的“弱特征”并不十分重要，而形成“巧妙的”线性组合更为重要。8.1.4SLT&SVM与传统方法的区别
4、要较好地实现传统方法，需要人工选择（构造）一些数目相对较少的“巧妙的特征”SVM方法则是自动地选择（构造）一些数目较少的“巧妙的特征”在实际应用中，可通过构造两层（或多层）SVM来选择“巧妙的特征”SLT&SVM集以下模型于一身：结构风险最小化（SRM）模型数据压缩模型构造复合特征的一个通用模型在希尔伯特空间中的内积回旋可以看作是构造特征的一种标准途径。对实际数据的一种模型一个小的支持向量集合可能足以对不同的机器代表整个训练集。8.2SLT中的基本概念统计方法——从观测自然现象或者专门安排的实验所得到的数据去推断该事务可能的规律性。统计学习理论——在研究小样本统计估计和预测的过程中发展起来的一
5、种新兴理论。【注意】：这里所说的“小样本”是相对于无穷样本而言的，故只要样本数不是无穷，都可称为小样本，更严格地说，应该称为“有限样本”。统计学习理论中的基本概念（续）机器学习主要研究从采集样本出发得出目前尚不能通过原理分析得到的规律,并利用这些规律对未来数据或无法观测的数据进行预测。模式识别对表征事务或现象的各种形式(数值、文字及逻辑关系等)信息进行处理和分析,以对事务或现象进行描述、辨认、分类和解释的过程。统计学习理论一种研究有限样本估计和预测的数学理论8.3统计学习理论的发展简况学习过程的数学研究F.Rosenblatt于1958,1962年把感知器作为一个学习机器模型统计学习理论的开始
6、Novikoff(1962)证明了关于感知器的第一个定理解决不适定问题的正则化原则的发现Tikhonov(1963),Ivanov(1962),Phillips(1962)Vanik和Chervonenkis(1968)提出了VC熵和VC维的概念提出了统计学习理论的核心概念得到了关于收敛速度的非渐进界的主要结论SLT的发展简况(续)Vapnik和Chervonenkis(1974)提出了结构风险最小化（SRM）归纳原则。Vapnik和Chervonenkis(1989)发现了经验风险最小化归纳原则和最大似然方法一致性的充分必要条件,完成了对经验风险最小化归纳推理的分析。90年代中期,有限样本情
7、况下的机器学习理论研究逐渐成熟起来,形成了较完善的理论体系—统计学习理论(StatisticalLearningTheory,简称SLT)8.4统计学习理论的基本内容机器学习的基本问题统计学习理论的核心内容8.4.1机器学习的基本问题机器学习问题的表示学习问题的表示产生器(G)，产生随机向量x属于Rn,它们是从固定但未知的概率分布函数F(x)中独立抽取的。训练器(S)，对每个输入向量x返回一个输出
