模式识别-第十三章统计学习理论与支持向量机.ppt

《模式识别-第十三章统计学习理论与支持向量机.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第10章统计学习理论与支持向量机统计学习理论为基于小样本的统计理论支持向量机为基于统计学习理论的应用工具统计学习理论的提出：传统模式识别理论的基础为样本数目足够大，实际上，样本的数目是有限的。统计学习理论为基于小样本的统计理论。应用目标：有限样本条件下，统计模式识别与机器学习问题的理论框架。为当前国际上机器学习领域的研究热点。10.1引言基于数据的机器学习问题——现代智能技术的一个重要方面。研究对象：现实世界中，大量的，目前无法准确认识，但可以观测的事物，由观测数据表征。研究目的：利用观测数据，得到目前不能通过原理分析来得

2、到的规律规律：为各学科方向的规律。用于分类学——即模式识别用于模型学——即参数模型的辩识用于系统控制——即学习控制问题。传统统计学——渐进理论，即样本数目趋于无穷大。表现为：统计学中关于估计的一致性，无偏性与估计方差的有界性统计学习理论研究的历史60年代，着手研究有限样本条件下的机器学习问题，研究成果为：经验风险最小化与有序风险最小化问题。90年代，由于需要，人工神经网络用于机器学习中的问题引出：网络结构的确定问题（高维空间），过学习与欠学习问题，局部极值问题等等，统计学习理论是研究机器学习问题中更为本质的问题。92年提出支

3、持向量机，SupportVectorMachine，（SVM），统计学习理论的一个应用模型，其优势表现在：小样本，非线性，高维数空间的模式识别中。可以推广到其他有关机器学习问题的应用中如：函数拟合，参数辩识，学习控制等。10.2机器学习的基本问题与方法基本问题有：1机器学习问题的表示方法2经验风险最小化与期望风险最小化3机器学习中的复杂性与推广性10.2.1机器学习问题的表示模型：数学描述：已知输入x与输出y之间存在未知的依赖关系——未知的联合概率F(x,y)，（确定性关系为特例），根据n个独立同分布观测样本在一组函数{f(

4、x,)}中，寻找一个最优函数{f(x,0)}，使得预测的期望风险最小。其中：{f(x,)}——预测函数集合，任意函数，又称学习函数，学习模型，学习机器。——损失函数，使用某预测函数{f(x,)}对y做预测的损失。3类基本的机器学习问题：模式识别，函数拟合，概率密度估计。模式识别中的机器学习问题（有监督，有导师模式识别问题，）系统输出y为类别标号。两类情况时y={0,1}或者y={-1,+1}，为二值函数。预测函数又称，指示函数，判别函数损失函数定义为例如该定义下的期望风险就是平均错误率，期望风险最小的决策即贝叶斯决策

5、函数拟合中的机器学习问题y为变量x的连续函数。损失函数定义为（平方误差）通过将输出y做阈值的二值转换，函数拟合问题化为模式识别问题。概率密度估计中的机器学习问题学习目的为：根据训练样本来确定x的概率分布。损失函数定义为其中，为估计的密度函数。10.2.2经验风险最小化与期望风险最小化期望风险最小化的条件期望风险其最小化必须依赖于联合概率F(x,y)中的信息。在模式识别问题中就是：必须已知类先验概率P()和类条件概率密度p(x

6、)。但是在机器识别中，仅有样本信息：n个独立同分布观测样本：是不能计算期望风险的。经验风险：根

7、据大数定律，由算术平均来替代数学期望有即由该式来逼近期望风险。在该式中，Remp()是由训练样本（经验数据）来定义的，因此，定义该式为经验风险。经验风险最小化原则：参数w的Remp(w)最小化代替R(w)的最小化称经验风险最小化原则。依据该原则，提出了各种基于数据的分类器设计方法。但是存在问题：理论依据不足。问题1：首先都是w的函数，概率论中的大数定律仅指明：n时，在概率意义上，Remp(w)R(w)**不能保证Remp(w*)与R(w*’)中的w是同一个点（w*与w*’）。**更不能保证能够使Remp(w*)R(

8、w*’)问题2：即使可以保证，n时，Remp(w)R(w)，也无法认定，在样本数目有限时，经验风险最小化方法得到的结果更好。统计学习理论的研究解决的几个基本问题：1用经验风险最小化解决期望风险最小化问题的前提是什么？2前提不成立时，经验风险最小化的性能如何3是否存在更合理的原则？10.2.3机器学习的复杂性与推广性机器学习的复杂性可以定义为：对于复杂问题的跟踪能力，搜索能力，探寻能力。机器学习的推广性学习机器对于未来目标的预测能力，或者可使用性。两者是矛盾的。学习与过学习：实验数据1：已知小样本n=5，使用学习机器作曲

9、线拟合，设拟合函数为y=exp(ax)sin(bx)经学习训练后，由训练误差为零，总可以找到参数a,b满足拟合函数。当使用更复杂的函数去拟合一个有限样本时，其学习结果便产生了过学习。产生过学习的原因：1学习样本不够充分（已知小样本n=5）2学习机器设计不合理（拟合函数为y=exp(ax)s