最新模式识别-第9章 核方法概要课件PPT.ppt

《最新模式识别-第9章 核方法概要课件PPT.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式识别-第9章核方法概要9模式识别中的核方法9.1核方法概述9.2核方法基础9.3凸优化与SVM9.1核方法概述模式识别的核方法：首先把数据嵌入到合适的特征空间然后采用基于线性代数、几何、统计学算法，发现嵌入数据的模式9.1核方法概述——岭回归如果不可逆：数据不够，或存在噪声——没有足够信息，精确指明解法（不适定ill-posed）添加某种条件（或偏置），限制函数的选择（正则化）选择范数较小的w范数与损失之间的相对权衡In是一个n阶单位阵，时总可逆9.1核方法概述——对偶岭回归训练点的线性组合称为Gram矩阵：对

2、偶变量G:训练点对间的内积k：训练点和测试点之间的内积直接法：N很大时，解N×N的方程组代价过大9.1核方法概述——核函数考虑一个嵌入映射将上的非线性关系转化为高维空间上的线性关系对偶法：需要的所有信息为特征空间F中的内积跳过显式计算直接计算——核函数：核（kernel）是一个函数，对于所有满足：其中是从X到（内积）特征空间F的一个映射：指数维，甚至无限维特征空间。那么，F中的线性函数为：9.1核方法概述——核函数举例考虑一个二维输入空间同时考虑特征映射：将特征空间中的线性关系与输入空间中的二次关系相对应：直接计算

3、特征空间中的内积不用显式计算特征空间中的坐标也可计算如下映射空间的内积特征空间并不由核函数唯一确定9.1核方法概述——核函数举例考虑一个n维输入空间，那么函数是一个核函数，对应的特征映射为：因为：9模式识别中的核方法9.1核方法概述9.2核方法基础9.3凸优化与SVM核矩阵考虑l个训练样本在N维特征空间中映射，记为l×N矩阵称与之相关的L×LGram矩阵为核矩阵，其元素为核矩阵可写作：基本运算如果是核，B是一个半正定矩阵，p(x)是一个正系数多项式，那么下面都是核:高斯核均值和距离特征向量的范数:特征向量的规范化:

4、均值和距离特征向量线性组合的范数:均值和距离特征向量之间的距离:均值和距离质心的范数质心的范数的平方=核矩阵元素的平均值均值和距离点到质心的距离均值和距离方差核矩阵对角线元素平均值-全体元素平均值中心化数据把原点移到质心——平均特征值最小化移动后，新的核函数为可以证明对于有：中心化的稳定性从训练样本估计质心的可靠性：样本中心多大程度上接近真实期望？在概率下：新颖检测举例对于一个新的随机点满足概率的界：模式函数的期望在概率下的界为：把满足的项视为新颖项，把正常项误判为正常项的概率最大为二分类举例将训练集S划分为两个正

5、例、负例子集：S_，S+利用新颖检测，计算测试点x到两子集质心的距离：分类规则为：b+b-数据分散度——标准化数据两均值为0的随机变量x,y的协方差：两变量乘积的期望不同原始特征，难以直接比较，需要在比较前进行标准化：两变量的相关性：以下三条件等价：比较两变量的标准化结果，可衡量两变量的线性相关性用于检测是否存在模式：数据分散度——协方差矩阵考虑l个训练样本在N维特征空间中映射，记为l×N矩阵N×N协方差矩阵C元素为:数据分散度——投影的方差设v为特征空间的单位向量，在v方向上投影的范数为投影范数的中心为：投影范数

6、的方差为：如何用内积计算？将v表示成训练点的线性组合数据分散度——投影的方差投影范数的方差为：将v表示成训练点的线性组合9模式识别中的核方法9.1核方法概述9.2核方法基础9.3凸优化与SVM凸优化与SVM超球体在嵌入空间中，寻找包含训练数据集的最小超球体。并构建检测新颖（反常）数据的算法。最大间隔超平面在嵌入空间中，寻找能将两类样本分开的最大间隔超平面，构建分类算法凸二次规划问题训练集嵌入到特征空间F中包含点集合的最小超球体寻找一个包含所有特征点的最小超球体中心是点的线性组合，且点数据点的跨度之内——对偶包含点集

7、合的最小超球体对偶lagrange函数最大化：约束：凸二次规划：KT条件：=0包含点集合的最小超球体基于最小超球体的新颖检测仅对支持向量有仅需要计算#SV个内积新颖检测稳定性那么至少在的概率下，在大小为的样本上有：令：=0，对于训练样本在的概率下，来自训练分布D的点落在以c为中心，为半径的球的外部的概率小于。不一味追求包含所有点——避免个别噪声影响。包含大部分点的软超球体遗漏点的损失半径过大的损失VS松弛变量：两种损失的权衡包含大部分点的软超球体包含大部分点的软超球体最大化：约束：凸二次规划：包含大部分点的软超球体

8、选取某i，使则KT条件：=0此时根据KT条件：基于软超球体的新颖检测在的概率下，来自训练分布D的点被判为新颖点的概率最大为：v-软最小超球体软最小超球体v-软最小超球体超球体外的点有最多有个点在球外超球体内的有至少有个点不在球内v-软最小超球体在的概率下，来自训练分布D的点被判为新颖点的概率最大为：测试超球体半径平方为：v-软最小超球体的优化目标为即取时，测