《基于实例的学习》PPT课件

《《基于实例的学习》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、概述已知一系列的训练样例，许多学习方法为目标函数建立起明确的一般化描述，基于实例的学习方法只是简单地把训练样例存储起来，从这些实例中泛化的工作被推迟到必须分类新的实例时每当学习器遇到一个新的查询实例，它分析这个新实例与以前存储的实例的关系，并据此把一个目标函数值赋给新实例1概述（2）基于实例的学习方法包括：假定实例可以表示成欧氏空间中的点最近邻法局部加权回归法对实例采用更复杂的符号表示基于案例的推理基于实例的学习方法有时被称为消极学习法，它把处理工作延迟到必须分类新的实例时这种延迟的学习方法有一个优点

2、：不是在整个实例空间上一次性地估计目标函数，而是针对每个待分类新实例作出局部的和相异的估计2k-近邻算法k-近邻算法是最基本的基于实例的学习方法k-近邻算法假定所有的实例对应于n维空间Rn中的点，任意的实例表示为一个特征向量根据欧氏距离定义实例的距离。两个实例xi和xj的距离d(xi,xj)定义为3k-近邻算法（2）考虑离散目标函数f:RnV，V={v1,...,vs}逼近离散值函数f:RnV的k-近邻算法训练算法将每个训练样例加入到列表train

3、ing_examples分类算法给定一个要分类的查询实例xq在training_examples中选出最靠近xq的k个实例，并用x1...xk表示返回4k-近邻算法（3）5k-近邻算法（4）离散的k-近邻算法作简单修改后可用于逼近连续值的目标函数。即计算k个最接近样例的平均值，而不是计算其中的最普遍的值，为逼近f:RnR，计算式如下：6距离加权最近邻算法对k-近邻算法的一个改进是对k个近邻的贡献加权，越近的距离赋予越大的权值，比如：7距离加权最近邻算法（2）k-近邻算法的所有变体都只考虑k个近邻用以

4、分类查询点，如果使用按距离加权，那么可以允许所有的训练样例影响xq的分类，因为非常远的实例的影响很小考虑所有样例的唯一不足是会使分类运行得更慢如果分类一个新实例时，考虑所有的训练样例，我们称为全局法；如果仅考虑靠近的训练样例，称为局部法8对k-近邻算法的说明距离加权的k-近邻算法对训练数据中的噪声有很好的健壮性，通过取k个近邻的加权平均，可以消除孤立的噪声样例的影响k-近邻的归纳偏置是：一个实例的分类xq与在欧氏空间中它附近的实例的分类相似k-近邻方法的一个实践问题：维度灾害k-近邻方法中实例间的距离

5、是根据实例的所有属性计算的实例间距离会被大量的不相关属性所支配，可能导致相关属性的值很接近的实例相距很远9对k-近邻算法的说明（2）维度灾害的解决方法：对属性加权，相当于按比例缩放欧氏空间中的坐标轴，缩短对应不太相关的属性的坐标轴，拉长对应更相关属性的坐标轴每个坐标轴应伸展的数量可以通过交叉验证的方法自动决定，具体做法如下：假定使用因子zj伸展第j个根坐标轴，选择各个zj的值，使得学习算法的真实分类错误率最小化这个真实错误率可以使用交叉验证来估计可以多次重复这个处理过程，使得加权因子的估计更加准确另一

6、种更强有力的方法是从实例空间中完全消除最不相关的属性，等效于设置某个缩放因子为010对k-近邻算法的说明（3）k-近邻算法的另外一个实践问题：如何建立高效的索引。k-近邻算法推迟所有的处理，直到接收到一个新的查询，所以处理每个新查询可能需要大量的计算已经开发了很多对存储的训练样例进行索引的方法，以便能高效地确定最近邻kd-tree把实例存储在树的叶结点内，邻近的实例存储在同一个或附近的节点内，通过测试新查询xq的选定属性，树的内部节点把查询xq排列到相关的叶结点11局部加权回归前面描述的最近邻方法可以

7、被看作在单一的查询点x=xq上逼近目标函数f(x)局部加权回归是上面方法的推广，它在环绕xq的局部区域内为目标函数f建立明确的逼近局部加权回归使用附近的或距离加权的训练样例来形成对f的局部逼近例如，使用线性函数、二次函数、多层神经网络在环绕xq的邻域内逼近目标函数局部加权回归的名称解释局部：目标函数的逼近仅仅根据查询点附近的数据加权：每个训练样例的贡献由它与查询点间的距离加权得到回归：表示逼近实数值函数的问题12局部加权回归（2）给定一个新的查询实例xq，局部加权回归的一般方法是：建立一个逼近，使拟合

8、环绕xq的邻域内的训练样例用计算的值删除的描述13局部加权线性回归使用如下形式的线性函数来逼近xq邻域的目标函数f第4章我们讨论了梯度下降方法，在拟合以上形式的线性函数到给定的训练集合时，它被用来找到使误差最小化的系数w0...wn，当时我们感兴趣的是目标函数的全局逼近，即得到的梯度下降训练法则是14局部加权线性回归（2）三种重新定义误差准则E，以着重于拟合局部训练样例，记为E(xq)只对在k个近邻上的误差平方最小化使整个训练样例集合D上的误差平方最小化