机器学习基于实例的学习ppt课件.ppt

《机器学习基于实例的学习ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第8章基于实例的学习8.1简介8.2k一近邻算法8.3局部加权回归8.4径向基函数8.5基于案例的推理8.6对消极学习和积极学习的评论8.7小结和补充读物2021/9/1718.1简介（1/3）思想：基于实例的学习方法先把训练样例存储起来。泛化的工作被推迟到必须分类新的实例时。每当学习器遇到一个新的查询实例，它分析这个新实例与以前存储的实例的关系，并据此把一个目标函数值赋给新实例。基于实例的学习方法有时被称为消极(lazy)学习法，因为它们把处理工作延迟到必须分类新的实例时。与其相对的方法称为积极的

2、（eager)。延迟的或消极的学习方法有一个关键的优点，即它们不是在整个实例空间上一次性地估计目标函数，而是针对每个待分类新实例作出局部的和相异的估计。2021/9/1728.1简介（2/3）基于实例的学习方法包括最近邻法(nearestneighborNN)和局部加权回归(locallyweightedregressionLWR)法，它们都假定实例可以被表示为欧氏空间中的点。基于实例的学习方法还包括基于案例的推理(case-basedreasoningCBR）它对实例采用更复杂的符号表示。2021

3、/9/1738.1简介（3/3）基于实例方法的一个不足是，分类新实例的开销可能很大。这是因为几乎所有的计算都发生在分类时，而不是在第一次遇到训练样例时。所以如何有效地索引训练样例，以减少查询时所需的计算是一个重要的实践问题。第二个不足是(尤其对于最近邻法)，当从存储器中检索相似的训练样例时，它们一般考虑实例的所有属性。如果目标概念仅依赖于很多属性中的几个时，那么真正最“相似”的实例之间很可能相距甚远。2021/9/1748.2k一近邻算法（1/5）k一近邻算法假定所有的实例对应于n维空间Rn中的点。

4、一个实例的最近邻是根据标准欧氏距离定义的。即把任意实例x表示为下面的特征向量:其中,ar(x)表示实例x的第r个属性值。那么，两个实例xi和xj间的距离定义为d(xi,xj)，其中:2021/9/175逼近离散值函数的k-近邻算法KNN训练算法:对于每个训练样例，把这个样例加人列表training_examples。分类算法:给定一个要分类的查询实例xq。在training_examples中选出最靠近xq的k个实例，并用x1，…xk表示。返

5、回其中，如果a=b,那么(a，b)=l，否则(a，b)=0。就是距离xq最近的k个训练样例中最普遍的分f值。2021/9/1768.2k一近邻算法（2/5）下图图解了一种简单情况下的k一近邻算法，在这里实例是二维空间中的点，目标函数具有布尔值。正反训练样例用“+”和“-”分别表示。图中也画出了一个查询点xq。1一近邻算法把xq分类为正例，然而5一近邻算法把xq分类为反例。2021/9/1778.2k一近邻算法（3/5）k-近邻算法隐含考虑的假设空间H的特性:k-近邻算法并不形成关于目标函数f的明

6、确的一般假设。它仅在需要时计算每个新查询实例的分类。隐含的一般函数是什么?或者说，如果保持训练样例不变，并用X中的每个可能实例查询算法，会得到什么样的分类?2021/9/1788.2k一近邻算法（4/5）下图画出了1一近邻算法在整个实例空间上导致的决策面形状。决策面是围绕每个训练样例的凸多边形的合并。对于每个训练样例，多边形指出了一个查询点集合，它的分类完全由相应训练样例决定。在这个多边形外的查询点更接近其他的训练样例。这种类型的图经常被称为这个训练样例集合的Voronoi图（梯森多边形）。2021

7、/9/1798.2k一近邻算法（5/5）对k一近邻算法作简单的修改，它可被用于逼近连续值的目标函数。让算法计算k个最接近样例的平均值，而不是计算其中的最普遍的值。更精确地讲，为了逼近一个实值目标函数，我们使用公式:2021/9/17108.2.1距离加权最近邻算法（1/3）对k一近邻算法的一个改进是对k个近邻的贡献加权，根据它们相对查询点xq的距离，将较大的权值赋给较近的近邻。在逼近离散目标函数的算法中，可以根据每个近邻与xq的距离平方的倒数加权这个近邻的“选举权”:当xq=xi，将导致分母d(xq

8、xi)2为0，此时令。如果有多个这样的训练样例，我们使用它们中占多数的分类。2021/9/17118.2.1距离加权最近邻算法（2/3）对实值目标函数进行距离加权，用下式：其中，wi的定义与前式中相同。注意该式中的分母是一个常量，它将不同权值的贡献归一化(例如，它保证如果对所有的训练样例xi，f(xi)＝c，那么，。2021/9/17128.2.1距离加权最近邻算法（3/3）注意，以上k一近邻算法的所有变体都只考虑k个近邻用以分类查询点。可以考虑所有的训练样例影响的分