5评估假设_机器学习

《5评估假设_机器学习》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、机器学习第5章评估假设2003.12.181机器学习-评估假设作者：Mitchell译者：曾华军等讲者：陶晓鹏概述对假设的精度进行评估是机器学习中的基本问题本章介绍用统计方法估计假设精度，主要解决以下三个问题：已知一个假设在有限数据样本上观察到的精度，怎样估计它在其他实例上的精度？如果一个假设在某些数据样本上好于另一个，那么一般情况下该假设是否更准确？当数据有限时，怎样高效地利用这些数据，通过它们既能学习到假设，还能估计其精度？统计的方法，结合有关数据基准分布的假定，使我们可以用有限数据样本上的观察精度来逼近整个数据分布上的真实精度2003.12.182机器学习-评估

2、假设作者：Mitchell译者：曾华军等讲者：陶晓鹏动机对学习到的假设进行尽可能准确地性能评估十分重要为了知道是否可以使用该假设是许多学习方法的重要组成部分当给定的数据集有限时，要学习一个概念并估计其将来的精度，存在两个很关键的困难：估计的困难使用与训练样例和假设无关的测试样例估计的方差即使假设精度在独立的无偏测试样例上测量，得到的精度仍可能与真实精度不同。测试样例越少，产生的方差越大本章讨论了对学到的假设的评估、对两个假设精度的比较、两个学习算法精度的比较2003.12.183机器学习-评估假设作者：Mitchell译者：曾华军等讲者：陶晓鹏学习问题的框架有一所有可

3、能实例的空间X，其中定义了多个目标函数，我们假定X中不同实例具有不同的出现频率。一种合适的建模方式是，假定存在一未知的概率分布D，它定义了X中每一实例出现的概率。学习任务是在假设空间上学习一个目标概念，训练样例的每一个实例按照分布D独立地抽取，然后连同正确的目标值提供给学习器。2003.12.184机器学习-评估假设作者：Mitchell译者：曾华军等讲者：陶晓鹏评估假设的问题给定假设h和包含若干按D分布抽取的样例的数据集，如何针对将来按同样分布抽取的实例，得到对h的精度最好估计这一精度估计的可能的误差是多少2003.12.185机器学习-评估假设作者：Mitchel

4、l译者：曾华军等讲者：陶晓鹏样本错误率和真实错误率定义：假设h关于目标函数f和数据样本S的样本错误率（标记为errors(h)）定义：假设h关于目标函数f和分布D的真实错误率（标记为errorD(h)）2003.12.186机器学习-评估假设作者：Mitchell译者：曾华军等讲者：陶晓鹏样本错误率和真实错误率（2）我们想知道的是假设的真实误差，因为这是在分类未来样例时可以预料到的误差。我们所能测量的只是样本错误率，因为样本数据是我们知道的。本节要考虑的问题是：样本错误率在何种程度上提供了对真实错误率的估计？2003.12.187机器学习-评估假设作者：Mitchel

5、l译者：曾华军等讲者：陶晓鹏离散值假设的置信区间先考虑离散值假设的情况，比如：样本S包含n个样例，它们的抽取按照概率分布D，抽取过程是相互独立的，并且不依赖于假设hn>=30假设h在这n个样例上犯了r个错误根据上面的条件，统计理论可以给出以下断言：没有其他信息的话，真实错误率errorD(h)最可能的值是样本错误率errorS(h)=r/n有大约95%的可能性，真实错误率处于下面的区间内：2003.12.188机器学习-评估假设作者：Mitchell译者：曾华军等讲者：陶晓鹏举例说明数据样本S包含n=40个样例，并且假设h在这些数据上产生了r=12个错误，这样样本错误

6、率为errorS(h)=12/40=0.3如果没有更多的信息，对真实错误率errorD(h)的最好的估计即为0.3如果另外收集40个随机抽取的样例S’，样本错误率errorS’(h)将与原来的errorS(h)存在一些差别如果不断重复这一实验，每次抽取一个包含40样例的样本，将会发现约95%的实验中计算所得的区间包含真实错误率将上面的区间称为errorD(h)的95%置信区间估计2003.12.189机器学习-评估假设作者：Mitchell译者：曾华军等讲者：陶晓鹏置信区间表达式的推广常数1.96是由95%这一置信度确定的定义zN为计算N%置信区间的常数（取值见表5-

7、1），计算errorD(h)的N%置信区间的一般表达式（公式5.1）为：可以求得同样情况下的68%置信区间，从直觉上可以看出68%置信区间要小于95%置信区间，因为减小了要求errorD(h)落入的概率2003.12.1810机器学习-评估假设作者：Mitchell译者：曾华军等讲者：陶晓鹏置信区间表达式的推广（2）公式5.1只能应用于离散值假设，它假定样本S抽取的分布与将来的数据抽取的分布相同，并且假定数据不依赖于所测试的假设公式5.1只提供了近似的置信区间，这一近似在至少包含30个样例，并且errorS(h)不太靠近0或1时很接近真实情况判断这种