tom的机器学习方法 ml-chap11

《tom的机器学习方法 ml-chap11》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第11章　分析学习神经网络和决策树这样的学习方法需要一定数目的训练样例，以达到一定级别的泛化精度。前面章节讨论的理论界限和实验结果反映出了这一事实。分析学习使用先验知识和演绎推理来扩大训练样例提供的信息，因此它不受同样的界限所制约。本章考虑了一种称为基于解释的学习（EBL）的分析学习方法。在基于解释的学习中，先验知识用于分析（或者解释）观察到的学习样例是怎样满足目标概念的。然后这个解释被用于区分训练样例中哪些是相关的特征，哪些是不相关的。这样样例就可基于逻辑推理进行泛化，而不是基于统计推理。基于

2、解释的学习已被成功地用于在各种规划和调度任务中学习搜索控制规则。本章考虑学习器的先验知识正确并且完整时的基于解释的学习。下一章考虑先验知识只是近似正确时，将归纳学习和分析学习结合起来。11.1介绍前面章节已考虑了各种归纳法，即通过确定能够经验地区分正例和反例的特征，来从观察到的训练样例中泛化。决策树学习、神经网络学习、归纳逻辑编程、以及遗传算法是以这种方式操作的归纳学习方法。这些归纳学习器在实践中的一个关键限制在于，它们在可用数据不足时性能较差。实际上，如第7章所讨论的，理论分析显示从给定数目的

3、训练样例中学习在精度上存在基本的上下界。是否能开发出这样的学习方法，它们不受可用训练数据的数量所带来的训练精度上的基本限制所制约？答案是肯定的，只要我们能重新考虑一下学习问题的形成。一种办法是使学习算法能接受显式的先验知识，加上训练数据的一同作为输入。基于解释的学习是这样的一种方法。它使用先验知识来分析或解释每个训练样例，以推理出样例的哪些特征与目标函数相关，哪些不相关。这些解释能使学习器比单独依靠数据进行泛化有更高的精度。如前一章所见到的那样，归纳逻辑系统（如Cigol）使用先验背景知识来指导

4、学习。然而它们使用背景知识推理出的特征扩大了输入实例的描述，因此增加了待搜索假设空间的复杂度。相反，基于解释的学习使用先验知识来减小待搜索假设空间的复杂度，因此减小了样本复杂度并提高了学习器的泛化精度。为理解基于解释的学习的直观意义，考虑下国际象棋的学习任务。确切地讲，假定我们希望程序学习识别棋局位置的重要类别，比如目标概念“黑棋将在两步内丢后的棋盘状态”。图11-1显示了此目标概念的一个正例。当然，归纳逻辑方法也能用于学习此目标概念。然而，由于棋盘相当复杂（有32个子，可以在64个方格中），而

5、且此概念所描述的特定模式相当微妙（包含了棋盘上不同子的相对位置），我们需要提供成千上万的类似于图11-1这样的训练样例，才能期望归纳学习到的假设被正确地泛化。插图——原书页码：308图11-1目标概念“黑棋在两步内丢后的棋盘状态”的一个正例。注意白马同时攻击黑王和黑后。黑棋必须移动其王，从而白棋能吃掉黑后。学习下棋任务的有趣之处在于，人类只要少数的训练样例就可学习到这样的目标概念。实际上，多数人在看了图11-1这样一个样例之后就可提出一个目标概念的一般假设，如“黑后和黑王同时被攻击的情况”，而不

6、会得到诸如这样的假设（但也同样是一致假设）：“四个白兵还在原位的棋盘状态”。人类是怎样从仅仅一个样例中成功地泛化的呢？回答是人类非常依赖于以他们关于棋子合法移动的先验知识来解释或分析训练样例。如果问为什么图11-1的训练样例是“黑棋在两步内丢后”的正例，多数人会给出类似于下面的解释：“因为白马同时攻击黑王和黑后，黑必须摆脱被将军的境遇，从而让白吃掉后。”该解释的重要性在于它提供了所需的信息以从训练样例的细节中合理泛化到正确的一般假设。此解释中提到的样例特征（如白马、黑王、黑后的位置）是与目标概念

7、相关的，并且应该被包含在一般假设中。相反，解释中没有提到的样例特征（如白棋的兵的状态）可被认为是不相关的细节。在此下棋例子中，学习器为建立假设，它需要的先验知识究竟是什么呢？很简单，是下棋的合法规则：即马以及其他子的合法移动；对弈者必须交替移子；以及要赢棋必须捉住对方的王。注意只给定这样的先验知识，在原则上就有可能对任意棋盘状态计算出最优的棋子移动。然而，实践中这样的计算可能极为复杂，而且即使我们人类在掌握了此完整的下棋知识，仍不能达到最优的对弈。因此，在下棋（以及其他搜索密集的问题，如调度和规

8、划）这样的人类学习中，包含了一个很长的发现先验知识的过程，它是由我们在下棋时遇到的特定样例所引导的。本章描述了能自动建立和学习这样的解释的学习算法。本章的剩余部分将更精确地定义分析学习问题。下一节给出了一个特定的基于解释的学习算法，称为Prolog-EBG。后续几节考查了这种算法的一般特性，以及它与前面章节中讨论的归纳学习算法之间的联系。最后一节描述了应用基于解释的学习以提高大状态空间搜索的性能。本章我们考虑了一种特殊情况，即生成解释所基于的先验知识是完全正确的，如在下棋例子中人类有正确知识的情