第7章 机器学习

《第7章 机器学习》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第七章机器学习7.1机器学习的定义、研究意义与发展历史7.2机器学习的主要策略与基本结构7.3–7.7几种常用的学习方法7.8知识发现7.9小结7.1机器学习的定义和发展历史7.1.1机器学习的定义机器学习的定义顾名思义,机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门研究机器获取新知识和新技能,并识别现有知识的学问。27.1.2机器学习的发展史机器学习的发展分为4个时期第一阶段是在50年代中叶到60年代中叶，属于热烈时期。第二阶段在60年代中叶至70年代中叶，被称为机器学习的冷静时期。第三阶段从70年代中叶至80年代中叶，称为复兴

2、时期。机器学习的最新阶段始于1986年。7.1机器学习的定义和发展历史3机器学习进入新阶段的表现机器学习已成为新的边缘学科并在高校形成课程。综合各种学习方法机器学习与人工智能问题的统一性观点正在形成。各种学习方法的应用范围不断扩大。数据挖掘和知识发现的研究已形成热潮。与机器学习有关的学术活动空前活跃。7.1机器学习的定义和发展历史47.2机器学习的主要策略和基本结构7.2.1机器学习的主要策略按照学习中使用推理的多少，机器学习所采用的策略大体上可分为4种———机械学习、通过传授学习、类比学习和通过事例学习。机械学习传授学习策略类比学习系统通过事例学习策略57.2.2机器学

3、习系统的基本结构1.学习系统的基本结构环境学习知识库执行图6.1学习系统的基本结构7.2机器学习的主要策略和基本结构62.影响学习系统设计的要素影响学习系统设计的最重要因素是环境向系统提供的信息，或者更具体地说是信息的质量。知识库是影响学习系统设计的第二个因素。知识的表示有特征向量、一阶逻辑语句、产生式规则、语义网络和框架等多种形式。7.2机器学习的主要策略和基本结构77.3机械学习1.机械学习模式机器学习是最简单的学习方法。机器学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。它是一种最基本的学习过程。7.3机械学习8存储计算推导归纳算法与理论机

4、械记忆搜索规则图7.2数据化简级别图Lenat，Hayes-Roth，和Klahr等人于1979年关于机械学习提出一种有趣的观点，见图6.2。7.3机械学习92.机械学习的主要问题存储组织信息：要采用适当的存储方式，使检索速度尽可能地快。环境的稳定性与存储信息的适用性问题：机械学习系统必须保证所保存的信息适应于外界环境变化的需要。存储与计算之间的权衡：对于机械学习来说很重要的一点是它不能降低系统的效率。7.3机械学习107.4归纳学习归纳学习（inductionlearning）是应用归纳推理进行学习的一种方法。根据归纳学习有无教师指导，可把它分为示例学习和观察与发现学习

5、。7.4.1归纳学习的模式和规则归纳学习的模式解释过程实例空间规则空间规划过程117.5类比学习7.5.1类比推理和类比学习方式类比学习（learningbyanalogy）就是通过类比，即通过对相似事物加以比较所进行的一种学习。其推理过程如下：回忆与联想---选择---建立对应关系---转换127.5.2类比学习过程与研究类型类比学习主要包括如下四个过程：输入一组已知条件和一组未完全确定的条件。对两组出入条件寻找其可类比的对应关系。根据相似转换的方法，进行映射。对类推得到的知识进行校验。7.5类比学习13类比学习的研究可分为两大类：(1)问题求解型的类比学习(2)预测推

6、定型的类比学习。它又分为两种方式：一是传统的类比法另一是因果关系型的类比7.5类比学习147.6解释学习7.6.1解释学习过程和算法1986年米切尔（Mitchell）等人为基于解释的学习提出了一个统一的算法EBG：训练例子操作准则知识库新规则目标概念15EBG求解问题的形式可描述于下:给定：(1)目标概念描述TC；(2)训练实例TE；(3)领域知识DT；(4)操作准则OC。求解：训练实例的一般化概括，使之满足：(1)目标概念的充分概括描述TC；(2)操作准则OC。7.6解释学习167.7神经学习7.7.1基于反向传播网络的学习反向传播（back-propagation,

7、BP）算法是一种计算单个权值变化引起网络性能变化值的较为简单的方法。BP算法过程包含从输出节点开始，反向地向第一隐含层传播由总误差引起的权值修正。177.7.2基于Hopfield网络的学习反馈神经网络，它是一种动态反馈系统，比前馈网络具有更强的计算能力。Hopfield网络是一种具有正反相输出的带反馈人工神经元。7.7神经学习187.8知识发现7.8.1知识发现的发展和定义知识发现的产生和发展知识发现最早是于1989年8月在第11届国际人工智能联合会议的专题讨论会上提出。知识发现的定义数据库中的知识发现是从大量数据中辨识出有