第五章机器学习.ppt

《第五章机器学习.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第5章机器学习5.1机器学习的定义、研究意义与发展历史5.2机器学习的主要策略与基本结构5.3几种常用的学习方法5.4基于神经网络的学习15.1机器学习的定义和发展历史5.1.1机器学习的定义机器学习的定义顾名思义,机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门研究机器获取新知识和新技能,并识别现有知识的学问。25.1.2机器学习的发展史机器学习的发展分为4个时期第一阶段是在50年代中叶到60年代中叶，属于热烈时期。第二阶段在60年代中叶至70年代中叶，被称为机器学习的冷静时期。第三阶段从70年代中叶至80年

2、代中叶，称为复兴时期。机器学习的最新阶段始于1986年。3机器学习进入新阶段的表现机器学习已成为新的边缘学科并在高校形成课程。综合各种学习方法机器学习与人工智能问题的统一性观点正在形成。各种学习方法的应用范围不断扩大。数据挖掘和知识发现的研究已形成热潮。与机器学习有关的学术活动空前活跃。45.2机器学习的主要策略和基本结构5.2.1机器学习的主要策略按照学习中使用推理的多少，机器学习所采用的策略大体上可分为4种———机械学习、通过传授学习、类比学习和通过事例学习。机械学习传授学习策略类比学习系统通过事例学习策略55.2.2机器学习系统的基本结构1.学

3、习系统的基本结构环境学习知识库执行学习系统的基本结构62.影响学习系统设计的要素影响学习系统设计的最重要因素是环境向系统提供的信息，或者更具体地说是信息的质量。知识库是影响学习系统设计的第二个因素。知识的表示有特征向量、一阶逻辑语句、产生式规则、语义网络和框架等多种形式。75.3.1机械学习1.机械学习模式机械学习是最简单的学习方法。机械学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。它是一种最基本的学习过程。5.3常见的几种学习方法8存储计算推导归纳算法与理论机械记忆搜索规则数据化简级别图Lenat，Hayes-Roth，

4、和Klahr等人于1979年关于机械学习提出一种有趣的观点92.机械学习的主要问题存储组织信息：要采用适当的存储方式，使检索速度尽可能地快。环境的稳定性与存储信息的适用性问题：机械学习系统必须保证所保存的信息适应于外界环境变化的需要。存储与计算之间的权衡：对于机械学习来说很重要的一点是它不能降低系统的效率。7.3机械学习105.3.2解释学习解释学习过程和算法1986年米切尔（Mitchell）等人为基于解释的学习提出了一个统一的算法EBG：训练例子操作准则知识库新规则目标概念11EBG求解问题的形式可描述于下:给定：(1)目标概念描述TC；(2)训

5、练实例TE；(3)领域知识DT；(4)操作准则OC。求解：训练实例的一般化概括，使之满足：(1)目标概念的充分概括描述TC；(2)操作准则OC。125.3.3基于事例的学习当无法建立好的模型时，通过记录事例进行学习是一种可取的方法。这时，在信息被应用之前，不对它进行任何处理。采用基于事例的学习方法时，首先，任何时候都可以应用相容启发(consistencyheuristic)方法，把某个预先观察过的事物的特性赋给另一个从未见过的新事物。其次，学会如何应用K-维树迅速地找到特征空间内的最近邻物体。13最近邻物体的寻求(1)快速串行过程以对数次数求得最近

6、邻物体(2)并行硬件更快求得最近邻物体14定义：决策树是一种表示，是一种语义树。树上，(a)每个节点与一个可能回答集合有关。(b)每个非终叶节点与某个测试有关，该测试把它的可能回答集合分解为对应于不同测试结果的一些子集。(c)每个分支把一个具体的测试结果子集传给另一个节点。定义：k-维树是一种表示，它是一种决策树，树上，(a)可能回答集合由点组成，其中有个点可能是给定点的最近邻点。(b)每个测试规定一个坐标、一个阈值和一个围绕该阈值的不合点的中性区。(c)每个测试根据每个点处在阈值的哪一边而把点的集合分为两组。155.3.4基于概念的学习归纳学习(i

7、nductivelearning)是研究最广的一种符号学习(symboliclearning)方法，它表示从例子设想出假设的过程。在进行归纳学习时，学习者从所提供的事实或观察到的假设进行归纳推理，获得某个概念。归纳推理是个从部分到全体，从特殊到一般的推理过程。从应用角度看，归纳学习可分为概念学习、概念聚集和启发学习3种。16概念学习(conceptlearning)研究遵循两条不同的路线，即有两种不同的观点。一种是基于工程方法的概念学习，它从可能的学习机理出发(不管这些机理是否存在于生命组织内)，试图试验并确定概念学习的工程方法。另一种是基于认知建模

8、的概念学习，极力开发出人类概念学习的计算理论。本节仅讨论概念学习问题，而且只从工程角度来研究基于概念的学习。