chapter1机器学习概述

《chapter1机器学习概述》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Chapter1机器学习概述1.1什么是机器学习？a)Samule：让计算机拥有自主学习的能力，而无须对其进行事无巨细的编程b)TomM.Mitchell：计算机程序如果通过某种方法，利用经验E，提高在任务T上的性能(以P为评价标准)，则可认为该程序从经验E中进行了学习。c)NilsJ.Nilsson：机器在结构、程序、数据等方面发生了基于外部信息的某种改变，而这种改变可以提高该机器在未来工作中的预期性能。总结：l上述这些定义本质上是一致的，即认为机器学习是通过接收外界信息(包括观察样例、外来监督、交互反馈等)，获得一系列知识、规则、方法和技能的过程1.2机

2、器学习的基本框架a)知识：人类已经获得的可形式化的某种理性表达，表达可以是确定的，也可以是概率的；可以是全局的，也可以是局部的（很多时候，这些知识被称为先验知识）b)经验：指机器在运行环境中得到的反馈，反馈不具有条理性，有有用的，也有没用的。总结：l先验知识和后天经验相结合的信息处理方式是现代机器学习的基本特征之一；l在人类知识(HumanKnowledge)和实际经验(EmpiricalEvidence)结合在一起的计算模式中，我们依赖知识设计合理的学习结构，利用实际经验对学习结构进行调整，实现既定学习目标最优化。c)学习目标分类：应用角度：感知任务、归纳

3、任务、生成任务技术角度：预测任务（包括：回归、分类）、描述任务（聚类、概率估计）目标函数：均方误差MSE（回归任务）、交叉熵crossentropy（分类任务）、Fisher准则、稀疏性、信息量、最小因素错误准则。d)学习结构（一般称为“模型”）：函数、网络（神经网络、概率图）、规则集、有限状态自动机、语法结构。总结：定义学习结构、本身就是对先验知识进行形式化的过程。e)训练数据：数据是经验的累积，利用数据对系统进行学习可以更新先验知识、提高系统可用性。数据的质量、数量和对实际场景的覆盖程度都会直接影响学习的结果。f)学习方法：学习方法是学习过程的具体实现，

4、即算法。一般将算法依是否需要人为标注分为有监督学习(SupervisedLearning)、无监督学习(UnsupervisedLearning)、半监督学习(Semi-SupervisedLearning)和增强学习(Reinforcementlearning)。依优化方法分类，可分为直接求解(如PCA模型中求解数据协方差矩阵的特征向量)、数值优化(如神经网络中的梯度下降算法)和遗传进化(如协同学习中的鸟群算法)等。1.3机器学习流派a)符号学派：所有智能行为都可以被简化成在一个逻辑系统中的符号操作过程。l优点：该方法在受限领域中表现出明显优势，因为在受限

5、领域内，知识总结可以非常细致完备，而且很少有新知识加入，因此可以构造一个高精度的推理系统。事实上符号方法取得最大成功的也是在这些领域，如定理证明、路径优化、领域专家系统等。l缺点：这些学习通常受到很严格的限制，无法摆脱既有知识框架的约束。当领域知识变得宽泛复杂以后，符号方法越来越难以实现；符号方法的一个明显缺陷是对不确定性的描述能力不足。b)贝叶斯学派：他们认为所有事件都是不确定的，因此要用随机变量来描述;同时，不同事件之间的关系也是不确定的，也应该用概率形式来描述。l优点：和符号方法相比，贝叶斯方法引入的概念是革命性的:它引入了随机变量，对事件的随机性有了

6、基本描述手段;它用条件概率来描述事件之间的关系，对规则上的不确定性具有天然描述能力;它将复杂事件之间的关系统一到概率框架中，将演绎过程归结为边际概率(MarginalDistribution)计算，将推理过程归结为后验概率(PosteriorDistribution)计算，简洁而自洽l缺点：推理过程中计算会比较复杂；简单的概率结构会降低模型对实际问题的描述能力；在复杂问题上，两个变量之间是否存在关系、存在何种关系，通常只有领域专家才能确定，给应用带来了某种局限性。c)连接学派：连接学派也称为神经网络学派，其基本思想是基于大量同质结点的连接网络来模拟智能行为。

7、l与贝叶斯学派的区别与共同点：n共同点：都依赖一个结点网络n区别：1、贝叶斯学派每个结点有清晰定义，是不同质的；而连接学派中的结点是同质的，不代表具体事件。2、贝叶斯中结点都是随机变量，具有概率意义；而连接学派中结点更像计算结点，较少具有概率意义。l总结：结点的特征同质不同质兼具贝叶斯和神经网络的概率模随机贝叶斯方法型(如：玻尔兹曼机)不随机神经网络方法符号学派方法d)进化仿生学派：在进化论者看来，真正有价值的学习在于自然选择;与其辛苦地做后验概率计算或反向递度传播，不如让电脑模拟出各种模型结构和参数，检测基于这些不同结构和参数得到的模型性能，优秀的留下，不

8、好的淘汰。（没有学习结构，这是一种学习方法）l遗传算