机器学习(深度学习)编年史

机器学习(深度学习)编年史

ID:22804207

大小:280.86 KB

页数:13页

时间:2018-10-31

机器学习(深度学习)编年史_第1页
机器学习(深度学习)编年史_第2页
机器学习(深度学习)编年史_第3页
机器学习(深度学习)编年史_第4页
机器学习(深度学习)编年史_第5页
资源描述:

《机器学习(深度学习)编年史》由会员上传分享,免费在线阅读,更多相关内容在应用文档-天天文库

1、机器学习编年史一、引言机器学习(MachineLearning,ML)可以认为是:通过数据,算法使得机器从大量历史数据中学习规律,从而对新样本做分类或者预测。它是人工智能(ArtificialIntelligence,AI)的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,主要使用归纳、综合的方法获取或总结知识。作为一门交叉领域学科,它涉及到概率论,统计学,凸分析,最优化,计算机等多个学科。专门研究计算机怎样模拟或实现人类的学习行为,从而获取新的知识或技能,重新组织已有的知识结构使之不断改

2、善自身的性能。本文将以时间为顺序,从两个大阶段介绍机器学习,第一部分介绍浅层学习阶段,第二部分介绍深层学习阶段,就是所谓的深度学习。二、浅层学习阶段1.ArthurSamuel1959年,IBMArthurSamuel的写出了可以学习的西洋棋程序,并发表了一篇名为《SomeStudiesinMachineLearningUsingtheGameofCheckers》的论文中,定义并解释了一个新词—机器学习(MachineLearning,ML)。将机器学习非正式定义为”在不直接针对问题进行编程的情况下,赋予

3、计算机学习能力的一个研究领域”。图1ArthurSamuel的西洋棋1957年,Rosenblatt发明了感知机(或称感知器,Perceptron)[1],是神经网络的雏形,同时也是支持向量机的基础,在当时引起了不小的轰动。感知机是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面。图2.1感知机算法其实设计感知器的初衷是制造一个识别用的机器

4、,而不是一个算法。虽然它的第一次实现是在IBM704上安装的软件中,但它随后在定制的硬件实现“Mark1感知器”。这台机器是用于图像识别,它拥有一个容量为400的光电池阵列,随机连接到“神经元”,连接权重使用电位编码,而且在学习期间由电动马达实施更新。图2.2Mark1感知器1960年,Widrow发明了Delta学习规则,即如今的最小二乘问题,立刻被应用到感知机中,并且得到了一个极好的线性分类器。Delta学习规则是一种简单的有导师学习算法,该算法根据神经元的实际输出与期望输出差别来调整连接权,其数学表示

5、如下:  1969年,Minskey提出了著名的XOR问题[2],论证了感知器在类似XOR问题的线性不可分数据的无力,以至于其后十年被称为“冷静时期”,给感知机画上了一个逗号,以洪荒之力将如火如荼将的ML暂时封印了起来。Rosenblatt在这之后两年郁郁而终与此也不无关系,虽然当时Rosenblatt才43岁,虽然Rosenblatt死于游艇意外事故……图3XOR问题1970年,SeppoLinnainmaa首次完整地叙述了自动链式求导方法(AutomaticDifferentiation,AD)[3],

6、是著名的反向传播算法(BackPropagation,BP)的雏形,但在当时并没有引起重视。图4AD算法流程图1974年,Werbos首次提出把BP算法的思想应用到神经网络,也就是多层感知机(MultilayerPerception,MLP)[4],并在1982年实现[5],就是现在通用的BP算法,促成了第二次神经网络大发展。MLP或者称为人工神经网络(ArtificialNeuralNetwork,ANN)是一个带有单隐层的神经网络。图5MLP模型1985-1986年,Rumelhart,Hinton等许

7、多神经网络学者成功实现了实用的BP算法来训练神经网络[6][7],并在很长一段时间内BP都作为神经网络训练的专用算法。图6反向传播算法效果图1986年,J.R.Quinlan提出了另一个同样著名的ML算法——决策树算法(ID3)[8],决策树作为一个预测模型,代表的是对象属性与对象值之间的一种映射关系,而且紧随其后涌现出了很多类似或者改进算法,如ID4,回归树,CART等。ID3算法是一种贪心算法,用来构造决策树。ID3算法起源于概念学习系统(CLS),以信息熵的下降速度为选取测试属性的标准,即在每个节点选

8、取还尚未被用来划分的具有最高信息增益的属性作为划分标准,然后继续这个过程,直到生成的决策树能完美分类训练样例。图7决策树算法1995年,YanLeCun提出了卷积神经网络(ConvolutionNeuralNetwork,CNN)[14],受生物视觉模型的启发,通常有至少两个非线性可训练的卷积层,两个非线性的固定卷积层,模拟视觉皮层中的V1,V2,Simplecell和Complexcell,在手写字识别等小规模

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。