(2013)深度学习——机器学习领域的新热点

(2013)深度学习——机器学习领域的新热点

ID:31901824

大小:4.41 MB

页数:6页

时间:2019-01-27

(2013)深度学习——机器学习领域的新热点_第1页
(2013)深度学习——机器学习领域的新热点_第2页
(2013)深度学习——机器学习领域的新热点_第3页
(2013)深度学习——机器学习领域的新热点_第4页
(2013)深度学习——机器学习领域的新热点_第5页
资源描述:

《(2013)深度学习——机器学习领域的新热点》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

1、动态第 9 卷第 7 期2013 年 7 月深度学习——机器学习领域的新热点胡晓林朱军关键词:深度学习清华大学深度学习目前受到了前所未有的关注。多家重工智能领域的重要影响力——他是人工智能的奠基要的信息技术公司(如微软、谷歌等)相继宣布在人之一、并于1969年获得图灵奖,这本书令人工语音识别、图像处理等应用领域取得突破性进展;神经网络的研究进入了长达10多年的“冬天”。事重要媒体(如《纽约时报》)对此多次宣传报道;百实上,如果把单层感知机堆成多层(称为多层感知度公司还在2013年1月成立了深度学习研究院(the机,如图1所示),是可以求解线性不可分

2、问题的。InstituteofDeepLearning,IDL)。《东方早报》对此然而当时缺乏有效的算法,尽管1974年哈佛大学评论道:“IDL燃起的这把新火苗势必将在这个寒冬的博士生保罗·维博思(PaulWerbos)提出了比较有[2]里点燃中国移动互联网的生机。”那么,深度学习效的反向传播(backpropagation,BP)算法,但并到底是什么?它能担当起这一重任吗?要弄明白这没有引起学术界的重视。直到1986年加拿大多伦些问题,还得从人工神经网络说起。多大学的杰夫·希顿(GeoffHinton)等人重新发现深度学习的前世今生输出层多层感知

3、机人工神经网络起源于20世纪40年代,至今已有70年历史。第一个神经元模型是1943年麦卡洛克(McCulloch)和皮茨(Pitts)提出的,称为阈值逻隐层辑(thresholdlogic),它可以实现一些逻辑运算的功能。1958年罗森布拉特(Rosenblatt)提出了简单的神经网络模型——感知机(perceptron),本质上这是一个线性分类器。1969年明斯基(Minsky)和帕拍特(Papert)在所著的《感知机》中指出:(1)单层感知输入层机不能实现“异或”(XOR)功能(即不能解决线性图1多层感知机(每个神经元接受下层神经元的输入,不

4、可分问题);(2)计算机能力有限,不能处理神经1与对应的权值相乘并加上一个偏置,通过sigmoid函数转换[1]网络所需要的长时间运行过程。鉴于明斯基在人后将值传给上层神经元)1即f(x)=1/(1exp(-x)),神经元的非线性作用函数。64第 9 卷第7 期2013 年 7 月(如图2所示),本质上是一个概率图模型。输入层隐层与隐层之间是全连接,但层内神经元之间没有相互连接。每个神经元要么激活(值为1)要么不激深度学习——机器学习领域的新热点活(值为0),激活的概率满足sigmoid函数。受限玻尔兹曼机的优点是给定一层神经元的状态时,另外一层神

5、经元的状态是相互独立的。这对于做随机输入层采样来说比较方便,可以分别固定一层,采样另一图2受限玻尔兹曼机的结构示意图层,交替进行。理论上所有神经元需要采样无穷多次后才能进行权值的更新,这种方法称为对比分歧[3]这一算法,人工神经网络才再次受到重视。(contrastivedivergence,CD)算法。由于该算法计算但是反向传播算法在神经网络的层数增多时很太慢,于是希顿等人提出了一个近似方法——CD-n[6]容易陷入局部最优解,也很容易过拟合。在此后的算法,只需采样n次后就可更新一次权值。当学20年里,反向传播算法唯一算得上成功的案例可能习完一个

6、受限玻尔兹曼机模型后,算法就固定权值,只有美国纽约大学的亚恩·乐昆(YannLeCun)于再在上面叠加一层新的隐层单元,使原来受限玻尔[4]1998年提出的卷积神经网络。由于其特殊的结构,兹曼机的隐层变成它的输入层,这样就构造了一个这个网络在一些数据集上(如手写体数字识别)取新的受限玻尔兹曼机,之后,再用同样的方法学习到了很好的效果。它的权值。依此类推,可以叠加出多个受限玻尔兹20世纪90年代,弗拉基米尔瓦普内克(Vladimir曼机,从而构成一个深度信念网络。Vapnik)提出了支持向量机(supportvectormachine,将受限玻尔兹曼

7、机学习到的权值作为这个深度SVM)。虽然它是一个特殊的两层神经网络,但因其信念网络的初始权值,再用反向传播算法进行学习,具有高效的学习算法,且没有局部最优的问题,使就形成了深度信念网络的学习方法。图3的左边给[7]得很多神经网络的研究者转向支持向量机的研究,出一个例子。这个网络有4层,能将一个高维的多层前馈神经网络的研究逐渐受到冷落。图像信号压缩到30维,即最顶层的神经元个数为30。我们还可以把这个网络对称展开,将30维回深度信念网络退到原来的高维信号,这样就有了一个8层的网络2006年杰夫·希顿研究组提出了深度信念网络(见图3的中间)。如果将该网

8、络用于信号压缩,就[5](deepbeliefnetwork),神经网络的研究开始焕发出可以令该网络的目标输出等于输入,再

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。