深度学习——机器学习领域的新热点

《深度学习——机器学习领域的新热点》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、动态第 9 卷第 7 期2013 年 7 月深度学习——机器学习领域的新热点胡晓林朱军关键词：深度学习清华大学深度学习目前受到了前所未有的关注。多家重工智能领域的重要影响力——他是人工智能的奠基要的信息技术公司（如微软、谷歌等）相继宣布在人之一、并于1969年获得图灵奖，这本书令人工语音识别、图像处理等应用领域取得突破性进展；神经网络的研究进入了长达10多年的“冬天”。事重要媒体（如《纽约时报》）对此多次宣传报道；百实上，如果把单层感知机堆成多层（称为多层感知度公司还在2013年1月成立了深度学习研究院(the机，如图1所示

2、），是可以求解线性不可分问题的。InstituteofDeepLearning,IDL)。《东方早报》对此然而当时缺乏有效的算法，尽管1974年哈佛大学评论道：“IDL燃起的这把新火苗势必将在这个寒冬的博士生保罗·维博思(PaulWerbos)提出了比较有[2]里点燃中国移动互联网的生机。”那么，深度学习效的反向传播(backpropagation,BP)算法，但并到底是什么？它能担当起这一重任吗？要弄明白这没有引起学术界的重视。直到1986年加拿大多伦些问题，还得从人工神经网络说起。多大学的杰夫·希顿(GeoffHinto

3、n)等人重新发现深度学习的前世今生输出层多层感知机人工神经网络起源于20世纪40年代，至今已有70年历史。第一个神经元模型是1943年麦卡洛克(McCulloch)和皮茨(Pitts)提出的，称为阈值逻隐层辑(thresholdlogic)，它可以实现一些逻辑运算的功能。1958年罗森布拉特(Rosenblatt)提出了简单的神经网络模型——感知机(perceptron)，本质上这是一个线性分类器。1969年明斯基(Minsky)和帕拍特(Papert)在所著的《感知机》中指出：(1)单层感知输入层机不能实现“异或”(XOR

4、)功能（即不能解决线性图1多层感知机（每个神经元接受下层神经元的输入，不可分问题）；(2)计算机能力有限，不能处理神经1与对应的权值相乘并加上一个偏置，通过sigmoid函数转换[1]网络所需要的长时间运行过程。鉴于明斯基在人后将值传给上层神经元）1即f(x)=1/(1exp(-x))，神经元的非线性作用函数。64第 9 卷第7 期2013 年 7 月（如图2所示），本质上是一个概率图模型。输入层隐层与隐层之间是全连接，但层内神经元之间没有相互连接。每个神经元要么激活（值为1）要么不激深度学习——机器学习领域的新热点活（值为

5、0），激活的概率满足sigmoid函数。受限玻尔兹曼机的优点是给定一层神经元的状态时，另外一层神经元的状态是相互独立的。这对于做随机输入层采样来说比较方便，可以分别固定一层，采样另一图2受限玻尔兹曼机的结构示意图层，交替进行。理论上所有神经元需要采样无穷多次后才能进行权值的更新，这种方法称为对比分歧[3]这一算法，人工神经网络才再次受到重视。(contrastivedivergence,CD)算法。由于该算法计算但是反向传播算法在神经网络的层数增多时很太慢，于是希顿等人提出了一个近似方法——CD-n[6]容易陷入局部最优解，

6、也很容易过拟合。在此后的算法，只需采样n次后就可更新一次权值。当学20年里，反向传播算法唯一算得上成功的案例可能习完一个受限玻尔兹曼机模型后，算法就固定权值，只有美国纽约大学的亚恩·乐昆(YannLeCun)于再在上面叠加一层新的隐层单元，使原来受限玻尔[4]1998年提出的卷积神经网络。由于其特殊的结构，兹曼机的隐层变成它的输入层，这样就构造了一个这个网络在一些数据集上（如手写体数字识别）取新的受限玻尔兹曼机，之后，再用同样的方法学习到了很好的效果。它的权值。依此类推，可以叠加出多个受限玻尔兹20世纪90年代，弗拉基米尔瓦

7、普内克(Vladimir曼机，从而构成一个深度信念网络。Vapnik)提出了支持向量机(supportvectormachine,将受限玻尔兹曼机学习到的权值作为这个深度SVM)。虽然它是一个特殊的两层神经网络，但因其信念网络的初始权值，再用反向传播算法进行学习，具有高效的学习算法，且没有局部最优的问题，使就形成了深度信念网络的学习方法。图3的左边给[7]得很多神经网络的研究者转向支持向量机的研究，出一个例子。这个网络有4层，能将一个高维的多层前馈神经网络的研究逐渐受到冷落。图像信号压缩到30维，即最顶层的神经元个数为30。

8、我们还可以把这个网络对称展开，将30维回深度信念网络退到原来的高维信号，这样就有了一个8层的网络2006年杰夫·希顿研究组提出了深度信念网络（见图3的中间）。如果将该网络用于信号压缩，就[5](deepbeliefnetwork)，神经网络的研究开始焕发出可以令该网络的目标输出等于输入，再