(2013)深度学习——机器学习领域的新热点

《(2013)深度学习——机器学习领域的新热点》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、动态第 9 卷第 7 期2013 年 7 月深度学习——机器学习领域的新热点胡晓林朱军关键词：深度学习清华大学深度学习目前受到了前所未有的关注。多家重工智能领域的重要影响力——他是人工智能的奠基要的信息技术公司（如微软、谷歌等）相继宣布在人之一、并于1969年获得图灵奖，这本书令人工语音识别、图像处理等应用领域取得突破性进展；神经网络的研究进入了长达10多年的“冬天”。事重要媒体（如《纽约时报》）对此多次宣传报道；百实上，如果把单层感知机堆成多层（称为多层感知度公司还在2013年1月成立了深度学习研究院(the机，如图1所示），是可以求解线性不可分

2、问题的。InstituteofDeepLearning,IDL)。《东方早报》对此然而当时缺乏有效的算法，尽管1974年哈佛大学评论道：“IDL燃起的这把新火苗势必将在这个寒冬的博士生保罗·维博思(PaulWerbos)提出了比较有[2]里点燃中国移动互联网的生机。”那么，深度学习效的反向传播(backpropagation,BP)算法，但并到底是什么？它能担当起这一重任吗？要弄明白这没有引起学术界的重视。直到1986年加拿大多伦些问题，还得从人工神经网络说起。多大学的杰夫·希顿(GeoffHinton)等人重新发现深度学习的前世今生输出层多层感知

3、机人工神经网络起源于20世纪40年代，至今已有70年历史。第一个神经元模型是1943年麦卡洛克(McCulloch)和皮茨(Pitts)提出的，称为阈值逻隐层辑(thresholdlogic)，它可以实现一些逻辑运算的功能。1958年罗森布拉特(Rosenblatt)提出了简单的神经网络模型——感知机(perceptron)，本质上这是一个线性分类器。1969年明斯基(Minsky)和帕拍特(Papert)在所著的《感知机》中指出：(1)单层感知输入层机不能实现“异或”(XOR)功能（即不能解决线性图1多层感知机（每个神经元接受下层神经元的输入，不

4、可分问题）；(2)计算机能力有限，不能处理神经1与对应的权值相乘并加上一个偏置，通过sigmoid函数转换[1]网络所需要的长时间运行过程。鉴于明斯基在人后将值传给上层神经元）1即f(x)=1/(1exp(-x))，神经元的非线性作用函数。64第 9 卷第7 期2013 年 7 月（如图2所示），本质上是一个概率图模型。输入层隐层与隐层之间是全连接，但层内神经元之间没有相互连接。每个神经元要么激活（值为1）要么不激深度学习——机器学习领域的新热点活（值为0），激活的概率满足sigmoid函数。受限玻尔兹曼机的优点是给定一层神经元的状态时，另外一层神

5、经元的状态是相互独立的。这对于做随机输入层采样来说比较方便，可以分别固定一层，采样另一图2受限玻尔兹曼机的结构示意图层，交替进行。理论上所有神经元需要采样无穷多次后才能进行权值的更新，这种方法称为对比分歧[3]这一算法，人工神经网络才再次受到重视。(contrastivedivergence,CD)算法。由于该算法计算但是反向传播算法在神经网络的层数增多时很太慢，于是希顿等人提出了一个近似方法——CD-n[6]容易陷入局部最优解，也很容易过拟合。在此后的算法，只需采样n次后就可更新一次权值。当学20年里，反向传播算法唯一算得上成功的案例可能习完一个

6、受限玻尔兹曼机模型后，算法就固定权值，只有美国纽约大学的亚恩·乐昆(YannLeCun)于再在上面叠加一层新的隐层单元，使原来受限玻尔[4]1998年提出的卷积神经网络。由于其特殊的结构，兹曼机的隐层变成它的输入层，这样就构造了一个这个网络在一些数据集上（如手写体数字识别）取新的受限玻尔兹曼机，之后，再用同样的方法学习到了很好的效果。它的权值。依此类推，可以叠加出多个受限玻尔兹20世纪90年代，弗拉基米尔瓦普内克(Vladimir曼机，从而构成一个深度信念网络。Vapnik)提出了支持向量机(supportvectormachine,将受限玻尔兹曼

7、机学习到的权值作为这个深度SVM)。虽然它是一个特殊的两层神经网络，但因其信念网络的初始权值，再用反向传播算法进行学习，具有高效的学习算法，且没有局部最优的问题，使就形成了深度信念网络的学习方法。图3的左边给[7]得很多神经网络的研究者转向支持向量机的研究，出一个例子。这个网络有4层，能将一个高维的多层前馈神经网络的研究逐渐受到冷落。图像信号压缩到30维，即最顶层的神经元个数为30。我们还可以把这个网络对称展开，将30维回深度信念网络退到原来的高维信号，这样就有了一个8层的网络2006年杰夫·希顿研究组提出了深度信念网络（见图3的中间）。如果将该网

8、络用于信号压缩，就[5](deepbeliefnetwork)，神经网络的研究开始焕发出可以令该网络的目标输出等于输入，再