资源描述：
《人工神经网络深度学习.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、人工神经网络及其应用第七讲深度学习主讲人：方涛第七讲深度学习主讲内容§7.1研究背景§7.2从BP网络看深度学习§7.3几种典型的深度学习模型§7.4开源深度学习框架§7.5深度学习的未来§7.1研究背景约翰·麦卡锡（1927-2011）LISP之父—不走寻常路的常识逻辑学家1956年，约翰.麦卡锡召集了一次会议来讨论人工智能未来的发展方向，开启了AI的发展2016年---人工智能（AI）奠基60周年21世纪初，“深度学习”的出现，AI研究获得了长足的进步没有大数据，没有“大计算”，就没有人工智能的今
2、天！MarvinMinsky—人工智能之父和框架理论的创立者1927-2016MITAILab创始人之一1970年获得图灵奖美国工程院和美国科学院院士在近60年的人工智能历史中，马文-明斯基一直是一位闪耀着耀眼光彩的杰出的人工智能权威，是当之无愧的人工智能之父。（李德毅院士）明斯基在1950年进入普林斯顿大学攻读数学系的博士研究生学位，比我晚一年。我们很快意识到，我们两人都对人工智能很感兴趣。事实上，当时明斯基已经对如何实现人工智能颇有想法了，这一点在之后他设计和建造的世界上第一个神经网络模拟器Sna
3、re上得到了证实。（JohnMcCarthy人工智能先驱，LISP语言之父，图灵奖获得者）1969：Perceptron（感知器）---神经网络的局限性（深度学习的前身）§7.1研究背景2016年,阿尔法狗（AlphaGo）4:1大胜围棋9段李世石高手，AI重大历史时刻“监督学习的策略网络（PolicyNetwork）”通过13层全连接网络，反复训练围棋棋盘布局，调整参数，以最佳概率预测落子选择（MovePicker），如何下棋子“价值网络（ValueNetwork）”给定棋子位置，预测每一个棋手赢棋
4、的可能，就是计算局面§7.1研究背景主要设计者----位于伦敦Google旗下DeepMind公司大卫·席尔瓦（DavidSilver）----剑桥大学计算机科学学士，硕士，加拿大阿尔伯塔大学计算机科学博士黄士杰（AjaHuang），台湾交通大学计算机科学学士，台湾师范大学计算机科学硕士和博士，加拿大阿尔伯塔大学计算机科学博士后§7.1研究背景GeoffreyE.Hinton加拿大多伦多大学教授专注于神经网络几十年，1985年，提出Boltzmann机1986年，提出受限Boltzmann机、BP算法
5、2006年，提出神经网络进行降维开启了深度学习时代，并在随后的ImageNet图片识别的比赛，取得了非常有说服力的结果（74%->85%），震撼了学术界◆Hinton,G.andSalakhutdinov,R.(2006).Reducingthedimensionalityofdatawithneuralnetworks.Science,313(5786):504–507.◆Hinton,G.E.(2002).Trainingproductsofexpertsbyminimizingcontrasti
6、vedivergence.NeuralComp.,14(8):1771–1800◆Hinton,G.E.,Dayan,P.,Frey,B.J.,andNeal,R.M.(1995).Thewake-sleepalgorithmforunsupervisedneuralnetworks.Science,268:1158–1160◆Hinton,G.E.andSejnowski,T.E.(1986).LearningandrelearninginBoltzmannmachines.InParallelDi
7、stributedProcessing,volume1,pages282–317.MITPress◆Rumelhart,Hinton,Williams,LearningRepresentationsbyBack-propagatingerrors,Nature,1986,323(6088):533-536AndrewNg斯坦福大学教授2012年6月,《纽约时报》披露了GoogleBrain项目大规模计算机系统方面的世界顶尖专家JeffDean用16000个CPUCore的并行计算平台训练一种称为“深度
8、神经网络”（DNN，DeepNeuralNetworks）的机器学习模型（内部共有10亿个节点)在语音识别和图像识别等领域获得了巨大的成功§7.1研究背景2012年11月，微软公开演示全自动同声传译系统深度学习,讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成，效果非常流畅§7.1研究背景2013年1月，百度创始人兼CEO李彦宏高调宣布成立“深度学习研究所”（IDL，InstitueofDeepLearning§7.1研
