一天搞懂深度学习

《一天搞懂深度学习》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、深度学习智慧融入街镇目录content深度学习概述第一章深度学习应用研究第二章总结与展望第三章深度学习概述第一章历史与背景基本思想经典模型1-1历史与背景假设我们要让程序判断下面的图像是否为猫：判断图像是否为猫的规则该怎么描述？用枚举的方法，即为每张可能的图像对应一个结果（是猫，不是猫），根据这个对应规则进行判定。对于高度和宽度都为256像素的黑白图像，如果每个像素值的值是0-255之间的整数，根据排列组合原理，所有可能的图像数量为：所以，与其总结好知识告诉人工智能，还不如让人工智能自己去学习知识。要识别猫的图像，可以采集大量的图像样本，其中一类样本图像为猫，另外的不是猫。然后把这些标

2、明了类别的图像送入机器学习程序中进行训练。——机器学习1-1历史与背景机器学习发展阶段1980s：登上历史舞台1990-2012：走向成熟和应用2012：深度学习时代神经网络卷土重来1980年机器学习作为一支独立的力量登上了历史舞台。典型的代表是：1984：分类与回归树1986：反向传播算法1989：卷积神经网络代表性的重要成果有：1995：支持向量机（SVM）1997：AdaBoost算法1997：循环神经网络（RNN）和LSTM2000：流形学习2001：随机森林在与SVM的竞争中，神经网络长时间内处于下风，直到2012年局面才被改变。由于算法的改进以及大量训练样本的支持，加上计算

3、能力的进步，训练深层、复杂的神经网络成为可能，它们在图像、语音识别等有挑战性的问题上显示出明显的优势。1958:Perceptron(linearmodel)1969:Perceptronhaslimitation1980s:Multi-layerperceptronDonothavesignificantdifferencefromDNNtoday1986:BackpropagationUsuallymorethan3hiddenlayersisnothelpful1989:1hiddenlayeris“goodenough”,whydeep?2006:RBMinitializati

4、on2009:GPU2011:Starttobepopularinspeechrecognition2012:winILSVRCimagecompetition2015.2:Imagerecognitionsurpassinghuman-levelperformance2016.3:AlphaGObeatsLeeSedol2016.10:SpeechrecognitionsystemasgoodashumansUpsanddownsofDeepLearning1-1历史与背景1-1历史与背景1-1历史与背景1-1历史与背景1-1历史与背景Step1:defineasetoffuncti

5、onStep2:goodnessoffunctionStep3:pickthebestfunction深度学习原理NeuralNetwork1-2基本思想NeuralNetwork“Neuron”DifferentconnectionleadstodifferentnetworkstructuresNeuralNetwork1-2基本思想8layers19layers22layersAlexNet(2012)VGG(2014)GoogleNet(2014)16.4%7.3%6.7%Deep=Manyhiddenlayers1-2基本思想AlexNet(2012)VGG(2014)Goo

6、gleNet(2014)152layers3.57%ResidualNet(2015)Taipei101101layers16.4%7.3%6.7%Deep=ManyhiddenlayersSpecialstructure1-2基本思想…………………………………………y1y2yMNeuralNetworkW1W2WLb2bLxa1a2yyxb1W1x+b2W2+bLWL+…b1…1-2基本思想…………………………………………y1y2yMOutputLayerHiddenLayersInputLayerFeatureextractorreplacingfeatureengineering

7、=Multi-classClassifierSoftmax1-2基本思想Step1:defineasetoffunctionStep2:goodnessoffunctionStep3:pickthebestfunctionNeuralNetwork1-2基本思想………………………………y1y2y10CrossEntropy“1”……100……targetSoftmax……Givenasetofparameters1-2基本思想Step1:def