深度学习-循环神经网络.ppt

《深度学习-循环神经网络.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、深度学习之循环神经网络陈鹏1目录1：深度学习发展史2：从神经网络到深度学习3：循环神经网络基础4：自然语言处理基础（扩充知识）21：深度学习发展史3深度学习发展史SVMBoostingDecisiontreeKNN…NeuralnetworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012ComputervisionNLPSpeech……2014GeoffreyHinton1949Learningmodelofneurons1958PerceptronHebbRosenblattGeoffre

2、yHintonDBNCNNRBMRNN…机器学习第一次浪潮：机器学习第二次浪潮浅层学习模型(ShallowLearning)深度学习模型(DeepLearning)FirstWinterofNNSecondWinterofNN4深度学习（多层神经网络）神经网络神经元5synapsedendriteCellbodySynapticterminalsAxon轴突末梢突触树突细胞体轴突w1x1xnΣ线性动态系统激励函数own神经元是构成神经网络的最基本单元(构件),因此,首要任务是构造人工神经元模型。细胞体Cellbody树突dendrite突触synapse轴突

3、Axon来自其它神经元神经元模型6yθyaxox2x1xnw1w2wn•••w1x1xnΣ激励函数o=f(net)wnnet=WTX典型的激励函数(ActivationFunction)：线性函数，非线性斜面函数，阶跃函数，S型函数等。神经元模型7InputLayerHiddenLayerOutputLayerx1xMh1hLo1oNw11wm1wM1wmLwMLw1Lv11vl1vL1vLN神经网络一般形式•Nonlinearity非线性•ParallelProcessing并行处理•Input—OutputMapping输入输出匹配•Adaptivity

4、自适应性ocx2x1xnw1w2wn•••8最简单的神经网络：Perceptrons9SingleLayerPerceptronsybx2x1xMw1w2wM•••Rosenblatt,1957u>0u<010两类样本：白色和黑色分类错误的样本用红色轮廓目标：分类正确所有样本，直到没有红色轮廓的样本。W=[1.661.11]b=[1.25]W=[1.541.28]b=[-0.64]W=[1.161.63]b=[-1.8]W=[1.661.11]b=[-0.823]W=[1.49-1.39]b=[-0.743]SingleLayerPerceptrons：迭代

5、过程where?11SingleLayerPerceptrons：局限性Theobjectiveisonlytofindthelinethatseparatestwolinearlyseparableclasses.Assoonasthefirstsolutionweightsvector,whichseparatesallthedatapairscorretly,isfound,therewillbenofurtherchangesofthevector.So,theperceptronlearningisnotanoptimizationmethod.线

6、性可分问题Problems:itcannotseparatepatternswhenthereisanoverlappingofdataorwhenclassesarenotlinearlySeparable不能处理线性不可分问题x10011x20101d0110异或问题：120001AND1011OR1010XORx1x2y000100010111x1x2y000101011111x1x2y000101011110LinearSeparableProblem131010XORSingleLayerPerceptronsForXORproblem:1.int

7、roducingoneadditionalneuroninaspecialway;2.usingdifferentiableactivationfunction;◙一个单级网络可以将平面划分成两部分，用多个单级网组合在一起，就可以构成一个两级网，该网络可以被用来在平面上划分出一个封闭或者开放的凸域来；◙采用特殊的激励函数。142：从神经网络到深度学习15神经网络深度学习网络相似之处：不同之处：模拟人脑的分层网络结构；强调深度的重要性；突出特征学习的重要性；（逐层抽象）训练机制；16深度学习思想起源：人脑视觉机理后脑皮层的不同视觉神经元，与瞳孔所受刺激之间，存

8、在某种对应关系。17人的视觉系统的信息处理是分级的；