资源描述：
《深度学习科普和实战肖达》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、深度学习科普和实战肖达AgendaAtwominutestourofDLfundamentalsDLinActionwithGPU/Theano/Pylearn2DeepLearninginaNutshell深度学习管窥对黑盒子的限定深度：多层非线性信息处理Input=>L1=>L2=>…=>Ln=>Output学习：内部结构通过学习涌现原始数据对数据的理解（表示）和判断（分类）机器学习与特征表示每层从上层输出中提取特征从原始数据直到分类器，各层结构基本相同所有层的特征都用数据训练得到层次特征学习Layer1Layer2Layer3SimpleClassifierdata人工设计特征提取可训练
2、分类器图像/视频/语音目标分类以监督学习为例，假设我们有训练样本集(xi,yi)，神经网络算法能够提供一种非线性的假设模型hw,b(x)，它具有参数W,b，以此拟合数据这个“神经元”是一个以x1,x2,x3及截距+1为输入值的运算单元，其输出为函数被称为“激活函数”这里我们选用sigmoid函数作为激活函数单个神经元&逻辑回归（LR）神经网络就是将许多个单一“神经元”联结在一起下图神经网络的参数为：神经网络反向传播算法（Back-Prop）计算每个样本的损失函数（实际输出与预期输出的差别）对各参数的梯度应用链式求导法则8Rumelhartetal.Nature,1986学习过程1、前向传播激励
3、响应2、和目标比较得到损失3、反向传播修正权重数据获取问题训练依赖有标签数据，通常是稀缺的局部极值问题多层非线性->求解一个高度非凸的优化问题，非常容易陷入很坏的局部最小梯度弥散问题当深度较深时，梯度传到前面的时候严重衰减，前几层不能有效训练，训练速度很慢训练深层神经网络的问题AgendaAtwominutestourofDLfundamentalsDLinActionwithGPU/Theano/Pylearn2WhatyouneedAnoff-the-shelfPCwith650w+powersupplyAGPU(GTX580/780/Titan)GetfamiliarwithLinux,
4、PythonandNumpyTotalcost<8k￥“DL不再是高富帅的专利，GPU+Theano乃我等屌丝之福音。”—byXingyuanOpensoucelibrariesTheanobyBengio'sgroup@U.MontrealtransparentuseofGPUautomaticgradientcomputationpylearn2high-levelDLlibrarybasedonTheanocontainmostbuildingblocksneededforDLexperimentscontainacuda-convnetwrappercuda-convnetbyHint
5、on'sgroup@U.TorontoVERYfastC++/CUDAimplementationofconvolutionalneuralnetworksnotauser-friendlylibraryHowtolaunchaDLexperimentin5minutesSpecify3thingsinmy_exp.yamldatasetmodeltrainingalgorithmexec"train.pymy_exp.yaml"Anexampleyamlfiledataset:&train!obj:pylearn2.datasets.cifar10.CIFAR10{toronto_prepr
6、o:True,which_set:'train',one_hot:1,axes:['c',0,1,'b'],start:0,stop:40000},model:!obj:pylearn2.models.mlp.MLP{batch_size:128,input_space:!obj:pylearn2.space.Conv2DSpace{shape:[32,32],num_channels:3,axes:['c',0,1,'b'],},layers:[!obj:pylearn2.models.maxout.MaxoutConvC01B{layer_name:'conv1',pad:2,num_ch
7、annels:32,num_pieces:1,kernel_shape:[5,5],pool_shape:[3,3],pool_stride:[2,2],irange:.01,min_zero:True,tied_b:True,max_kernel_norm:9.9,},!obj:pylearn2.models.maxout.MaxoutConvC01B{layer_name:'conv2',al
