深度学习基础教程.pdf

《深度学习基础教程.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、DeepLearning-NgUFLDL教程FromUfldl说明：本教程将阐述无监督特征学习和深入学习的主要观点。通过学习，你也将实现多个功能学习/深度学习算法，能看到它们为你工作，并学习如何应用/适应这些想法到新问题上。本教程假定机器学习的基本知识（特别是熟悉的监督学习，逻辑回归，梯度下降的想法），如果你不熟悉这些想法，我们建议你去这里机器学习课程(http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=MachineLearni

2、ng)，并先完成第II，III，IV章（到逻辑回归）。稀疏自编码器神经网络反向传导算法梯度检验与高级优化自编码算法与稀疏性可视化自编码器训练结果稀疏自编码器符号一览表Exercise:SparseAutoencoder矢量化编程实现矢量化编程逻辑回归的向量化实现样例神经网络向量化Exercise:Vectorization预处理：主成分分析与白化主成分分析白化实现主成分分析和白化Exercise:PCAin2DExercise:PCAandWhiteningSoftmax回归Softmax回归Exercise:

3、SoftmaxRegression自我学习与无监督特征学习自我学习Exercise:Self-TaughtLearningwbxDeepLearning-Ng建立分类用深度网络从自我学习到深层网络深度网络概览栈式自编码算法微调多层自编码算法Exercise:Implementdeepnetworksfordigitclassification自编码线性解码器线性解码器Exercise:LearningcolorfeatureswithSparseAutoencoders处理大型图像卷积特征提取池化Exercis

4、e:ConvolutionandPooling注意:这条线以上的章节是稳定的。下面的章节仍在建设中，如有变更，恕不另行通知。请随意浏览周围并欢迎提交反馈/建议。混杂的MATLABModulesStyleGuideUsefulLinks混杂的主题数据预处理用反向传导思想求导进阶主题:稀疏编码稀疏编码稀疏编码自编码表达Exercise:SparseCoding独立成分分析样式建模独立成分分析Exercise:IndependentComponentAnalysis其它wbxDeepLearning-NgConvol

5、utionaltrainingRestrictedBoltzmannMachinesDeepBeliefNetworksDenoisingAutoencodersK-meansSpatialpyramids/MultiscaleSlowFeatureAnalysisTiledConvolutionNetworks英文原文作者:AndrewNg,JiquanNgiam,ChuanYuFoo,YifanMai,CarolineSuenLanguage:EnglishRetrievedfrom"http://deep

6、learning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B"Thispagewaslastmodifiedon7April2013,at18:26.wbxDeepLearning-Ng神经网络FromUfldlContents1概述2神经网络模型3中英文对照4中文译者概述以监督学习为例，假设我们有训练样本集，那么神经网络算法能够提供一种复杂且非线性的假设模型，它具有参数，可以以此参数来拟合我们的数据。为了描述神经网络，我们先从最简单的神经网络讲起，这

7、个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：这个“神经元”是一个以及截距为输入值的运算单元，其输出为，其中函数被称为“激活函数”。在本教程中，我们选用sigmoid函数作为激活函数可以看出，这个单一“神经元”的输入－输出映射关系其实就是一个逻辑回归（logisticregression）。虽然本系列教程采用sigmoid函数，但你也可以选择双曲正切函数（tanh）：wbxDeepLearning-Ng13-4-8-Ufldl以下分别是sigmoid及tanh的函数图像函数是sigmo

8、id函数的一种变体，它的取值范围为，而不是sigmoid函数的。注意，与其它地方（包括OpenClassroom公开课以及斯坦福大学CS229课程）不同的是，这里我们不再令。取而代之，我们用单独的参数来表示截距。最后要说明的是，有一个等式我们以后会经常用到：如果选择，也就是sigmoid函数，那么它的导数就是（如果选择tanh函数，那它的导数就是，你可以根据sigmoid（或tanh）