最新机器学习与深度学习.教学讲义PPT.ppt

《最新机器学习与深度学习.教学讲义PPT.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、机器学习与深度学习.目录机器学习的基础神经元网络深层神经元网络延伸和应用深层学习实现架构未来和思考小学生解方程a3+b=10a8+b=30a=?b=?正则化L2(Ridge)Regularization限制参数的大小，以避免过拟合正则化L1Regularization(Lasso)限制参数的大小，以避免过拟合Noclosedformforβ逻辑回归jG逻辑回归-参数训练jG训练目标函数：最大似然对数概率牛顿迭代：目录机器学习的基础神经元网络深层神经元网络延伸和应用深层学习实现架构未来和思考神经元网络单层前向网络两阶段回归或分类K-Class分类最底层为数据层最

2、上层为输出层中间层为隐含层这种简单的NN称为Perceptron神经元网络---输入层到隐含层中间层为输入层线性组合的某函数其中δ为激活函数:sigmoid神经元网络-激活函数δ为激活（Activation)函数(红线）0<δ<1δ(10v)δ(0.5v)δ(sv),s控制0点的激活强度当s0,δ-->线性函数神经元网络，隐含层到输出层输出层为中间层的线性组合回归问题K-Class分类问题，softmax函数训练神经元网络：参数集合及维度神经元网络参数集合θ训练神经元网络优化参数求导最小化目标函数：最小误差平方和及求导训练神经元网络--BackPropaga

3、tion梯度下降迭代算法输出层误差：δki隐含层误差：smiBP算法初始化参数θ两阶段算法：Two-Pass前向Forward-Pass：给定参数，计算输出值后向Backward-Pass:计算输出层误差，计算隐含层误差，更新参数BP算法图示（1985~）inputvectorhiddenlayersoutputsBack-propagateerrorsignaltogetderivativesforlearningCompareoutputswithcorrectanswertogeterrorsignal神经元网络小结目录机器学习的基础神经元网络深层神经元

4、网络延伸和应用深层学习实现架构未来和思考BP算法在深层神经元网络中的问题依赖于标注的训练数据目前大量数据为非标注数据训练时间长，很难规模化多层神经元网络训练很慢会停驻在性能较差的本地优化点浅层网络，该问题不明显深层网络，问题显著支持向量基（SVM)一个特殊的神经元网络StillPerceptron一个特殊的单隐含层网络每个训练案例用于构造一个特征，该特征用于测量改训练案例和测试案例的距离SVM训练选择自由特征集以及特征的权重1990-2010很多让放弃NN,选择SVMnon-adaptivehand-codedfeaturesoutputunitse.g.cl

5、asslabelsinputunitse.g.pixelsSketchofatypicalperceptronfromthe1960’sBombToy深层信任网络（DeepBeliefNet，DBN)是部分解决了以上问题的神经元网络谁重新激活了神经元网络？GeoffreyHinton出生于：1947专业：学士，心理学，1970，博士，人工智能，1978多伦多大学教授Google研究中心1986：神经元网络BP算法发明人之一深度学习主要贡献人IGETVERYEXCITEDWHENWEDISCOVERAWAYOFMAKINGNEURALNETWORKSBETTER

6、—ANDWHENTHAT’SCLOSELYRELATEDTOHOWTHEBRAINWORKS.’谁重新激活了神经元网络？NCAP:神经计算和自适应感知项目2004NCAPResearchersYoshuaBengioYannLecun(FaceBook)AndrewNg(Baidu)20~OthersCoreTeam深度学习的2006年，GeofferyHintonScience发表DBN文章。2012年，Hinton,ImageNet,26%-15%。2012年，AndrewNg和分布式系统顶级专家JeffDean，GoogleBrain项目，16000个

7、CPU核的并行,>10亿个神经元的深度神经网络2012年，微软首席研究官RickRashid在21世纪的计算大会上演示了一套自动同声传译系统2013年，Hinton->>Google;YannLeCun->>Facebook;用户图片信息提取2013年，百度成立了百度研究院及下属的深度学习研究所（IDL），2014年，AndrewNg->>Badidu可信任网络BeliefNets（BN）一个BN是一个由随机变量组成的有向非循环图一部分变量为可观察已知变量如何由已知变量推断出非观察变量的状态调整变量之间连接的参数优化：最大可能重新生成观察变量stochasti

8、chiddencausevisible