机器学习与深度学习

《机器学习与深度学习》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、机器学习与深度学习目录机器学习的基础神经元网络深层神经元网络延伸和应用深层学习实现架构未来和思考小学生解方程a3+b=10a8+b=30a=?b=?高中，大学---矩阵，矢量线性回归及分类机器学习背景Y是一个N维向量XT是一转置矩阵N*(p+1)β是一个p+1的向量线性回归:，给定X,和Y,计算β以最佳匹配X,Y的关系。N>>p+1。β即为线性回归模型的参数。βk表明对应的维度，Xk的重要性什么为最佳匹配？参数估计方法一：最小化误差平方和机器学习背景正则化L2(Ridge)Regularization限制参数的大小，以避免过拟合正则化

2、L1Regularization(Lasso)限制参数的大小，以避免过拟合Noclosedformforβ逻辑回归jG逻辑回归-参数训练jG训练目标函数：最大似然对数概率牛顿迭代：目录机器学习的基础神经元网络深层神经元网络延伸和应用深层学习实现架构未来和思考神经元网络单层前向网络两阶段回归或分类K-Class分类最底层为数据层最上层为输出层中间层为隐含层这种简单的NN称为Perceptron神经元网络---输入层到隐含层中间层为输入层线性组合的某函数其中δ为激活函数:sigmoid神经元网络-激活函数δ为激活（Activation)函

3、数(红线）0<δ<1δ(10v)δ(0.5v)δ(sv),s控制0点的激活强度当s0,δ-->线性函数神经元网络，隐含层到输出层输出层为中间层的线性组合回归问题K-Class分类问题，softmax函数训练神经元网络：参数集合及维度神经元网络参数集合θ训练神经元网络优化参数求导最小化目标函数：最小误差平方和及求导训练神经元网络--BackPropagation梯度下降迭代算法输出层误差：δki隐含层误差：smiBP算法初始化参数θ两阶段算法：Two-Pass前向Forward-Pass：给定参数，计算输出值后向Backward-Pa

4、ss:计算输出层误差，计算隐含层误差，更新参数BP算法图示（1985~）inputvectorhiddenlayersoutputsBack-propagateerrorsignaltogetderivativesforlearningCompareoutputswithcorrectanswertogeterrorsignal神经元网络小结目录机器学习的基础神经元网络深层神经元网络延伸和应用深层学习实现架构未来和思考BP算法在深层神经元网络中的问题依赖于标注的训练数据目前大量数据为非标注数据训练时间长，很难规模化多层神经元网络训练很

5、慢会停驻在性能较差的本地优化点浅层网络，该问题不明显深层网络，问题显著支持向量基（SVM)一个特殊的神经元网络StillPerceptron一个特殊的单隐含层网络每个训练案例用于构造一个特征，该特征用于测量改训练案例和测试案例的距离SVM训练选择自由特征集以及特征的权重1990-2010很多让放弃NN,选择SVMnon-adaptivehand-codedfeaturesoutputunitse.g.classlabelsinputunitse.g.pixelsSketchofatypicalperceptronfromthe1960

6、’sBombToy深层信任网络（DeepBeliefNet，DBN)是部分解决了以上问题的神经元网络谁重新激活了神经元网络？GeoffreyHinton出生于：1947专业：学士，心理学，1970，博士，人工智能，1978多伦多大学教授Google研究中心1986：神经元网络BP算法发明人之一深度学习主要贡献人IGETVERYEXCITEDWHENWEDISCOVERAWAYOFMAKINGNEURALNETWORKSBETTER—ANDWHENTHAT’SCLOSELYRELATEDTOHOWTHEBRAINWORKS.’谁重新激活

7、了神经元网络？NCAP:神经计算和自适应感知项目2004NCAPResearchersYoshuaBengioYannLecun(FaceBook)AndrewNg(Baidu)20~OthersCoreTeam深度学习的2006年，GeofferyHintonScience发表DBN文章。2012年，Hinton,ImageNet,26%-15%。2012年，AndrewNg和分布式系统顶级专家JeffDean，GoogleBrain项目，16000个CPU核的并行,>10亿个神经元的深度神经网络2012年，微软首席研究官Rick

8、Rashid在21世纪的计算大会上演示了一套自动同声传译系统2013年，Hinton->>Google;YannLeCun->>Facebook;用户图片信息提取2013年，百度成立了百度研究院及下属的深度学习研究所（I