糙快猛机器学习入门

《糙快猛机器学习入门》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、糙快猛机器学习入门（一）刘佳倩Bonism5604[at]gmail[dot]com学习材料Stanford公开课程之MachineLearning清华大学精品课程之机器学习，2011秋CMU-TomMitchell之《机器学习》MachineLearningScribeNoteFromTHU目录引言一般到特殊序决策树学习人工神经网络评估假设贝叶斯法则计算学习理论人工神经网络ANN简介简单情形感知器Delta法则复杂情形多层网络反向传播ArtificialNeuralNetworks人工神经网络A

2、NN简介简单情形感知器Delta法则复杂情形多层网络反向传播ANN简介学习动机：仿生实际应用：自动驾驶系统神经网络表示：“单元”输出单元直接影响最终输出隐藏单元间接地影响输出输入经过抽象的数据适用问题“属性-值”输入可抽象为向量，输出任意实数包含错误训练数据容错性快速求目标函数实际应用中，反应快可抽象可容错出解快ANN简介简单情形感知器Delta法则复杂情形多层网络反向传播ANN简介简单情形感知器Delta法则复杂情形多层网络反向传播感知器输入：向量X计算：向量W输出：一个值y感知器训练法则：输入

3、数据<,>学习速率实际意义？表征范围数据线性可分数据线性不可分时，收敛不能不容错！ANN简介简单情形感知器Delta法则复杂情形多层网络反向传播Delta法则对线性不可分数据，可求出最佳近似利用梯度下降来搜索最佳拟合Delta法则一些定义输出训练误差（D是训练集合）可以有其他方式的定义！沿曲面误差下降最快的方向逼近最优解梯度方向训练法则回顾误差函数迭代梯度函数改进：增量算法每次迭代遍历所有数据根据单个数据修改权值少一个∑ANN简介简单情形感知器Delta法则复杂情形多层网络反向传播ANN简介简单情

4、形感知器Delta法则复杂情形多层网络反向传播多层网络适用问题：高度非线性决策多层网络网络结构隐藏单元输出单元对单元的一些定义单元：输出是输入的非线性函数&可微函数Sigmoid单元（logistic函数）=较好分类&可求梯度ANN简介简单情形感知器Delta法则复杂情形多层网络反向传播反向传播算法定义误差函数：E(W)=(1/2)∑d∈D∑k∈output(tkd-okd)2计算梯度（偏导）：输出单元隐藏单元训练过程迭代更新权值改进增加冲量项：作用：防止陷入局部最优平坦局域上增加步长，加速收敛附

5、加页面梯度下降算法的推导过程：反向传播算法梯度推导反向传播算法梯度推导反向传播应用：人脸朝向识别