机器学习之人工神经网络分析课件.ppt

《机器学习之人工神经网络分析课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第4章人工神经网络（ANN）概述人工神经网络提供了一种普遍且实用的方法从样例中学习值为实数、离散值或向量的函数反向传播算法，使用梯度下降来调节网络参数以最佳拟合由输入—输出对组成的训练集合人工神经网络对于训练数据中的错误健壮性很好人工神经网络已被成功应用到很多领域，例如视觉场景分析，语音识别，机器人控制，工业过程控制生物学动机ANN受到生物学的启发，生物的学习系统是由相互连接的神经元组成的异常复杂的网络。ANN系统的一个动机就是获得这种基于分布表示的高度并行算法ANN并未模拟生物神经系统中的很多复杂特征ANN的研究分为两个方向使用ANN研究和模拟生物学习过程获得高效的机器学习算法，不

2、管这种算法是否反映了生物过程属于后一个研究方向适合神经网络学习的问题训练集合为含有噪声的复杂传感器数据，例如来自摄像机和麦克风，工业过程各类传感器数据需要较多符号表示的问题，例如决策树学习的任务，能够取得和决策树学习大体相当的结果反向传播算法是最常用的ANN学习技术反向传播算法适合问题的特征实例是用很多“属性-值”对表示的目标函数的输出可能是离散值、实数值或者由若干实数属性或离散属性组成的向量训练数据可能包含错误可容忍长时间的训练可能需要快速求出目标函数值人类能否理解学到的目标函数是不重要的提纲讨论训练单个单元的学习算法介绍组成神经网络的几种主要单元感知器（perceptron）线性

3、单元（linearunit）sigmoid单元（sigmoidunit）给出训练多层网络的反向传播算法讨论几个一般性问题ANN的表征能力假设空间搜索的本质特征过度拟合问题反向传播算法的变体感知器一种类型的ANN系统是以感知器为基础感知器以一个实数值向量作为输入，计算这些输入的线性组合，如果结果大于某个阈值，就输出1，否则输出-1其中每个wi是一个实数常量，或叫做权值，用来决定输入xi对感知器输出的贡献率。特别地，w0是阈值。感知器（2）两种简化形式，附加一个常量输入x0=1，前面的不等式写成或写成向量形式为了简短起见，把感知器函数写为其中，感知器（3）学习一个感知器意味着选择权w0,

4、…,wn的值。所以感知器学习要考虑的候选假设空间H就是所有可能的实数值权向量的集合感知器的表征能力可以把感知器看作是n维实例空间（即点空间）中的超平面决策面对于超平面一侧的实例，感知器输出1，对于另一侧的实例，输出-1这个决策超平面方程是可以被某个超平面分割的样例集合，称为线性可分样例集合感知器的表征能力（2）单独的感知器可以用来表示很多布尔函数感知器可以表示所有的原子布尔函数：与、或、与非、或非然而，一些布尔函数无法用单一的感知器表示，例如异或感知器的表征能力（3）因为所有的布尔函数都可表示为基于原子函数的互连单元的某个网络，因此，感知器网络可以表示所有的布尔函数。事实上，只需要两

5、层深度的网络，比如表示析取范式注意，要把一个AND感知器的输入求反只要简单地改变相应输入权的符号因为感知器网络可以表示大量的函数，而单独的单元不能做到这一点，所以感兴趣的是学习感知器组成的多层网络感知器训练法则虽然目的是学习由多个单元互连的网络，但还是要从如何学习单个感知器的权值开始单个感知器的学习任务，决定一个权向量，它可以使感知器对于给定的训练样例输出正确的1或-1主要考虑两种算法感知器法则delta法则这两种算法保证收敛到可接受的假设，在不同的条件下收敛到的假设略有不同这两种算法提供了学习多个单元构成的网络的基础感知器法则算法过程从随机的权值开始反复应用这个感知器到每个训练样例

6、，只要它误分类样例就修改感知器的权值重复这个过程，直到感知器正确分类所有的训练样例感知器训练法则其中感知器法则（2）为什么这个更新法则会成功收敛到正确的权值呢？一些例子能说明收敛过程可以证明（Minskey&Papert1969）如果训练样例线性可分，并且使用了充分小的否则，不能保证收敛的前提条件：训练样例线性可分梯度下降和delta法则delta法则克服感知器法则的不足，在线性不可分的训练样本上，收敛到目标概念的最佳近似delta法则的关键思想是:使用梯度下降来搜索可能的权向量的假设空间，以找到最佳拟合训练样例的权向量delta法则为反向传播算法提供了基础，而反向传播算法能够学习

7、多个单元的互连网络对于包含多种不同类型的连续参数化假设的假设空间，梯度下降是必须遍历这样的空间的所有算法的基础梯度下降和delta法则（2）把delta训练法则理解为训练一个无阈值的感知器指定一个度量标准来衡量假设相对于训练样例的训练误差第6章给出了选择这种E定义的一种贝叶斯论证，在一定条件下，使E最小化的假设就是H中最可能的假设可视化假设空间根据E的定义，误差曲面是一个抛物面，存在一个单一全局最小值梯度下降搜索从一个任意的初始权向量开始，然后沿误差曲面最