人工神经网络.ppt

《人工神经网络.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、机器学习第4章人工神经网络（ANN）2003.12.181机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏概述人工神经网络提供了一种普遍且实用的方法从样例中学习值为实数、离散值或向量的函数反向传播算法，使用梯度下降来调节网络参数以最佳拟合由输入-输出对组成的训练集合人工神经网络对于训练数据中的错误健壮性很好人工神经网络已被成功应用到很多领域，例如视觉场景分析，语音识别，机器人控制2003.12.182机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏简介神经网络学习对于逼近实数值、离散值或向量值的目标函数提供了一种健壮性很强的方法对于

2、某些类型的问题，如学习解释复杂的现实世界中的传感器数据，人工神经网络是目前知道的最有效的学习方法反向传播算法成功例子，学习识别手写字符，学习识别口语，学习识别人脸2003.12.183机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏生物学动机ANN受到生物学的启发，生物的学习系统是由相互连接的神经元组成的异常复杂的网络。ANN由一系列简单的单元相互密集连接构成的，其中每一个单元有一定数量的实值输入，并产生单一的实数值输出人脑的构成，大约有1011个神经元，平均每一个与其他104个相连神经元的活性通常被通向其他神经元的连接激活或抑制最快的神经元转换时间比计

3、算机慢很多，然而人脑能够以惊人的速度做出复杂度惊人的决策很多人推测，生物神经系统的信息处理能力一定得益于对分布在大量神经元上的信息表示的高度并行处理2003.12.184机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏生物学动机（2）ANN系统的一个动机就是获得这种基于分布表示的高度并行算法ANN并未模拟生物神经系统中的很多复杂特征ANN的研究分为两个团体使用ANN研究和模拟生物学习过程获得高效的机器学习算法，不管这种算法是否反映了生物过程本书属于后一个研究团体2003.12.185机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏神

4、经网络表示ALVINN系统Pomerleau1993使用一个学习到的ANN以正常的速度在高速公路上驾驶汽车ANN的输入是一个30x32像素的网格，输出是车辆行进的方向每个节点对应一个网络单元的输出，而从下方进入节点的实线为其输入隐藏单元，输出仅在网络内部，不是整个网络输出的一部分每个输出单元对应一个特定的驾驶方向，这些单元的输出决定哪一个方向是被最强烈推荐的2003.12.186机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏神经网络表示（2）ALVINN是很多ANN的典型结构，所有单元分层互连形成一个有向无环图通常，ANN图结构可以有很多种类型无环或有

5、环有向或无向本章讨论以反向传播算法为基础的ANN方法反向传播算法假定网络是一个固定结构，对应一个有向图，可能包含环ANN学习就是为图中每一条边选取权值大多数实际应用与ALVINN相似2003.12.187机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏适合神经网络学习的问题训练集合为含有噪声的复杂传感器数据，例如来自摄像机和麦克风需要较多符号表示的问题，例如决策树学习的任务，能够取得和决策树学习大体相当的结果反向传播算法是最常用的ANN学习技术2003.12.188机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏反向传播算法适合问题

6、的特征实例是用很多“属性-值”对表示的目标函数的输出可能是离散值、实数值或者由若干实数属性或离散属性组成的向量训练数据可能包含错误可容忍长时间的训练可能需要快速求出目标函数值人类能否理解学到的目标函数是不重要的2003.12.189机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏本章余后部分提纲讨论训练单个单元的学习算法介绍组成神经网络的几种主要单元感知器（perceptron）线性单元（linerunit）sigmoid单元（sigmoidunit）给出训练多层网络的反向传播算法考虑几个一般性问题ANN的表征能力假设空间搜索的本质特征过度拟合问题反向传

7、播算法的变体例子，利用反向传播算法训练识别人脸的ANN2003.12.1810机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏感知器一种类型的ANN系统是以感知器为基础感知器以一个实数值向量作为输入，计算这些输入的线性组合，如果结果大于某个阈值，就输出1，否则输出-1其中每个wi是一个实数常量，或叫做权值，用来决定输入xi对感知器输出的贡献率。特别地，-w0是阈值。2003.12.1811机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏感知器（2）两种简化形式