tom的机器学习方法 ml-chap04

《tom的机器学习方法 ml-chap04》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第4章　人工神经网络人工神经网络（ArtificialNeuralNetworks——ANNs）提供了一种普遍而且实用的方法，来从样例中学习值为实数、离散或向量的函数。像反向传播（BackPropagation）这样的算法使用梯度下降来调节网络参数以最佳拟合由输入-输出对组成的训练集合。ANN学习对于训练数据中的错误鲁棒性很好，且已经成功地应用到很多领域，例如视觉场景分析（interpretingvisualscenes）、语音识别、以及机器人控制等。4.1简介神经网络学习方法对于逼近实数值、离散值或向量值的

2、目标函数提供了一种鲁棒性很强的方法。对于某些类型的问题，如学习解释复杂的现实世界中的传感器数据，人工神经网络是目前知道的最有效学习方法。例如，本章要描述的反向传播算法已在很多实际的问题中取得了惊人的成功，比如学习识别手写字符（LeCunetal.1989），学习识别口语（Langetal.1990）和学习识别人脸（Cottrell1990）。Rumelhartetal.（1994）中概览了其实际的应用。4.1.1生物学动机人工神经网络的研究在一定程度上受到了生物学的启发，因为生物的学习系统是由相互连接的神经元

3、（neuron）组成的异常复杂的网络。而人工神经网络与此大体相似，它是由一系列简单单元相互密集连接构成，其中每一个单元有一定数量的实值输入（可能是其他单元的输出），并产生单一的实数值输出（可能成为其他很多单元的输入）。为了加深对这种类比的认识，让我们考虑一些来自生物学的事实。例如，据估计人类的大脑是由大约1011个神经元相互连接组成的密集网络，平均每一个神经元与其他104个神经元相连。神经元的活性通常被通向其他神经元的连接激活或抑制。目前知道的最快的神经元转换时间是在10-3秒级别——与计算机的转换时间10-

4、10秒相比慢很多。然而人类能够以惊人的速度做出复杂度惊人的决策。例如，你要通过视觉认出自己的母亲大约需要10-1秒。注意在这10-1秒的间隔内，被激发的神经元序列不长于数百步，因为单个神经元的转换速度已知。这个事实使很多人推测，生物神经系统的信息处理能力一定得益于对分布在大量神经元上的信息表示的高度并行处理。ANN系统的一个动机就是获得这种基于分布表示的高度并行算法。大多数的ANN软件在串行机器上仿真分布处理，然而更快版本的算法也已经在高度并行机和特别为ANN应用设计的专用硬件上实现。由于ANN只是一定程度地

5、受生物神经系统的启发，所以ANN并未模拟生物神经系统中的很多复杂特征，而且已经知道ANN的很多特征与生物系统也是不一致的。例如，对于我们考虑的ANN，每个单元输出单一的不变值，然而生物神经元输出的是复杂的时序脉冲。长期以来，人工神经网络领域的研究者分为两个团体。一个团体的目标是使用ANN研究和模拟生物学习过程。另一个团体的目标是获得高效的机器学习算法，不管这种算法是否反映了生物过程。在本书中我们的兴趣符合后一团体，所以我们不会再把注意力用在生物模型上。若要获得关于使用ANN模拟生物系统的更多信息请参考Chur

6、chland&Sejnowski（1992），Zornetzeretal.（1994），Gabriel&Moore（1990）。4.1神经网络表示Pomerleau（1993）的ALVINN系统是ANN学习的一个典型实例，这个系统使用一个学习到的ANN以正常的速度在高速公路上驾驶汽车。ANN的输入是一个30´32像素的网格，像素的亮度来自一个安装在车辆上的前向摄像机。ANN的输出是车辆行进的方向。这个ANN通过观察人类驾驶时的操纵命令进行训练，训练过程大约5分钟。ALVINN用学习到的网络在高速公路上以70英

7、里时速成功地驾驶了90英里（在分行公路的左车道行驶，同时有其他车辆）。图4-1画出了ALVINN系统的一个版本中使用过的神经网络表示，这也是很多ANN系统的典型表示方式。神经网络显示在图的左边，输入的摄像机图像在它的下边。网络图中每个结点对应一个网络单元（unit）的输出，而从下方进入结点的实线为其输入。可以看到，共有四个单元直接从图像接收所有的30´32个像素。这四个单元被称为“隐藏”单元，因为它们的输出仅在网络内部，不是整个网络输出的一部分。每个隐藏单元根据960个输入的加权和计算得到单一的实数值输出。然

8、后这四个隐藏单元的输出被用作第二层30个“输出单元”的输入。每个输出单元对应一个特定的驾驶方向，这些单元的输出决定哪一个驾驶方向是最强烈推荐的。插图——原书页码：84sharpleft-急剧左转sharpright-急剧右转straightahead-正前方30Outputunits-30个输出单元4Hiddenunits-4个隐藏单元30´32sensorinputretina-30´32传感器视