人工智能教案06章神经网络62前馈型人工神经网络.pdf

《人工智能教案06章神经网络62前馈型人工神经网络.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、6.2前馈型人工神经网络如前所述，前馈型人工神经网络是多层排列的，信号由输入层到输出层单向传输的网络模型。与神经网络研究初期提出的感知器模型原理上是完全一样的。由于八十年代提出的BackPropagation网络学习算法，使之成为当今应用最广泛的一种人工神经网络模型。前馈（亦称前向）型网络结构上是分层的，其信息只能从输入层单元向上传输到它上面一层的单元，然后再向前，一层一层地传输。第一层的单元与第二层所有的单元相连，第二层又与其上一层所有的单元相连。在前馈网络中的神经单元输入与输出的关系，可采用线性阈值传递函数或单调上升的非线性传递函数。6.2.1线性阈值单元线性阈值传递函数是

2、前馈网络中最基本的计算单元形式。图6-8线性阈值单元t6-8_swf.htm它具有n个输入x,x,…,x，一个输出，n个权值w,w,…,w，12n12n且令X=(x,x,…,x)T，W=(w,w,…,w)，则12n12nY=sgn(WX-θ)其中这里要说明一下：（1）x一般为其它单元的输出，值常取为{1,0}.i（2）如果令X'=(X,1)T且W'=(W,－θ)，则Y=sgn(W'X')6.2.2感知器感知器（Perceptron）是由美国学者F.Rosenblatt于1957年提出的，它是一个由最简单的线性阈值元件组成的单层（或多层）神经元的神经网络。如右图所示：图6-9感知

3、器单元模型t6-9_swf.htm当输入的加权和大于或等于阈值时，输出为1，否则为0。模型假定神经元中间的耦合程度（即加权系数W）可变，这样，该模型可以学习。当它用于两类模式的分类时，相当于在高维样本空间中，用一个超平面将两类样本分开。Rosenblatt给出了相应的学习算法，并证明如果两类模式是线性可分的（指存在一个超平面能够将它们分开），则算法一定收敛，也就是说W一定存在；否则，判定边界会产生振荡。1957年感知器及其学习算法的提出，是人工神经网络研究的重大发现。F.Rosenblatt成功地用其模拟和分析了动物和人的感知、学习能力。可以称为是人类历史上第一个真正的人工神经

4、网络，因为F.Rosenblatt在IBM704计算机上进行了网络模型模拟，从学习结果上可以看到感知器有能力通过学习达到正确分类的结果，可以也称该模型为一个学习机。感知器学习算法一个神经网络模型的设计包括：决定采用何种网络模型，网络的结构，神经元的传输函数，如果是多层前馈网络要决定网络的层数，各层的神经元个数。接下来就是采用相应的学习算法，进行学习（训练），使其具备预期的功能。学习：神经网络的学习过程就是神经网络参数的设定过程。一个神经元网络结构确定之后，需要对一系列参数（权重、阈值等）进行有效的设定。这个过程叫做学习或训练过程，此时的方法叫学习算法。学习算法_swf.htm这

5、里给出的是单层网络（没有中间层）的学习算法。为方便起见，将阈值θ（它也同样需要学习）并入权重矩阵W中，令w=θ，X向量也相应的增加一个分量x=-1，这样00网络的输出Y由下列公式表示：具体学习算法如下：1).给定初始值：赋给w(0)各一个较小的随机非零值，这里iw(t)为t时刻第i个输入上的权值(1≤i≤n)，w(t)为t时刻的阈i0值；2).输入一样本X=(-1，x,x,…,x,)和它的希望输出D;12n3).计算实际输出4).修正权重W其中0<η≤1用于控制修正速度。通常η不能太大，因为太大会影响wi(t)的稳定，η也不能太小，因为太小会使wi(t)的收敛速度太慢。若实际输

6、出与期望的输出值相同时，wi(t)不变；5).转到2)直到W对一切样本均稳定不变为止。一般神经网络的学习是在学习样本的指导下进行的。不同的学习方法对学习样本有不同的要求。在感知器学习算法中，要求每个学习样本要有已知的标准答案，也称作教师信号。而参数（权值）的修正是根据实际输出值与理想输出值（由教师信号决定）的差值进行。系统参数变化趋于稳定标志着学习进程的收敛。6.2.3前馈神经网络及BP（反向传播）学习算法可以简单地将前馈神经网络看作是一个多层的感知器。由于该种网络多采用BP学习算法进行训练，有时也被称为BP网络。前馈神经网络模型的输入输出关系与单层感知器完全相同。前一层的输出

7、是下一层的输入。该种网络多采用BP学习算法进行训练，BP学习算法要求神经元模型的传递函数为有界连续可微函数如sigmoid函数。由具有这种传递函数的神经元组成的网络，通过学习可以用一个连续的超曲面（而不仅仅是一个超平面）来完成划分输入样本空间的功能。在输入样本空间复杂的情况下，可根据要求，采用n层网络结构。此时学习后的网络可以以n-1个超曲面构成一个符合曲面，完成复杂的分类任务。弥补了单层感知器的缺陷。在不考虑结果规模的前提下，基于BP算法，依据大量样本通过逐步调整神经元之间的连接权重来构造