现代优化计算方法

《现代优化计算方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、西安理工大学研究生课程论文/研究报告课程名称：现代优化计算方法课程代号：030219任课教师：张广鹏论文/研究报告题目：前馈神经网络的分阶段学习法综述完成日期：2011年8月15日学科：学号：1008020130姓名：马娜成绩：前向神经元网络的分阶段学习法综述1　引　言　　人工神经网络（ArtificialNeuralNetworks，NN）系统从20世纪40年代末诞生至今仅短短半个多世纪，但由于他具有信息的分布存储、并行处理以及自学习能力等优点，已经在信息处理、模式识别、智能控制及系统建模等领域得

2、到越来越广泛的应用。自1974年，Werbos提出BP学习理论，1982年学者Rumeehart提出BP算法以来，反向传播学习算法(Back-PropagationA妙rithm)是目前最为广泛、最具影响的人工神经网络(ArtificialNeuralNetwork)学习算法之一。基于误差反向传播（ErrorBackPropagation）算法的多层前馈网络（Multiple-LayerFeedforwardNetwork）（简称BP网络）和它的变化形式，体现了人工神经网络的最精华部分。BP网络可看

3、作是从输入到输出的高度非线性映射，即:f:Rn→Rm，其本质，从输入xi∈Rn到输出yi∈Rm可存在某一映射g(*)，使g(xi)=yi(i=1,2…N)，要求出映射f，使得在某种意义下(通常在最小二乘意义下)，f是g的最佳逼近,神经网络对简单的非线性函数进行数次复合，可近似表达复杂的函数，它的存在性问题可由Kommog-orow定理及BP定理给出。BP网络的学习规则通常采用的是1949年心理学家Hebb提出的Hebb学习规则。BP网络主要用于：（1）函数逼近，用输入矢量和相应的输出矢量训练一个网络

4、逼近一个函数；（2）模式识别，用一个特定的输出矢量将它与输入矢量联系起来；（3）分类，把输入矢量以所定义的合适方式进行分类；（4）数据压缩，减少输出矢量维数以便于传输或贮存。2　BP算法的分析2.1BP网络结构隐层输出层输入层图2.1多层BP网络不仅有输入节点、输出节点，而且有一层或多层隐节点，如图2.1所示。BP神经元的传输函数目前广为采用的是Sigmoid函数，简称S型函数，即取神经元的输出为（2-1）Sigmoid函数的图像如图2.2。S型函数具有以下一些良好的特性：（1）当I较小时，也有一定

5、的O值相对应，即输人到神经元的信号比较弱时，神经元也有输出，这样不丢失信号较小的信息；（2）当I较大时，输出趋于常数，不会出现“溢出”现象；（3）具有良好的微分特性，即有（2-2）.而BP神经元的输出层函数一般为线性函数，采用线性函数可以使输出值取任意值。2.2BP网络的学习在确定了BP网络结构后，要通过输入输出样本集对网络进行训练，亦即对网络的阈值和权值进行学习和修正，以使网络实现给定的输入输出映射关系。BP网络的学习过程主要分为两个阶段：第一个阶段是输入已知学习样本，通过设置的网络结构和前一次迭

6、代的权值和阈值，从网络的第一层向后计算各神经元的输出。第二个阶段是对权值和阈值进行修改，从最后一层向前计算各权值和阈值对误差的影响（梯度），从而对权值和阈值进行修改。以上两个过程反复交替，知道达到收敛为止。由于误差逐层往回传递，以修正层与层之间的权值和阈值，所以该算法为误差反向传播（backpropagation）算法，这种误差反向学习算法可以推广到有若干个中间层的多层网络，因此该多层网络常称之为BP网络。标准的BP算法是一种梯度下降学习算法，其权值的修正是沿着误差性能函数梯度的反方向进行的。以下针

7、对标准BP算法说明具体解析步骤：（1）初始化：给权值、和阈值、赋予(-1,1)之间的随机值。（2）随机取一对样本对网络进行训练（1）计算中间层的输入/出：输入：，输出：（2-3）（2）计算输出层的输入/出输入：，输出：（2-4）（3）计算输出层的一般误差（2-5）（4）计算中间层的一般误差（2-6）（5）修改输出层的权值和阈值（2-7）（2-8）（6）修正隐层的权值和阈值（2-9）（2-10）（7）取下一对样本返回（3）开始训练，直到m个样本训练结束（8）判断全局误差是否小于预定值，否则，回到（2）

8、重新进行训练，直到满足要求或达到预定训练次数，停止训练。3标准BP算法存在的问题及BP算法的改进算法标准的BP算法存在着易形成局部极小值,训练陷入瘫痪和收敛速度很慢的问题,从而影响了它的实际使用。为此,人们在标准BP算法的基础上进行了许多有益的改进,改进方法主要有两类:一是基于标准梯度下降的改进方法如附加动量的BP算法、自适应学习率调整法、弹性BP算法等;二是基于标准数值优化的改进算法如共轭梯度法、拟牛顿法和Levenberg-Marquardt(LM)法等。(1)动