神经网络的特点及改进方法综述

《神经网络的特点及改进方法综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、神霜网络的特点及改进方法综述经络的特网占Summarizingof’theCharacteristiCSandtheImprovedAlgorithinsoftheNeuralNetwork及改进王坤方WangKun法综(西安工业大学电子信息工程学院，陕西西安710032)述(SchoolofElectronicandInformation，Xi’anTechnologyUniversity，shaanxiXi’an710032)摘要：本文：左对前馈神经网络训练算法分析的基础上，阐述了标准BP算法的特点，并分析了在实际应用中存在的不足，指出了产生不足的原因，最后介绍了一些常见的改进算法，说明了

2、进一步研究的方向。关键词：神经网络；收敛速度；局部极小；改进算法中图分类号：TP183文献标识码：A文章编号：1671．4792一(2Ol1)7—0227。06Abstract：Onthebasisoftheanalysisofthetrainingalgorithmof~edbackneuralnetwork，thecharacteristicsandtheshortcomingsofthestandardbackpropagationalgorithmarediscussed．Somecommonlyusedsuppressionalgorithmareintroducedinthepap

3、er，andthefurtherresearchdirectionoftheimprovedalgorithmispointedout．Keywords：NeuralNetwork；VelocityofConvergence；LocalMinimum；ImprovedAlgorithmO引言记忆以及逼近任意非线性等特性。随着神经网络理人工神经网络控制技术从2O世纪50年代自论及其应用的日趋成熟，相继提出了多种神经网络Rosenblatt首次将单层感知器应用于模式分类学习的模型，包括多层前馈网络、Hopfield网络、模糊神以来，已经有了几十年的研究历史。但是，对于单层经网络、自适应共振理论等等

4、，其中应用最为广泛、感知器，不论采用怎样的非线性函数，其分类能力都理论研究最为深入的，当属前馈神经网络中的BP一样，即只能解决线性可分的问题【1J。增强分类能力神经网络。的唯一出路是采用多层网络，即在输入层与输出层1前馈神经网络的特点之间加上隐层构成多层前馈网络，由此所带来的问在多层前馈网络中，提出最早也是应用最普遍题是，对于这样的多层网络，采用什么样的学习算的是反向误差传播神经网络，简称BP神经网络。它法，网络才能合理地进行学习。在当时的条件下，还是前向网络的核心，体现了网络最精华的部分。标准不具备解决这种问题的能力。正是因为这样，在20的BP网络采用的是误差梯度下降的算法，在多层世纪7O年

5、代，科学界对人工神经网络的研究减弱。网络中使用了梯度反向传播的计算方法。其基本思直至80年代中期，Rumelhart等重新阐述了反向传想是，学习过程由信号的正向传播与误差的反向传播学习算法，使得在神经网络领域的理论和应用研播两个过程组成。正向传播时，输人样本从输入层传究开始在世界范围内兴起。人工神经网络是一种按人，经隐含层逐层处理后传向输出层。若输出层的实照人脑的组织和活动原理而构造的一种数据驱动型际输出与期望输出(教师信号)不符，则转向误差的非线性映射模型，它可以处理那些难以用数学模型反向传播阶段。误差的反向传播是将输出误差以某描述的系统，它具有并行处理、自适应自组织、联想种形式通过隐含层向

6、输入层逐层反传，并将误差分997万方数据一摊给各层的所有单元，从而获得各层单元的误差信当本次的v-＼-／与前一次同号时号，此误差信号即作为修正各单元权值的依据。这，其加权求和种信号正向传播与误差反向传播的各层权值调整过值增大，使△wji(n)较大，结果在稳定调节时加速了程是周而复始地进行。权值不断调整的过程，也就艇“、权重和阈值的调节速度。当与前一次符号是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可以接受的程度，或进行到预先设相反时说明出现了振荡，此时加权求和的结果使得定的学习次数为止f2_。△wti(n)减小，起到稳定的作用。这种方法所加入的尽管BP网络的应用十分的广泛，但是网

7、络自动量项实质上相当于阻尼项，它减小了学习过程的身的结构及其算法，使得其在实际应用中存在着一振荡趋势。些限制和不足，如收敛速度慢，需要较长的训练时2．2自适应学习速率法间；目标函数会收敛于局部极小值；学习率选择不合自适应学习速率法有利于缩短学习时间。标准适时，系统会在收敛点处振荡，难于收敛等等。为此，BP算法收敛速度慢的重要原因是学习速率选择不许多研究人员就此做了深入的研究，提出了许多改当，所以我