多层前馈神经网络全局优化算法研究

《多层前馈神经网络全局优化算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、东北大学硕士学位论文摘要多层前馈神经网络全局优化算法研究摘要多层前馈神经网是应用最为广泛的神经网络模型之一，它对任意连续函数的逼近能力为它在非线性系统建模和控制中的应用提供了坚实的理论基础。针对前馈神经网络提出的BP算法使其在函数逼近、模式识别等领域都有大量的应用。但由于BP算法是由梯度下降方法来最小化网络误差函数推导出来的，所以在网络训练时易陷入局部极小点。而且，为了解决BP算法易陷入局部极小点问题而引入的随机型全局算法受到本身特性的制约，经常不能满足对训练要求。为此，一些确定型全局算法被应用到神经网络领域。本文对两类确定型全局优化算法(填充函数算法和区间算法)作了比较深入的研究，并在此

2、基础上作了进一步的推广和证明。然后将两类全局算法分别与神经网络相结合，得到前馈神经网络全局算法，并讨论算法各自适用的网络结构规模。仿真实验证明了两种全局算法可以在神经网络训练当中取得令人满意的效果。主要内容如下：(1】在已有的填充函数模型的基础上，提出了一种改进的单参数填充函数模型，并给予理论证明。对于重要参数给予理论分析，并在实践中得到验证。(2)针对多层前馈神经网络的特点，将填充函数算法与BP算法相结合，提出基于单参数填充函数的全局优化神经网络算法，并进行了有效性分析。这种混合策略可以在保持最速下降法寻优速度的前提下，得到全局最优解。(3)对于区间算法当中的关键区间处理步骤，提出了针对

3、神经网络的误差函数的新的区间扩张函数模型，并给予理论证明。随后，为了增加目标函数的梯度的使用效率，提出了合理的区间删除法则组合。该区间扩张模型与区间删除法则可以有效地提高区嵋j算法的收敛速度。“)针对多层前馈神经网络，提出基于区间算法的全局优化神经网络算法。在保持区间算法的全局收敛性的基础r：，有效地提高了算法收敛速度。关键词：多层前馈神经网络填充函数算法区间算法BP算法局部极小点一II东北大学硕士掌位论丈AbstractResearchofGlobalOptimizationAlgorithmonFeedforwardNeuralNetworkAbstractInthenumerousm

4、odelsofneuralnetworks，themultilayersFeedforwardNeuralNetworks(FFN)arewidelyusedinmanyfields．TheFFNhaspowerfulabilityinapproximationforanycontinuousfunctions，whichprovidestheoryforitsmodelingandcontrollinginnonlinearsystem，AndBack—Propagation(BP)algorithmmakesFNNmoreeasilytobeappliedinmanyareas，suc

5、hasfunctionapproximation，pattemrecognitionandsoon．BPalgorithm，however，whichisbasedongradientdescentalgorithm，hadoftenstucktheerrorfunctioninalocalminimalpoint．Then，somerandomnessglobalalgorithmswereappliedtoFNNforthatweaknessButbecausespeedofrandomnessglobalalgorithmsconvergenceistooslowtofitforla

6、rgescaleneuralnetworks．Afterthat，somedeterministicglobalalgorithmswerealsobroughtintoneuralnetworks．Inthisthesis，twoglobaloptimizationmethods(Filled-FunctionAlgorithmandintervalAlgorittzm)werestudieddeeply,"Furthermore，twoalgorithmswereextendedandprovedforneuralnetworks，andwerecombinedwith开州tobeco

7、meglobaloptimizationneuralnetworksalgorithmsApplicationrangeofeachalgorithmwasalsodiscussedfordifierentFNNstructureaftersimulationexperiments．AndthesimulationresultsshowItSthatthepresentedalgorithmshavegoodperfor