高阶双并联神经网络批处理梯度算法收敛性

《高阶双并联神经网络批处理梯度算法收敛性》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大连理工大学硕士学位论文摘要BP神经网络是目前应用最为广泛的前馈神经网络之一，具有很多优点，但传统的BP网络只有求和神经元，在处理复杂的非线性问题时效率很低。为了解决这一问题，人们引进了求积神经元等高阶神经元，用以增加网络的非线性映射能力。这些以高阶神经元构建的网络统称为高阶前馈神经网络。另外，工程上有一类带有线性部分的非线性问题，简单的感知器不能解决这类问题，且常见的前馈神经网络来解决这类问题的效果也不是很好。为此，学者们提出了一类双并联神经前馈网络(DoubleParallelFeedforwardNeuralNetworks，简称DPFNN)。基于这两种网络的网络结构

2、和特点，本文提出了一种高阶双并联神经网络(HighOrderDoubleParallelNeuralNetworks，简称HODPNN)，用来解决这类带有线性部分的复杂非线性问题。试验表明，该网络在处理这类问题时，与Pi．Sigma高阶前馈神经网络和双并联前馈神经网络相比，具有明显的优势。梯度算法是一种简单的优化算法，经常被用于神经网络训练中。梯度法有两种不同的运行方式，分别是在线运行方式和批处理运行方式。本文主要研究用批处理梯度算法训练高阶双并联神经网络的收敛性。本论文的结构及内容如下：第一章回顾了神经网络相关的一些背景知识。第二章介绍了高阶双并联神经网络，并给出了其批处

3、理梯度算法的弱收敛性、强收敛性证明。第三章给出了两个关于函数逼近的数值试验，并对网络的学习效果进行了讨论。关键词：高阶神经网络；双并联神经网络；高阶双并联神经网络；批处理梯度算法高阶双并联神经网络批处理梯度算法收敛性ConvergenceofBatchGradientDescentAlgorithmforHighOrderDoubleParallelNeuralNetworksAbstractBPneuralnetworkiSakindoffeedforwardneuralnetworksandiswidelyusedinmanyapplications．BPnetwork

4、hasmanyadvantages，butitonlyusesadditiveneuronsandhencehaspoorcapabilityforsolvingcomplexnonlinearproblems．Toresolvethisproblem,productneuronsareappliedinfeedforwardneuralnetworkstoenhancethenonlinearmappingcapability．刚skindoffeedforwardneuralnetworkbasedonhi曲orderneuronsiscalledhi曲orderfee

5、dforwardneuralnetworks．Ontheotherhand，therearemanynonlinearproblemswimlinearpartinengineering．whichCannotberesolvedbyasimpleperceptronoracommonfeedforwardneuralnetworks．Doubleparallelfeedforwardneuralnetworks(DP孙N)areproposedforthiscase．Inthisthesis，hi．曲orderdoubleparallelneuralnetwork(HOD

6、PNN)isproposed，basedonthenetworkstructuresandfeatureoftheabovetwOnetworks．toresolvethiskindofcomplexnonlinearproblemswith1inearpart．Numericalexperimentsindicatethattheneuralnetworkhasabetterlearningperformanceinsolvingthiskindofproblem，comparedwithPi—SigmaneuralnetworkandDP刚．Gradientalgori

7、thmisasimpleoptimizationalgorithmandisoftenappliedforneuralnetworkstraining．Therearetwodifferentwaystoinputthesamplesduringthetrainingprocess：onlineversionandbatchversion．111emainworkofthisthesisistostudybatchgradientdescentalgorithmforHODPNNinconvergence．Thes