变结构贝叶斯神经网络的研究

《变结构贝叶斯神经网络的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要本文的第一部分考虑前向神经网络与一线性项相加的模型，对这一模型进行分层贝叶斯分析．针对前向神经网络隐含层结点个数未知的情形，我们用可逆跳跃Markov链MonteCarlo(RJMCMC)方法研究神经网络的模型选择问题。即根据数据确定缩点的个数以及它们之间的连接关系．本文的第二部分给出了贝叶斯神经网络在时间序列分析中的应用．我们采用的非线性回归模型由—个线性自回归项和一个未知隐含层结点个数的前向神经网络所组成．当神经网络结点出现相似或不相关时，模型可辨识性问题就变得较为突出．因此，我们提出了新的可逆跳跃移动，使模型选择变得相对容易。有效地

2、解决了模型可辨识性问题．在本文的实验中，第一部分首先用第二章中改进的RJMCMC算法对Robotarnl数据进行了实验，用前200个数据对隐含结点个数进行了选择，并且得出了各个参数的值，对后200个数据进行了预测，画出了预测误差曲线图和直方图，可以看出预测效果比较好，而且我们的实验所用时间较少．然后用我们的算法对一个简单神经网络的结构进行了预测，可以看到预测的结果还是比较准确的．第二部分首先把第三章中的理论应用到一个具体的时间序列的例子(Airline数据)，通过图像我们可以看出预测结果还是比较精确的．然后通过实验说明了单独地考虑我们模型中的

3、两项，也可进行模型选择．综上所述，本文中用RJMCMC的理论解决了两个方面的问题．一是用改进的IUMCMC算法来解决变结构贝叶斯神经网络的问题，给出了解决这种问题的一个很好的算法，解决了神经网络过拟舍的问题，实验所用时间较少，而且得到的预测效果比以往的方法要好．二是用基于神经网络的非线性自回归模型的贝叶斯分析来对时间序列进行预测，预测效率和结果都比以前的方法要好．关键词，贝叶斯神经网络；分层贝叶斯先验；可逆跳跃Markov链MonteCarloI时间序列．中图分类号：0212．8分类号tAMS(2000)：62J05；62F10Abstrac

4、tInthefirstpartofthispaper，weconsiderthemodelofalinearregressiontermandafeedforwardneuralnetwork(FFNN)，andproposeahierarchicalBayesiananalysistoit．Inviewofthesltuationthatfeedforwardneuralnetworkhiddenlevelnodesunknown．weuseReversiblejumpMarkovchaiⅡMoateCarlo(RJMcMc)methodt

5、oresearchneuralnetworkmodelselectionproblem，thatistosay,accordingtothedatatodeterminethenumberofnodesandconnectionsbetweenthem．Inthesecondpartofthispaper，weshowtheapplyofBayesianneuralnetworksintimeseriesanalysis．Weadoptanonlinearregressionmodel．whichco碱sofalinearautoregres

6、siontermandafeedforwardneuralnetwork(FFNN)withanunknownnumberofhiddennodes．‰ntheneuralnetworknodesappearduplicateorirrelevant，themodelideatifiabilityproblemsbecomemorefortheseventy．Weproposenewreversiblejumpmove]tomakethemodelchoicebecomeeasy,mitigatingmodelidentifiabilityp

7、roblems．Inthefirstpartofourexperiment，weusetheRJMCMCalgorithmofimprovemeatinchapter2tocarryonanexperimenttothedataofRobotarinfirstly,usethefirst200datestomakeachoiceofthehiddenlevelnodes’number，andgetthevalueofeachparameter．Accordingtothelast200dates，wecallcarryonanestimate

8、，drawtheestimateerrorcurvediagramandsquarediagram，seeanestimateresultbetter，andlls