具有最优学习率的rbf神经网络学习算法及其在金融时间序列预测中的应用

《具有最优学习率的rbf神经网络学习算法及其在金融时间序列预测中的应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、具有最优学习率的RBF神经网络学习算法及其在金融时间序列预测中的应用RBFNeuralNetworkLearningAlgorithmwithOptimalLearningrateandItsApplicationtoFinancialTimeSeriesForecasting卫敏余乐安中科院数学与系统科学研究院，北京，100190摘要传统固定学习率的RBF神经网络在金融时间序列预测方面已经有比较成功的应用，但网络学习率的选择问题却给传统RBF网络的使用带来了不便。本文利用梯度下降法及优化方法推导出了RBF神经网络的动态最优学习率并将其应用于网络学习算法，具有最优学习率的RBF

2、神经网络能够在保证网络稳定学习的同时兼顾网络的收敛速度。为了检验具有动态最优学习率的RBF神经网络的预测效果，本文进行了沪深300指数波动率预测实验。实验结果表明，具有动态最优学习率的RBF网络比传统的固定学习率的RBF网络有着更快的收敛速度，同时也避免了人为选定学习率的不便。关键词：RBF神经网络；最优学习率；梯度下降法AbstractInthisstudy,analgorithmbasedonRBFNN(radialbasisfunctionneuralnetworks)withoptimumlearningrateisproposed.Thedynamicoptimuml

3、earningratewhichdeterminedbygradientdescentandclassicaloptimizationtechniqueisusedtoadjusttheweightchangesofRBFneuralnetworksinanadaptiveway.Withthedynamicoptimumlearningrate,theRBFneuralnetworkscanensurefastandstablelearningsimultaneously.Inordertoverifytheeffectivenessofthisproposedalgorit

4、hm,predictionofHS300indexvolatilityischosenforexperiment.Theexperimentalresultsshowthat,theproposedRBFNNalgorithm(withdynamicoptimumlearningrate)couldlearnfasterandavoidselectinglearningratesubjectively.Keywords:RBFneuralnetworks;dynamicoptimumlearningrate;gradientdescent一、简介RBF神经网络（RadialBa

5、sisFunctionNeuralNetworks径向基神经网络）是一类流行的人工神经网络，其优秀的函数逼近能力使其在模式识别[1]、函数逼近[2]、经济预测[3]等领域有着较为广泛的应用。RBF神经网络是一种具有三层结构的神经网络，即：输入层、隐含层、输出层。一个具有m个输入值、n个隐含节点及一个输出值的RBF网络结构如图1：f(X)w1j1(X)w2wj2(X)3j3(X)wnjn(X)x1x2x3xm图1:RBF神经网络结构图在图1中，RBF网络的输入层为(x1,x2,K,xm)，隐含层为(j1(X),j2(X),K,jn(X))，输出层为f(X)，而(w1,w2,K,

6、wn)为隐含层与输出层之间的连接权重。隐含层的每一个节点都使用非线性函数j(g)作为径向基函数（RBF），也就是说，从输入空间到隐含空间的变换是非线性的。输入层将所有数据输入隐含层的每一个节点，而隐含层节点经线性加权求和即得出RBF网络的输出（权重为隐含层与输出层的连接权重）。通常，径向基函数j(g)的选择有以下几种：1）Gaussian函数[4]2）ReflectedSigmoidal函数[5]j(r)=expæ-çèr2ös2÷2ø（1）3）Multiquadrics函数[4]j(r)=1ær2ös1+expç2÷èøj(r)=(r2+s2)12（2）（3）这里r

7、为径向基函数的半径，而s2为径向基函数的方差。在众多可选的径向基函数中，人们通常选择Guassian函数作为RBF网络的径向基函数。因为Guassian函数从中心到两边单调递减，所以其回应是局部有限的，具有更加逼真的生物特征[6]。与之相对比的是，Multiquadric函数的回应是全局且无限的，因为Multiquadric函数从中心到两边单调递增。选定径向基函数之后，通过对这些函数的结果进行线性求和，就可以得到输出值。这样，RBF神经网络就完成了一个映射f:¡r®¡，公式如下：nf(x)=