一种基于混合误差梯度下降算法的过程神经网络训练.pdf

《一种基于混合误差梯度下降算法的过程神经网络训练.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、东北石油大学学报第38卷第4期2014年8月JOURNALOFNORTHEASTPETROLEUMUNIVERSITYVo1．38No．4Aug．2014一种基于混合误差梯度下降算法的过程神经网络训练许少华，宋美玲，许辰，朱新宁(东北石油大学计算机与信息技术学院。黑龙江大庆163318)摘耍：针对过程神经网络(PNN)单一训练算法自适应调整能力差、缺乏对学习性质有效控制的问题，提出一种梯度下降与牛顿迭代相结合的求解算法——混合误差梯度下降算法．在训练初始阶段，基于网络训练目标函数，采用梯度下降法进行迭代寻优，只需计算目标函

2、数一阶导数数值公式，复杂度低且误差下降快；当梯度下降法学习效率降低时，引入牛顿迭代法，并将梯度下降法的训练结果作为初始参数代入目标函数，使问题转化为求解非线性方程组，不需要一维搜索而提高网络训练效率．通过学习效率分析自适应调节两种算法的切换，直至满足停机条件．将其应用于时变信号模式分类，实验结果表明，该算法较大地提高PNN训练效率．关键词：过程神经元网络；算法效率；牛顿迭代法；梯度下降法；混合误差梯度下降算法中图分类号：TP183文献标识码：A文章编号：2095—4107(2014)04—0092—050引言针对时空维信息

3、系统的建模和动态信号处理问题，何新贵院士提出和建立过程神经元网络(ProcessNeuralNetworks，简称PNN)理论和模型，证明PNN对L非线性时变函数的可逼近性、模型的连续性，以及对连续时空维系统建模的可计算性等性质n]，为PNN的应用提供理论基础．与传统神经网络比较，PNN的结构和信息处理机制有很大不同，网络输入和连接权等可以为时变函数，其函数形式和所含参数的位置也具有任意性]，计算复杂度高，因此，恰当的学习算法设计对于提高PNN建模效率和应用泛化能力具有重要影响．目前，PNN训练采用的方法主要是基于函数基展

4、开结合最小均方误差准则的学习方法_5]，以及与进化算法相结合的优化算法_7_．ZhongSS等提出基于小波变换的PNN学习算法l_g；LiGe建立基于混合遗传算法的训练方法[】。。；丁刚分别开发PNN基于Legendre正交多项式函数展开和Levenberg—Mar—quardt训练算法口妇；刘坤等建立一种基于PSO优化的PNN建模方法[1。；李欣等提出PNN量子免疫学习算法¨钉等．这些研究结果丰富PNN的训练方法，提高网络模型的应用能力，但是单一算法的计算复杂度与输入信号的复杂性、网络规模呈倍数增加，待定参数冗余且自由度

5、大；同时，在训练过程中算法的自适应调整能力差，缺乏对学习性质的有效控制，在应用中对训练样本集的构建也有较高的要求，系统的建模效率也较低．笔者提出一种基于梯度下降一牛顿迭代相结合的过程神经网络混合误差梯度下降学习方法．梯度下降法只需计算目标函数一阶导数，利用等价的数值迭代公式求解时计算复杂性小、误差下降速度快，针对训练目标函数，在网络学习的初始阶段使用梯度下降法口．当梯度下降法学习效率降低时，基于网络训练目标函数引入牛顿迭代法”]，并将梯度下降法当前的训练结果作为初始参数代入目标函数，使问题转化为求解非线性方程组．设置基于学

6、习效率分析的切换条件，两种算法自适应交替使用，在机制上可有效提高PNN的训练效率．收稿日期：2014—03—31；编辑：任志平基金项目：国家自然科学基金项目(61170132)作者简介：许少华(1962一)，博士后，教授，博士生导师，主要从事人工神经网络、优化算法和可视化数据建模方面的研究·92·第4期许少华等：一种基于混合误差梯度下降算法的过程神经网络训练1权函数基展开PNN模型考虑一种网络权函数被一组已知函数基展开的过程神经网络模型，它与PNN基本模型m具有等价的信息处理机制，是在满足拟合精度要求的前提下，将权函数表示

7、为基函数的有限项展开形式．在应用中，只需要根据非线性时变系统的概率统计性质选择适当的函数基，即可采用传统神经网络已有的成熟学习算法进行系统建模和网络训练．设z()∈UCR，其中，t∈E0，T]，U∈C[O，丁]．为不失一般性，只讨论多输入／单输出PNN模型，将其结果容易推广到多输出的情况．假设PNN的权函数可被U中的一组有限函数基B()一(61(t)，b2(￡)，⋯bL())展开，其中L为满足U中函数基展开拟合精度的最小项数，则权函数基展开PNN的结构见图1．r一其中，(￡)为系统输入函数，“I”和“>：”J一分别为过程神

8、经元的时、空聚合算子，．厂为作用函数．权函数W()用基函数展开的形式表示，中间各子层的运算公式为图1权函数基展开PNN模型LFig．1ProcessneuralnetworkbasedonweightfunctionW()一>：伽bz(￡)，(1)basisexpansionA(￡)===∑∑W(￡)(