基于dfp校正拟牛顿法的傅里叶神经网络

《基于dfp校正拟牛顿法的傅里叶神经网络》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于DFP校正拟牛顿法的傅里叶神经网络林琳1，黄南天2,1，高兴泉1（1.吉林化工学院，信息与控制工程学院，吉林，132022;2.哈尔滨工业大学电气工程系，哈尔滨，150001）摘要：神经网络已经成为解决非线性系统辨识问题的有效的方法，但常用的多层感知器存在稳定性差、收敛速度慢等问题。在多层感知器和傅里叶级数基础上提出的傅里叶神经网络具有较好的泛化性、模式识别能力，但目前傅里叶神经网络的学习算法主要是采用最速下降法，易导致局部极小、学习速度慢等问题。牛顿法和拟牛顿法都能有效地解决最速下降法的主要缺陷，但牛顿法面对的一个难点就是Hesse矩阵的计算复杂度过高，拟牛顿法则不需要求解Hes

2、se矩阵，且在拟牛顿法的基础上提出的DFP校正拟牛顿法能够更精确的搜索。本文建立基于DFP校正拟牛顿法的傅里叶神经网络学习算法，并将其应用于非线性系统识别。通过相应的数值算例验证算法的性能，其结果和几类经典的神经网络算法做了相应的对比和分析。关键词：非线性系统辨识，傅里叶神经网络，最速下降法，牛顿法，DFP校正拟牛顿法中图分类号：TP183文献标识码：A1引言非线性系统辨识问题要求模型具有良好的泛化性和学习能力[1]，神经网络具有较好的泛化特点以及学习能力，已经成为解决非线性系统辨识问题的一类有效的方法。BP神经网络、径向基函数神经网络、支持向量机等已经应用于非线性系统辨识[2,3]。

3、以多层感知器和傅里叶级数为基础的傅里叶神经网络[4]具有较好的泛化能力与学习能力，适用于非线性系统识别领域。相比较典型多层感知器网络，如BP神经网络，傅里叶神经网络具有更好的泛化性能和学习性能。其已经应用于非线性系统控制、模式识别、图像处理、优化决策等领域[5-8]。由于传统的傅里叶神经网络采用的学习算法是最速下降法，因此在学习过程中易出现局部极值、学习速度慢的缺陷。傅里叶神经网络的另外一种学习算法最小二乘法的方法的主要缺陷在于：当模型噪声为有色噪声时，最小二乘不是无偏、一致估计；随着数据的增长，会出现所谓的“数据饱和”现象，即对于计算复杂度较高的问题，最小二乘法容易失效。而牛顿法(N

4、ewtonmethod)和拟牛顿法(Quasi-Newtonmethod)具有较快的收敛速度以及全局收敛性。牛顿法的主要问题就是需要求解Hesse矩阵，而Hesse矩阵的计算会引来计算复杂度高的问题，拟牛顿法则不需要求解目标函数的Hesse矩阵，已经成为一种有效的搜索学习算法。在拟牛顿法中，由Davidon、Fletcher和Powell提出的DFP校正拟牛顿法则有更好的性质，例如对于二次函数具有二次终止性质，具有遗传性质，以及在初始Hesse矩阵选择为单位矩阵的时候能产生共轭方向和共轭梯度。对于非二次函数，能校正保证Hesse矩阵的正定性质；单次计算复杂度为O(n2)；具有超线性的收

5、敛速度；当采用精确线性搜索时候，如果函数为凸，则方法具有全局收敛性。因此DFP校正拟牛顿法比传统拟牛顿法更适合解决学习搜索问题。本文提出基于DFP校正拟牛顿法的傅里叶神经网络学习算法，并应用于解决线性系统识别问题。通过仿真实验与传统方法相比较，验证了新方法的有效性。基金项目：吉林省科技发展计划项目(2009148)；吉林省教育厅“十二五”科学技术研究项目（2011262）。2DFP校正拟牛顿法拟牛顿法是对于牛顿法的进一步拓展，DFP校正拟牛顿法属于拟牛顿法的一种。牛顿法的关键在于利用目标函数的Hesse矩阵提供的曲率信息，具有较快的收敛速度、能避免局部极小问题。但计算Hesse矩阵的工

6、作量大，并且有的目标函数的Hesse矩阵很难计算，甚至不能求出。针对这一缺陷，发展起来的拟牛顿法不需要求解Hesse矩阵，且具有更高的收敛速度。相对于牛顿法每次的迭代需要O(n3)次乘法，拟牛顿法仅仅需要O(n2)次。DFP校正拟牛顿法的主要优点在于对于二次函数具有二次终止性质，具有遗传性质，以及在初始Hesse矩阵选择为单位矩阵的时候能产生共轭方向和共轭梯度。对于非二次函数，能校正保证Hesse矩阵的正定性质；单次计算复杂度为O(n2)；具有超线性的收敛速度；当采用精确线性搜索时候，如果函数为凸，则方法具有全局收敛性。3基于DFP校正拟牛顿法的傅里叶神经网络3.1傅里叶神经网络的结构

7、对于一个周期性的随机过程，其周期性的随机函数就可以展为一个傅里叶级数，且此傅里叶级数的系数随着级数项数的增加，逐渐趋向于0。这就是傅里叶神经网络建立的基础，即通过一个有限项的傅里叶级数近似一个随机的线性或者非线性过程。基于这一原则建立傅里叶神经网络，其结构如同多层感知器。典型的傅里叶神经网络结构如图1所示，是一个单输入、多输出的三层结构。包括输入层、隐含层和输出层，其中从输入层到隐含层的权值均为1，和之间的连接权值为。其中是由傅里叶级数产生的正