关于人工神经网络的学习方法

《关于人工神经网络的学习方法》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、关于人工神经网络的学习方法信计一班陈思为0857129摘要:人T神经网络是一种新的数学建模方式，它具有通过学习逼近任意非线性映射的能力。本文提出了一种基于动态BP神经网络的猜测方法，阐述了其基本原理，并以典型实例验证。关键字：神经网络，BP模型。引言：在系统建模、辨识和猜测中，对于线性系统，在频域，传递函数矩阵可以很好地农达系统的黑箱式输入输出模型；在时域，Box-Jenkins方法、冋归分析方法、ARMA模型等，通过各种参数估计方法也可以给出描述。对于非线性吋间序列猜测系统，双线性模型、门限口回归模型、ARCH模型都需要在对数据的内在规律知道不多的情况下对序列间关系进行假定

2、。可以说传统的非线性系统猜测，在理论研究和实际应用方面，都存在极大的困难。相比Z下，神经网络可以在不了解输入或输出变量间关系的前提下完成非线性建模［4,6］。神经元、神经网络都有非线性、非局域性、非定常性、非凸性和混沌等特性，与各种猜测方法有机结合具有很好的发展前景，也给猜测系统带来了新的方向与突破。建模算法和猜测系统的稳定性、动态性等研究成为当今热点问题。1=1前在系统建模与猜测屮，应用最多的是静态的多层前向神经网络，这主要是因为这种网络具冇通过学习逼近任意非线性映射的能力。利川静态的多层前向神经网络建立系统的输入/输出模型，本质上就是基于网络逼近能力，通过学习获知系统差分

3、方程中的非线性函数。但在实际应用中，需要建模和猜测的多为非线性动态系统，利用静态的多层询向神经网络必须事先给定模型的阶次，即预先确定系统的模型，这一点非常难做到。近来，有关基于动态网络的建模和猜测的研究，代表了神经网络建模和猜测新的发展方向。正文：2BP神经网络模型BP网络是采用Widrow-Hoff学习算法和非线性可微转移函数的多层网络。典型的BP算法采用梯度下降法，也就是Widrow-Hoff算法。现在有许多基本的优化算法，例如变尺度算法和牛顿算法。BP神经网络包插以卜•单元：①处理单元（神经元），即神经网络的基本组成部分。输入层的处理单元只是将输入值转入相邻的联接权重，

4、隐层和输出层的处理单元将它们的输入值求和并根据转移函数计算输出值。②联接权重。它将神经网络中的处理单元联系起来，其值随各处理单元的联接程度而变化。③层。神经网络一般具冇输入层x、隐层y和输出层o。④阈值。其值可为怛值或可变值，它可使网络能更自由地获取所要描述的函数关系。⑤转移函数F。它是将输入的数据转化为输出的处理单元，通常为非线性函数。BP神经网络结构。1基本算法BP算法主要包含4步，分为向前传播和向后传播两个阶段：1）向前传播阶段从样本集中収一个样本，将Xp输入网络；计算相应的实际输出Op在此阶段，信息从输入层经过逐级的变换,传送到输出层。这个过程也是网络在完成练习后止常

5、运行时的执行过程。2）向后传播阶段计算实际输岀Op与相应的理想输出Yp的差；按极小化误差的方式调整权矩阵。这两个阶段的工作受到精度要求的控制，在这里取作为网络关于第p个样木的谋差测度，而将网络关于整个样木集的谋差测度立义为。基本算法流程。2动态BP神经网络猜测算法在经典的BP算法以及其他的练习算法中都有很多变量,这些练习算法可以确定一个ANN结构，它们只练习固定结构的ANN权值。在自动设计ANN结构方而,也己有较多的尝试，比如构造性算法和剪枝算法。前一种是先随机化网络，然后在练习过程屮有必要地增加新的层和结点；而剪枝法则正好相反。文献［2］中提出了演化神经网络的理念，并把EP

6、算法A/BP进行了组合演化；也有很多学者把遗传算法和BP进行结合，但这些算法都以时间复杂度以及空间复杂度的增加为代价。根据Kolmogorov定理，对于任意给定的L2型连续断数f：/0,MlRm,f可以精确地用一•个三层前向神经网络来实现，因而可以只考虑演化网络的权值和结点数而不影响演化结果。基于此，在BP原有算法的基础上，增加结点数演化因子，然后记录每层因子各异时演化出的结构，最后选取最优的因子及其网络结构，这样就可以避免由于增加或剪枝得到的局部最优。根据实验得知，不同的猜测精度也影响网络层神经元的结点数，所以对根据要求动态地建立猜测系统。具体步骤如下：将输入向量和冃标向量

7、进行归一化处理。读取输入向量、冃标向量，记录输入维数叭输出层结点数n。当练习集确定之厉，输入层结点数和输出层结点数随之而确定，首先碰到的一个I•分重要而乂困难的问题是如何优化隐层结点数和隐层数。实验表明，假如隐层结点数过少，网络不能具有必要的学习能力和信息处理能力。反Z,若过多，不仅会大大增加网络结构的复杂性，网络在学习过程中更易陷入局部极小点，而且会使网络的学习速度变得很慢。隐层结点数的选择问题一直受到神经网络研究工作者的高度垂视oGorman指出隐层结点数s与模式数7的关系是:s=log2N；Kol