BP神经网络算法预测模型

《BP神经网络算法预测模型》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、BP神经网络结构及算法1986年，Rumelhart和McCelland领导的科学家小组在《ParallelDistributedProcessing》一书中，对具有非线性连续转移函数的多层前馈网络的误差反向传播算法(ErrorBackProragation,简称BP)进行了详尽的分析，实现了Minsky关于多层网络的设想。由于多层前馈网络的训练经常釆用误差反向传播算法，人们也常把多层前馈网络直接称为BP网。釆用BP算法的多层前馈网络是目前应用最多的神经网络。BP神经网络的结构BP网络有三部分构成，即输入

2、层、隐含层(又称为中间层)和输出层，其中可以有多个隐含层。各层之间实现完全连接，且各层神经元的作用是不同的：输入层接受外界信息；输出层对输入层信息进行判别和决策；中间隐层用来表示或存贮信息。通常典型的BP网络有三层构成，即只有一个隐层。三层BP神经网络的结构可用图1表示。图1三层BP神经网络机构图BP神经网络的学习算法BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐含层逐层处理后，传向输出层。若输出层的实际输出与期望的输出(教师信号)不符

3、，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐含层向输入层逐层反传、并将误差分摊给各层的所有神经元，从而获得各层神经元的误差信号，此误差信号即作为修正各神经元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的，权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出误差减少到可接受的程度，或进行到预先设定的学习次数为止，标准BP算法流程见图2。图2标准BP算法流程在实际的应用中，三层前馈网络基本就能满足人们的需求，即一个输入层、一个隐含层和一个

4、输出层，由于只有一个隐含层，所以也称为单隐层BP网络。三层前馈网中，输入向量为P=p1,p2,…,pj…,pRT，如加入p0=1，可为隐层神经元引入阈值；隐层输出向量为Z=z1,z2,…,zk,…znT，如加入y0=1，可为输出层神经元引入阈值；输出层输出向量为Y=y1,y2⋯,yj⋯ymT；期望输出向量为T=t1,t2⋯,tj⋯tmT。输入层到隐层之间的权值矩阵用V表示，V=v1,v2⋯,vk⋯vqT，其中列向量vk为隐层第k个神经元对应的权向量；隐层到输出层之间的权值矩阵用W表示，W=w1,w2⋯,w

5、j⋯wmT，其中列向量vj为输出层第j个神经元对应的权向量。下面具体分析各层信号之间的数学关系。对于输出层，有：yj=fnⅇtjj=1,2,⋯mⅠnⅇtj=k=0qwkjzkj=1,2,⋯mⅡ其中yj为输出层的输出，nⅇtj为输出层第j个神经元的净输入，fx为转移函数，wkj是隐层第k个神经元与输出层第j个神经元之间的权值。zk是隐层第k个神经元的输出值。对于隐含层，有：zj=fnⅇtkk=1,2,⋯qⅢnⅇtk=i=0nvikpik=1,2,⋯qⅣ其中nⅇtk是隐层第k个神经元的净输入，vik是隐层第k

6、个神经元与输入层第i个神经元之间的连接权值，xi是输入层第i个神经元的输入值。以上两式中转移函数fx均为单极性Singmoid函数Ⅰ〜Ⅳ共同构成了三层前馈网的数学模型。一般定义误差函数E作为衡量网络性能的标准，即性能指数，在网络的性能良好时E很小，反之则很大。在网络的期望输出与实际输出不等时，一般将E定义为均方误差，即：E=Y-T2=j=1myj-tj2Ⅴ将上述误差定义式展开至隐层得：E=j=1myj-fnⅇtj2=j=1myj-fk=0qwkjzk2Ⅵ进一步展开至输入层得：E=j=1myj-fk=0qw

7、kjfnⅇtk2=j=1myj-fk=0qwkjfi=0Rvikpi2Ⅶ从上式可以看出，网络中性能指标E是wkj和vik的函数，因此调整wik和vij的值可以改变E。由于我们的目的是使E不断的减小，所以权值的调整量要与E的负梯度成正比，即：Δwkj=-η∂E∂wkjj=0,1,2⋯m;k=1,2,⋯qⅧΔvik=-η∂E∂viki=0,1,2⋯R;k=1,2,⋯qⅨ式中负号表示梯度下降，η∈0,1表示比例系数，在训练中反应了学习速率。这类算法常被称为误差的梯度下降算法。