反向传播网络

《反向传播网络》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、反向传播网络原理及其应用1．引言反向传播网络（Back-PropagationNetwork,简称BP网络）是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络。它是一种多层前向神经网络，包括输入层、隐层、输出层，其中隐层可以是一层，也可以是多层其神经元的变换函数是S型函数，因此输出量为0到1之间的连续量，它可以实现从输入到输出的任意非线性映射。。BPNN前后层之前实现全连接，每层神经元直接无连接。2.用途及限制BP网络主要用于：1：函数逼近：用输入矢量和输出矢量训练一个网络逼近一个函数。2：模式识别：用一个特定的输出矢量将它与输入矢量联系起来。3：分类：把

2、输入矢量以所定义的合适方式进行分类。4：数据压缩：减少输出矢量维数以便于传输或存储。BP网络的产生要归功于BP算法的获得。BP算法要属于δ算法。它是一种监督式的学习算法。它的主要思想是：对于q个输出学习样本：P1，P2，…，Pq，已知与其对应的输出样本是：T1，…，Tq。学习的目的是用网络的实际输出A1，…Aq与其目标矢量T1,…,Tq之间的误差来修改其权值，使使Ae,(e=l,2,…,q)与期望的Te尽可能地接近;；即：使网络输出层的误差平方和达到最小。它是通过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差的变化而逐渐逼近目标的。每一次权值和偏差的变化都与

3、网络误差的影响成正比，并以反向传播的方式，通过网络将输出层的误差信号，沿原来的连接通路反传到每一层来修改前面各层神经元的权值直至达到期望目标。虽然反向传播法得到广泛的应用,但这也存在自身的限制与不足,主要表现在以下几点:()l需要较长的训练时间对于一些复杂的问题,BP算法可能要进行几小时甚至更长的时间的训练。这主要是由于学习速率太小所造成的。(2)完全不能训练这主要表现在网络出现的麻痹现象上。在网络的训练过程中,当其权值调得过大,可能使得所有的或大部分神经元的加权输入和过大,这使得激活函数的输入工作在S型转移函数的饱和区,从而导致其导数非常小而使得对网络权值的调节过程几乎

4、停顿下来。(3)局部极小值BP算法可以使网络权值收敛到一个解,但它并不能保证所求为误差超平面的全局最小解,很可能是一个局部极小解。这是因为BP算法采用的是梯度下降法,训练是从某一起始点沿误差函数的斜面逐渐达到误差的最小值。对于复杂的网络,其误差函数为多维空间的曲面,就像一个碗,其碗底是最小值点。但是这个碗的表面是凹凸不平的,因而在对其训练过程中,可能陷入某一小谷区,而这一个谷区产生的是一个局部极小值。由此点向各方向变化均使误差增加,以致于使训练无法逃出这一局部极小。如果对训练结果不满意的话,采用多层网络和较多的神经元可能得到更好的结果。然而增加神经元和层数,也增加了网络的

5、复杂性及训练时间。在一定情况下可能是不明智的。可代替的办法是选用几组不同的初始条件对网络进行训练,从中挑选最好结果。为了避免发生麻痹现象,一是选取较小的初始权值,二是采用较小的学习速率,但这又增加了训练时问。采用较大的学习速率,则可能引起网络训练的不稳定等问题。由于在人工神经网络中,反向传播法占据了非常重要的地位,所以近十几年来,许多研究人员对其做了深入的研究,提出了很多改进的方法。主要目标是为了加快训练速度,避免陷入局部极小值和改善其它能力。3.原理及方法反向传播网络其实是误差的反传与误差的反向传播算法的学习过程，由两个过程组成：信息正向的传播和误差反向的传播，输入层的

6、各神经元要负责接收来自外界输入的所有信息，并传递到中间层的各神经元；中间层就是内部的信息处理层，对信息变换进行负责，以信息变化能力的需求为依据，设计为单隐层或多隐层结构的中间层；最后一个隐层的传递各神经元的信息到输出层，经过进一步的处理后，完成了一次正向传播中的处理过程，再由输出层向外界输出信息的处理结果。正向传播和误差反向周而复始的传播信息的过程，是各层的权值不断进行调整的过程，也是神经晚了进行学习训练的一个过程，这一过程一直进行，直到网络输出的误差减少到能被接收的程度也可以达到预先设定到的学习次数。网络是由于其连接权的调整采用的是反向传播的学习算法而得名的网络学习是典

7、型的有导师学习，它通过一个使代价函数最小化过程来完成从输入到输出的映射，通常代价函数定义为所有输入模式上输出层单元希望输出与实际输出的误差平方和。图2所示为3层BP网络算法示意图。对于BP网络，当给定网络的一个输入模式时，它由输入层单元传到隐层单元，经隐层单元逐层处理后再送到输出层单元，由输出层单元处理后产生一个输出模式，该过程称为前向传播。如果输出响应与期望输出模式有误差，不满足要求，那么就转入误差后向传播，将误差值沿连接通路逐层传送并修正各层连接权值。对于给定的一组训练模式，不断用一个个训练模式训练网络，重复前向传播和后向