§6.3反向传播（bp）学习算法

《§6.3反向传播（bp）学习算法》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、§6.3反向传播(BP)学习算法前面分析得知，无论是Rosenblatt的感知器学习规则，还是Widrow和Hoff的LMS学习算法，它们只能用来训练单层神经网络。因为对于单层线性神经元网络，误差是网络权值的显式函数，其相对权值的导数容易求得。但是，单层神经网络故有的局限性就是只能解线性可分的分类问题。Rosenblatt和Widrow也意识到了该局限性，并且提出了采用多层神经网络的解决方法。但由于具有非线性作用函数的多层神经网络的权值与误差的关系比较复杂，他们没有找到训练多层神经网络合适的学习算法。1974年PaulWerboss第一次提出了一个训练多层神经网络的反向传播算法，由于该

2、算法是在一般网络中描述的，它只是将神经网络作为一个特例。因此，在神经网络研究领域内没有得到广泛传播。直到20世纪80年代中期，反向传播(BP—BackPropagation)算法才被重新发现并广泛宣扬。特别是DavidRumelhart和JamesMcClelland等学者在《并行分布式处理》一书中给出了训练多层神经网络的BP学习算法，为解决多层神经网络的学习提供了保证。该书的发行也引发了国际上新一轮的神经网络研究热潮。6.3.1多层前向神经网络基于误差反向传播学习算法的前向神经网络也称为BP网络。目前，在神经网络的实际应用中，80％—90％的神经网络是BP网络或它的变化形式。因此，B

3、P网络是应用最广泛的神经网络，它体现了许多人工神经网络最精华的特点。一、多层神经网络结构图6.3.1给出了一个多层神经网络的结构。可以看出神经网络由输入层、隐含层和输出层神经元组成，其中隐含层只有一层，当然也可以有多层隐含层，前一层至后一层神经元之间通过权系数联接。图6.3.1　多层神经网络结构图6.3.1中给出的多层神经网络输入层有个输入神经元，隐含层有个神经元，输出层有个神经元。其中是输入层第个神经元和隐含层第个神经元之间的连接权值，是隐含层第个神经元和输出层第个神经元之间的连接权值。对于输入层神经元，其作用函数取线性函数，即神经元的输出等于输入。隐含层和输出层神经元的输入分别是

4、上一层神经元输出的加权和，且每个神经元的输出取决于神经元的激励程度和相应的作用函数。二、多层神经网络的能力对于单层感知器或单层的ADALINE网络，它们只能解决线性可分的模式分类问题。但实际生活中，有许多模式分类问题是不是线性可分的。对于这样的分类问题，采用多层神经网络就可以解决。当然多层神经网络的能力不仅仅是模式分类的能力，更重要的是多层神经网络能够逼近任意非线性函数，这也是它在控制领域中得到青睐的根本所在。因为在实际控制中，无论是过程建模，还是控制器设计，其实都是在寻找一个函数。不同的是过程建模寻找的函数需要反映出过程的动态特性，而控制器设计寻找的函数是能够反映出期望输出与控制量之

5、间的对应关系。研究表明，一个三层神经网络，其隐含层神经元采用S型作用函数，输出层采用线性函数，只要在隐含层中有足够的神经元可供选择，就几乎可以以任意精度逼近任何感兴趣的函数。6.3.2BP学习算法前面分析了多层前向神经网络的能力，现在关心的是如何对该网络进行训练，使其达到期望的输出。显然，多层神经网络的学习属于有监督学习，其学习过程由信息正向传播和误差反向传播两部分组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播阶段，将误差信号沿原来的通路返回，通过修改各层神经元的权值，使误

6、差信号减小。一、神经网络的前向计算对于图6.3.1中给出的多层神经网络，为了便于分析，设网络中的各神经元的阈值为零，其输入信息的正向传播过程如下：输入层：输入层神经元的作用函数取线性函数，即神经元输出等于输入。对于第个神经元，其输出为：(6.3.1)隐含层：隐含层的第个神经元的净输入为(6.3.2)其中是输入层的神经元数。隐含层第个神经元的输出为(6.3.3)式中为隐含层第个神经元的作用函数。输出层：隐含层第个神经元的输出将通过加权系数向前传播到输出层第个神经元，输出层第个神经元的净输人为(6.3.4)其中为隐含层的神经元数。输出层第个神经元的输出，即实际网络的输出为(6.3.5)式中

7、为输出层第个神经元的作用函数。二、BP学习算法对于图6.3.1所示的多层神经网络，若网络输出()与期望输出值()不一致，则将其误差信号()从输出端反向传播，并在传播过程中对网络中各神经元之间的连接权值不断修正，使在神经网络的输出趋向于期望输出值。1、神经网络的性能函数误差反向传播学习算法属于有监督学习，设有组样本数据为：，，……，，……，(6.3.6)其中是第组样本输入向量，是该输入对应的目标输出，。现在用第组样本数据对多层神经网络进行训练()