资源描述：
《人工神经网络5BP神经网络ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、人工神经网络(ArtificalNeuralNetwork)张 凯副教授武汉科技大学计算机学院1第五章BP神经网络1.研究背景2.学习规则3.感知机结构4.感知机学习规则2研究背景罗斯布莱特的感知机学习规则和伯纳德和玛西娅的LMS算法是设计用来训练单层的类似感知器的网络的。如前面几章所述,这些单层网络的缺点是只能解线性可分的分类问题。罗斯布莱特和伯纳德均意识到这些限制并且都提出了克服此类问题的方法：多层网络。但他们未将这类算法推广到用来训练功能更强的网络。研究背景韦伯斯（Werbos）在他1974年博士的论文中第一次描述了训练多层神经网络的一个算法
2、，论文中的算法是在一般网络的情况中描述的，而将神经网络作为一个特例。论文没有在神经网络研究圈子内传播。研究背景直到20世纪80年代中期,反向传播算法才重新被发现并广泛地宣扬,这个算法因被包括在《并行分布式处理》(ParallelDistributedProcessing)[RuMc86]一书中而得到普及,才使之成为迄今为止最著名的多层网络学习算法—BP算法,由此算法训练的神经网络,称之为BP神经网络。研究背景DavidRumelhartJ.McClelland研究背景BP网络广泛应用于函数逼近、模式识别/分类、数据压缩等,80%-90%的人工神经网
3、络模型是采用BP网络或它的变化形式,它也是前馈网络的核心部分,体现了人工神经网络最精彩的部分。异或问题x1x2y000110110110多层网络求解异或问题输出函数：用一个简单的三层感知器就可得到解决多层网络求解异或问题x1+x2+0.5=0x1+x2-1.5=00.7*y1-0.4y2-1=0多层网络求解异或问题BP神经元及BP网络模型BP神经元及BP网络模型BP神经元与其他神经元类似，不同的是BP神经元的传输函数为非线性函数，最常用的函数是logsig和tansig函数，其输出为：BP神经元及BP网络模型BP神经元及BP网络模型BP网络一般为多
4、层神经网络。由BP神经元构成的二层网络如图所示，BP网络的信息从输入层流向输出层，因此是一种多层前馈神经网络。BP神经元及BP网络模型如果多层BP网络的输出层采用S形传输函数(如logsig)，其输出值将会限制在较小的范围内(0,l)；用线性传输函数则可以取任意值。BP神经元及BP网络模型前一层的输出是后一层的输入网络的输入网络的输出BP神经元及BP网络模型BP网络的学习在确定了BP网络的结构后,要通过输入和输出样本集对网络进行训练,亦即对网络的阈值和权值进行学习和修正,以使网络实现给定的输入/输出映射关系。BP网络的学习BP网络的学习过程分为两个
5、阶段：第一个阶段是输入已知学习样本,通过设置的网络结构和前一次迭代的权值和阈值,从网络的第一层向后计算各神经元的输出。第二个阶段是对权值和阈值进行修改,从最后一层向前计算各权值和阈值对总误差的影响(梯度),据此对各权值和阈值进行修改。BP网络的学习以上两个过程反复交替，直到达到收敛为止。由于误差逐层往回传递，以修正层与层间的权值和阈值，所以称该算法为误差反向专播(errorbackpropagation)算法，这种误差反传学习算法可以推广到有若干个中间层的多层网络，因此该多层网络常称之为BP网络。BP网络的学习标准的BP算法也是一种梯度下降学习算法
6、，其权值的修正是沿着误差性能函数梯度的反方向进行的。针对标准BP算法存在的一些不足，出现了几种基于标准BP算法的改进算法，如变梯度算法、牛顿算法等。函数逼近直到现在为止，在本书中看到的神经网络的应用多是在模式分类方面。神经网络在本质上也可被看作是函数逼近器。例如，在控制系统中，目标是要找到一个合适的反馈函数。应用举例求解函数逼近问题有21组单输入矢量和相对应的目标矢量，试设计神经网络来实现这对数组的函数关系2021/9/323函数逼近它能将测量到的输出映射为控制输入。考虑图中的两层的1-2-1网络。函数逼近此例中,第一层的传输函数是logsig函数
7、第二层的是线性函数。函数逼近注意网络的响应包括两步，每一步对第一层中的一个logsig形神经元的响应。通过调整网络的参数，每一步的曲线形状和位置都可以发生改变，如在下面讨论中将会见到的那样。函数逼近目标矢量相对于输入矢量的图形初始网络的输出曲线2021/9/327函数逼近训练1000次训练2000次2021/9/328函数逼近训练3000次训练5000次2021/9/329函数逼近从这个例子中，可以看到多层网络的灵活性。看起来，只要在隐层中有足够数量的神经元，我们可以用这样的网络来逼近几乎任何一个函数。事实上，研究已表明两层网络在其隐层中使用S形传
8、输函数，在输出层中使用线性传输函数，就几乎可以以任意精度逼近任何感兴趣的函数，只要隐层中有足够的单元可用([Host89]
