bp算法改进应用

bp算法改进应用

ID:30766557

大小:156.00 KB

页数:7页

时间:2019-01-03

bp算法改进应用_第1页
bp算法改进应用_第2页
bp算法改进应用_第3页
bp算法改进应用_第4页
bp算法改进应用_第5页
资源描述:

《bp算法改进应用》由会员上传分享,免费在线阅读,更多相关内容在工程资料-天天文库

1、BP算法及其改进应用0引肯神经网络(NeuralNetworks,简称NN)是由大量的、简单的处理单元(简称为神经元)广泛的相互连接而成的复杂网络系统,它反映了人脑功能的许多基本特性,是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力,特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关,是一

2、门新兴的边缘交叉学科。1986Rumelhart和McCelland等人提出并行分布处理(PDP)的理论,同时提出了多层网络的误差反向传播学习算法,简称BP算法。这种算法根据学习的误差大小,把学习的结果反馈到中间层次的隐单元,改变它的权系数矩阵,从而达到预期的学习目的,解决了多层网络的学习问题。BP算法从实践上证明神经网络的运算能力很强,可以完成许多学习任务,解决许多具体问题。BP网络是迄今为止最常用、最普通的网络。1基于BP算法的多层前馈模型1.1数学模型其网络结构如图1所示yQ22Q、、二-二

3、9直三图1BP网络结构模型的数学表达如下:输入向量:X=(“,兀2,…,石,…,勺)隐层输出向量:Y=⑶,力,…,片,…,ym)T输出层输出向量:O=(o,O2,・・・,Ok,・・・,o"T期望输出向量:d=(〃i,〃2,…,心,•••,〃/)丁输入层到隐层之间的权值矩阵:V=(V1,V2,...,VJ,...,VW)隐层到输出层Z间的权值矩阵:W=(W1,W9,...,VK,...,W/)mneh=E^/^/j"k=1,2,...,/(1-2)对于隐层:yj=f(netj)j=l,2,...,

4、fn(1-3)nnetJ=DijXii=0j=1,2,...,加(1-4)其中,/(•)为单极性Sigmoid函数f(x)=-1或双极性Sigmoid函数k=1,2,…」(1-1)1+w1.2各层计算对于输出层:ok=f(netk)/w=2BP学习算法2.1网络误差与权值调整输出误差E定义:E=-(d-o)2=~Y(dk-ok)222k=[将以上误差定义式展开至隐层:1/1/mE=-^lk-f(netk)]2=工[如-2k=l2k=y=01zm进一步展开至输入层:£=工{心-/[工耳汀(呦/)]

5、}22k=lj=0]Imn=-/[工Wj汀(为叫产•)1}22k={j=0i=0j=1,2,...,/d£(1-5)(1-6)(1-7)(1-8)i=0」,…屮;j=12・・・N(1-9)式中负号表示梯度下降,常数ne(o,i)表示比例系数。在全部推导过程中,对输出层有)=0,1,・・・,加;k=1,2,・・・,Z对隐层有z=0,1,...,/?;j=1,2,...,m2.2算法推导对于输出层式(1-8),可以写成:△⑷孙-异E~n叫3wjk(MO)对于隐层式(1-9),可以写成:△切二-“uVy

6、dnetjdv^"ij对输岀层和隐层各定义一个误差信号,令综合利用上式可得权值调整为:Awjk=7]^yj(1-11)(1-12)(1-13)(1-14)(1-15)可以看出,只要计算出式(1-14).式(1・15)中的误差信号》。和/〉',权值调整量的计算推导即可完成。下面继续推导如何求误差信号^和莎丫。(1-16)对于输岀层,尸可展开为:殒=-且二二-竺单丄二-竺广(必以)dnctdoidncti,doi,(1-17)对于隐层,歹可展开为:叭=-=-学学二=-学广(呦•)7dnetjdyjdn

7、et;dyj对式(1・5)求各阶偏导数可得:#=-(如-仪)°。k(1-18)1/m对于隐层有:£=工[心-/(2>伙*)]22kmj=odF/故可得:-—=-工9丘-oJf叫)wjkdyjk=(1-19)(1-20)将上式代入(1・16),并利用单极性Sigmoid函数=-可得:说=(蘇-ok)ok(l-ok)(1-21)II必=[工⑷:-乞)fgtk)Wjk]f(netj)=(为说WjkQj(ly)k=k=将式(1・21)、(1-22)代入式(1・14)、(1-15)可得三层前馈网的BP

8、学习算法权值调整的计算公式为:=曲yj=〃(办一ok)ok(1-ok)yj(1-22)(1-23)Zj=码Xi=〃(工风wQj(1-yj)Xi(1-24)k=i3基于BP的多层前馈网的主要能力、局限性及改进3.1主要能力(1)非线性映射能力多层前馈网能学习和存贮大量输入■输出模式映射关系,而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练,它便能完成由n维输入空间到m维输出空间的非线性映射。(2)泛化能力当向网络输入训练时未曾见过的非样本数

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。