资源描述：
《bp人工神经网络的应用及其实现技术》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、海军工程大学学报#16#总第93期JOURNALOFNAVALUNIVERSITYOFENGINEERING2000年第4期文章编号:1009-3486(2000)04-0016-07¹BP人工神经网络的应用及其实现技术1º234单潮龙,马伟明,贲可荣,张磊(1.海军工程大学电气工程系,湖北武汉430033;2.海军工程大学电力电子技术研究所,湖北武汉430033;3.海军工程大学管理工程系,湖北武汉430033;4.海军工程大学研究生2队,湖北武汉430033)摘要:简述了BP人工神经网络的算法原理,利用Ba
2、tchnet程序对一个三层BP人工神经网络进行了设计,应用Matlab中人工神经网络工具箱设计了一个用于函数逼近的BP人工神经网络,最后,运用Matlab中可视化工具Simulink对一个BP人工神经网络例子进行了仿真,通过例子,探讨了BP人工神经网络的应用并介绍目前几种实用的BP人工神经网络实现技术.关键词:反向传播学习算法;人工神经网络;仿真;设计;Matlab;Simulink中图分类号:TP183文献标识码:A1BP人工神经网络及应用反向传播学习算法人工神经网络(BP人工神经网络)是80年代初发展起来的
3、人工神经网络中最有实用价值的部分之一.早在1969年,感知器的提出者M.Misky和S.Papert在他们的Perceptron专著中指出:简单的线性感知器只能解决线性可分样本的分类问题.简单的线性感知器仅有一层计算单元,而要[1]实现对复杂函数的逼近,必须采用多层前馈网络,例如,我们考察/异或0函数,若选用M-P模型,作用函数为阈值函数,则其实现网络为三层前馈网络,包含有一层隐层,如图1所示.对这种多层网络,感知器无法解决其隐层学习问题,限制了其发展.1988年Rumelhart和Mcclalland提出了多
4、层前馈网络的反向传播算法(BP算法),解决了感知器不能解决的多层网络学习算法的问题,其关键是引入了反向传播的误差信号来解决学习问题.算法的大致思路如下:对输入信号,首先向前传播到隐节点,经过作用函数(通常是Sigmoid函数)后,再把隐节点输出信号传播到输出节点,最后输出结果.算法的学习过程由正向传播和反向传播两图1XOR函数的三层NN网络实现部分组成.首先由正向传播过程开始,输入信息从输入层经隐单元层处理,并传向输出层,每一层神经元的状态只影响下一层神经元的状态.如果在输出层不能得到预期的结果,则将输出误差沿
5、原来的连接通¹收稿日期:2000-04-28º作者简介:单潮龙(1964-),男.讲师,博士生.总第93期海军工程大学学报2000年第4期#17#路返回,即转入反向传播,通过修改各层神经元的权值,使得误差信号最小.为简单起见,考虑一个只有一个输出y的n节点的网络,节点的作用函数为Sigmoid型,下面就逐个样本学习的情况来推导BP算法.图2示出第j个单元接收到前一层信号并产生误差信号的过程.在第n步迭代时,第j个单元受到的前一层信号产生的净输入为pTj(n)=Ewji(n)yi(n)i=0经过作用函数Uj(n)
6、得到的单元j输出为yj(n)=Uj(Tj(n)),该单元的误差信号为ej(n)=dj(n)-yj(n)定义第n步迭代输出端总的平方误差为N(n)=1e2图2单元j的信号流图2Ej(n)jIc其中C包括所有的输出单元.设训练样本总数为N,则总的平方误差均值为N1NAN=EN(n)Nn=1其中NAN为学习的目标函数,学习的目的是调整wji使得NAN达到最小.当NAN达到最小时,可认为$wji=0,5N(n)P5wji(n)y0,而当NAN未达到最小时,
7、5N(n)P5wji(n)
8、增大,则
9、vwji(n)
10、增大,
11、
12、5N(n)P5wji(n)
13、减小,则
14、vwji(n)
15、减小,且
16、vwji(n)
17、按照
18、5N(n)P5wji(n)
19、下降方向修正.设学习步长为G,则由上分析可知5N(n)N(n)5ej(n)5yj(n)5Tj(n)vwji(n)=-G=-G###5wji(n)5ej(n)5yj(n)5Tj(n)5wji(n)=-G#ej(n)#(-1)#Ucj(Tj(n))#yj(n)=Gej(n)Ucj(Tj(n))#yj(n)其中Dj(n)=ej(n)Ucj(Tj(n))称为局部梯度,为误差信号与Ucj(Tj(n))之积.下
20、面分两种情况讨论:(1)当单元j是一个输出单元时,Dj(n)=(dj(n)-yi(n))Ucj(Tj(n)),vwji(n)=GDj(n)yj(n)(2)当单元j是一个隐单元,k为输出单元时,ek(n)=dk(n)-yk(n)=dk(n)-Uk(Tk(n)),5N(n)5N(n)Dj(n)=-Uci(Tj(n))=-Eek(n)Ucj(Tj(n))5yj(n)k5yj(n)=Eek(n
