资源描述：
《bp人工神经网络的应用及其实现技术_单潮龙》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、海军工程大学学报·16·总第93期JOURNALOFNAVALUNIVERSITYOFENGINEERING2000年第4期文章编号:1009-3486(2000)04-0016-07①BP人工神经网络的应用及其实现技术1②234单潮龙,马伟明,贲可荣,张磊(1.海军工程大学电气工程系,湖北武汉430033;2.海军工程大学电力电子技术研究所,湖北武汉430033;3.海军工程大学管理工程系,湖北武汉430033;4.海军工程大学研究生2队,湖北武汉430033)摘要:简述了BP人工神经网络的算法原理,利用Batchnet程序对一个三层
2、BP人工神经网络进行了设计,应用Matlab中人工神经网络工具箱设计了一个用于函数逼近的BP人工神经网络,最后,运用Matlab中可视化工具Simulink对一个BP人工神经网络例子进行了仿真,通过例子,探讨了BP人工神经网络的应用并介绍目前几种实用的BP人工神经网络实现技术.关键词:反向传播学习算法;人工神经网络;仿真;设计;Matlab;Simulink中图分类号:TP183文献标识码:A1BP人工神经网络及应用反向传播学习算法人工神经网络(BP人工神经网络)是80年代初发展起来的人工神经网络中最有实用价值的部分之一.早在1969年
3、,感知器的提出者M.Misky和S.Papert在他们的Perceptron专著中指出:简单的线性感知器只能解决线性可分样本的分类问题.简单的线性感知器仅有一层计算单元,而要[1]实现对复杂函数的逼近,必须采用多层前馈网络,例如,我们考察“异或”函数,若选用M-P模型,作用函数为阈值函数,则其实现网络为三层前馈网络,包含有一层隐层,如图1所示.对这种多层网络,感知器无法解决其隐层学习问题,限制了其发展.1988年Rumelhart和Mcclalland提出了多层前馈网络的反向传播算法(BP算法),解决了感知器不能解决的多层网络学习算法的
4、问题,其关键是引入了反向传播的误差信号来解决学习问题.算法的大致思路如下:对输入信号,首先向前传播到隐节点,经过作用函数(通常是Sigmoid函数)后,再把隐节点输出信号传播到输出节点,最后输出结果.算法的学习过程由正向传播和反向传播两图1XOR函数的三层NN网络实现部分组成.首先由正向传播过程开始,输入信息从输入层经隐单元层处理,并传向输出层,每一层神经元的状态只影响下一层神经元的状态.如果在输出层不能得到预期的结果,则将输出误差沿原来的连接通①收稿日期:2000-04-28②作者简介:单潮龙(1964-),男.讲师,博士生.总第93
5、期海军工程大学学报2000年第4期·17·路返回,即转入反向传播,通过修改各层神经元的权值,使得误差信号最小.为简单起见,考虑一个只有一个输出y的n节点的网络,节点的作用函数为Sigmoid型,下面就逐个样本学习的情况来推导BP算法.图2示出第j个单元接收到前一层信号并产生误差信号的过程.在第n步迭代时,第j个单元受到的前一层信号产生的净输入为pυj(n)=∑wji(n)yi(n)i=0经过作用函数φj(n)得到的单元j输出为yj(n)=φj(υj(n)),该单元的误差信号为ej(n)=dj(n)-yj(n)定义第n步迭代输出端总的平方
6、误差为ξ(n)=1e2图2单元j的信号流图2∑j(n)j∈c其中C包括所有的输出单元.设训练样本总数为N,则总的平方误差均值为N1ξAN=∑ξ(n)Nn=1其中ξAN为学习的目标函数,学习的目的是调整wji使得ξAN达到最小.当ξAN达到最小时,可认为Δwji=0,ξ(n)wji(n)※0,而当ξAN未达到最小时,ξ(n)wji(n)增大,则■wji(n)增大,ξ(n)wji(n)减小,则■wji(n)减小,且■wji(n)按照ξ(n)wji(n)下降方向修正.设学习步长为η,则由上分析可知ξ(n)ξ(n)ej(n)yj(n)υj(n)
7、■wji(n)=-η=-η···wji(n)ej(n)yj(n)υj(n)wji(n)=-η·ej(n)·(-1)·φ′j(υj(n))·yj(n)=ηej(n)φ′j(υj(n))·yj(n)其中δj(n)=ej(n)φ′j(υj(n))称为局部梯度,为误差信号与φ′j(υj(n))之积.下面分两种情况讨论:(1)当单元j是一个输出单元时,δj(n)=(dj(n)-yi(n))φ′j(υj(n)),■wji(n)=ηδj(n)yj(n)(2)当单元j是一个隐单元,k为输出单元时,ek(n)=dk(n)-yk(n)=dk(n)-φk(υ
8、k(n)),ξ(n)ξ(n)δj(n)=-φ′i(υj(n))=-∑ek(n)φ′j(υj(n))yj(n)kyj(n)=∑ek(n)φ′k(υk(n))·wkjφ′j(υj(n))=φ′j(υj(n))∑
