资源描述：
《BP神经网络原理与应用实习论文.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。
1、学年论文（本科）学院数学与信息科学学院专业信息与计算科学专业年级10级4班姓名徐玉琳于正平马孝慧李运凤郭双双任培培论文题目BP神经网络原理与应用指导教师冯志敏成绩2013年9月24日BP神经网络的原理与应用1.BP神经网络的原理1.1BP神经网络的结构 1.1.1BP神经网络模型是一个三层网络,它的拓扑结构可被划分为:输入层(InputLayer)、输出层(OutputLayer),隐含层(HideLayer)．其中,输入层与输出层具有更重要的意义,因此也可以为两层网络结构(把隐含层划入输入层,或者把隐含层去掉)每层都有许多简单的能够执行并行运算的神经元组成,这些神经
2、元与生物系统中的那些神经元非常类似,但其并行性并没有生物神经元的并行性高． 1.1.2BP神经网络的特点： 1）网络由多层构成,层与层之间全连接,同一层之间的神经元无连接． 2）BP网络的传递函数必须可微．因此,感知器的传递函数-——二值函数在这里没有用武之地．BP网络一般使用Sigmoid函数或线性函数作为传递函数．3）采用误差反向传播算法(Back-PropagationAlgorithm)进行学习．在BP网络中,数据从输入层隐含层逐层向后传播,训练网络权值时,则沿着减少误差的方向,从输出层经过中间各层逐层向前修正网络的连接权值．随着学习的不断进行,最终的误差
3、越来越来小．1.2BP神经网络的学习过程 BP神经网络的学习算法实际上就是对误差函数求极小值的算法,它采用的算法是最速下降法,使它对多个样本进行反复的学习训练并通过误差的反向传播来修改连接权系数,它是沿着输出误差函数的负梯度方向对其进行改变的,并且到最后使误差函数收敛于该函数的最小点．1.3BP网络的学习算法 BP网络的学习属于有监督学习,需要一组已知目标输出的学习样本集．训练时先使用随机值作为权值,修改权值有不同的规则．标准的BP神经网络沿着误差性能函数梯度的反向修改权值,原理与LMS算法比较类似,属于最速下降法．1.3.1拟牛顿算法牛顿法是一种基于二阶泰勒级数的快
4、速优化算法．其基本方法是式中----误差性能函数在当前权值和阀值下的Hessian矩阵（二阶导数）,即牛顿法通常比较梯度法的收敛速度快,但对于前向型神经网络计算Hessian矩阵是很复杂的,付出的代价也很大．有一类基于牛顿法的算法不需要二阶导数,此类方法称为拟牛顿法（或正切法）,在算法中的Hessian矩阵用其近似值进行修正,修正值被看成梯度的函数．1）BFGS算法在公开发表的研究成果中,你牛顿法应用最为成功得有Boryden,Fletcher,Goldfard和Shanno修正算法,合称为BFG算法．该算法虽然收敛所需的步长通常较少,但在每次迭代过程所需要的计算量和
5、存储空间比变梯度算法都要大,对近似Hessian矩阵必须进行存储,其大小为,这里n网络的链接权和阀值的数量．所以对于规模很大的网络用RPROP算法或任何一种梯度算法可能好些；而对于规模较小的网络则用BFGS算法可能更有效．2）OSS算法由于BFGS算法在每次迭代时比变梯度算法需要更多的存储空间和计算量,所以对于正切近似法减少其存储量和计算量是必要的．OSS算法试图解决变梯度法和拟牛顿（正切）法之间的矛盾,该算法不必存储全部Hessian矩阵,它假设每一次迭代时与前一次迭代的Hessian矩阵具有一致性,这样做的一个有点是,在新的搜索方向进行计算时不必计算矩阵的逆．该算
6、法每次迭代所需要的存储量和计算量介于梯度算法和完全拟牛顿算法之间．1.3.2最速下降BP法最速下降BP算法的BP神经网络,设k为迭代次数,则每一层权值和阀值的修正按下式进行式中—第k次迭代各层之间的连接权向量或阀值向量；—第k次迭代的神经网络输出误差对各权值或阀值的梯度向量．负号表示梯度的反方向,即梯度的最速下降方向；—学习效率,在训练时是一常数．在MATLAB神经网络工具箱中,其默认值为0.01,可以通过改变训练参数进行设置；—第k次迭代的网络输出的总误差性能函数,在MATLAB神经网络工具箱中BP网络误差性能函数默认值为均方误差MSE,以二层BP网络为例,只有一个
7、输入样本时,有若有n个输入样本根据公式和各层的传输函数,可以求出第k次迭代总误差曲面的梯度,分别代入式子便可以逐次修正其权值和阀值,并是总的误差向减小的方向变化,直到达到所需要的误差性能为止．1.4BP算法的改进BP算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点,但标准BP算法存在以下缺点：收敛速度缓慢；容易陷入局部极小值；难以确定隐层数和隐层节点个数．在实际应用中,BP算法很难胜任,因此出现了很多改进算． 1.4.1利用动量法改进BP算法标准BP算法实质上是一种简单的最速下降静态寻优方法,在修正W(K)时,只按照第K步的负梯度方向
