资源描述：
《共轭梯度法在BP网络中的应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、笋创‘创‘创卜絮·去·书学术探讨玲沐带带侧卜闷卜素带共扼梯度法在网络中的应用周建华东南大学电气工程系南京摘要该文针对广泛使用的前向多层网络的算法存在的收敛速率低、有局部振荡的缺陷,提出了共扼梯度,、用概率接受原则决定。法改进算法它在共耗梯度方向修正权值使目标函数值变化的取舍同时给出了提高网函数方法。实例证明在,。络抗过配合性能的罚不同的初值下共扼梯度法均具有快的全局收敛性关健词人工神经网络算法共抚梯度,加,一己明脚,,币,一鳍,在区间,」内为人工神经网络的原理及学习算法口、,,功‘一‘人工神经网络访简称一树。艺诬咐刁,是人脑功能的某种简化、由大量神经元广泛互联组
2、成抽象。在神经,及模拟网络中通过大量神经元之间的相互联系存储知识与信息,神经元之间的相互作用实现知识信息的处理。一个经过训练的神经网络即具备类似人的模式识别、联想记忆的功能。该文针对模式识别中广泛采用的前向神经网络,探讨学习算法的改进方法。前向神经网络模型图前向神经网络模型由图神经元组织成的前向神经网络如图所示,网络不仅有输人层节点,输出层节点,而且有一层或多层隐节。,图神经元模型点输人信号从输人层前向传播到隐层经非线性函数,。在前向神经网络而,简称作用后再传到输出层得到对应的输出如果网络输出与期,,中,基本处理单元神经元是一多输人单输出的望输出有差异则通过修正
3、各连接权值使总体误差最小这。,,一,一‘非线性元件如图所示—其中‘为输人信号为相个过程就是前向网络的学习过程前向网络多采用基于误,。应输人至此神经元的联系,表征为权值,为神经元的触发差反向传播的算法因而又称为网络阑值,神经元的总输人为所有输人的算术加权和。如果节点学习算法函数采用非线性的函数,则神经元的输出取值基本算法作者简介周建华,博士研究生,主要研究专家系统、人工神经网络技术在电机电器及控制、电气设备试验与故障诊断中的应用,擅长于软件开发及数据库应用。计算机工程与应用一算法即误差的反向传播算法是共辘梯度法原理。,前向闭网络有教师监督学习的普遍采用的有效方法对
4、图共扼梯度法是重要的无约束最优化方法其基本思,,,,,所示的前向神经网络设有对学习样本作⋯想是利用已知点处的梯度构造一组共扼方向并据此搜索,,‘,。对应第对样本神经元节点的输出记为则节点目标函数极值的输人为枯艺尹抓将神经元闹值看成是对应于输出前向网络神经元节点间的连接权值空间记为,目标,为的节点的联结权值函数取为是对角线为零元素的对称矩阵基本算法中的搜’,为迭代次如,显然相邻搜索方向正交,一一索方向为舞。,‘命鑫〔叼司咨一洪扼取第一步搜索方向为负梯度方向即、一性竺竺户、,岔、,,二其中宁为网络的实际输出反映网络输出与样本的学习速率“‘则△一“‘’弓、‘总体误差。
5、所谓学习就是进行目标函数的无约束最小优釜化,采用梯度法在最速下降负梯度方向搜寻的最小值,第一步迭代后计算得到目标函数对权值空间的负梯度方向为一‘,组合,则神经元间连接权值的修正式为奇已有的梯度构造·,,一,‘‘‘,‘‘,,。‘,,,气,叽令,叽,气,一日幽叭刀」册一竺’‘,,夕一日称为共扼因矛竹选择适当··式中几反映误差函数的梯度方。,袋客袋熟的甲值即可以保证和满足共扼性一般地第次,,,向表示学习的进程入是权值的学习速率入的大小直接一一。、二夕‘三竺一一,‘一丽△,于是基一影响着学习的快慢和收敛性当为输出层节点时索方向为丐甲抓于共扼方向修,,一一,一,当为隐层节
6、点时、一、。卜祠小,祠癸正的算法权值修正式如式所示。反映了输出节点误差经隐层的反向传播·,一卜·一。·,二狱,,。、当网络的误差目标函数满足某一很小的预设值鬓试如。刃时,即认为网络的学习过程结束。〔〕变步冈长及加入动项的改进算法度止」伪召一呵共辘因子的确定前向网络算法的最速下降方向即目标函数在权假定在第步修正前目标函数在权值空间的梯。,值空间上的负梯度方向在无约束优化目标函数时相邻,二竺二第步修正计算得到对的梯度为,,。的两个搜索方向正交因而当权值接近于极值区域弓武。一。。一,,“”,时每次迭代移动的步长很小呈现出锯齿现象严重影则取共扼因子瞬【瞬可,。响了收敛速
7、率有时甚至不能收敛而在局部极值区域振荡能保证。,一系列搜索方向共扼为了确保搜索方向的共扼性,为此在算法中引人动量项或采取变步长学习速率进,即,初始搜索方向取负梯度方向令习且当由于误差积,,行改进其权值的修正式由式变化为式累使某步的搜索方向变为非下降方向时,也以负梯度方向‘·,‘‘巩,,。气,一一,重新开始后续搜索瓮△的接受原则其中是动量因子,表示。的在第步的变化与最优化搜索的目的是使目标函数在解空间上不,第步所经历的变化具有的某种相似性反映着权值空间,即△二卜。,为断下降劝但是了突破可能存在的局“”,变化的惯性入仍为学习速率但在学习进程中取可变,,△,部极值区域
8、在本文算法中当之时不是简
