资源描述：
《误差反向传播算法的数学推导及实现步骤》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第卷第期辽阳石油化工高等专科学校学报5%∗67%6,!∀∀!年#月∃%&∋()∗%+∗,)%−)(./01∋%0203,0)∗4%∗∗0.080/10390∋!∀∀!误差反向传播算法的数学推导及实现步骤王铁林沈国良:辽,阳石油化工高等专科学校化工系辽阳∀∀;摘要提供了人工神经网络的一种算法一误差反向传播算法的数学推导方法及上机实现步骤6关键词人工神经网络<误差反向传播算法<=/算法<=/网络<=/学习算法中图分类号>/随着科学技术的蓬勃发展,现代化工过程装各神经元获得网络的输入响应6在此
2、之后,按减小置日趋大型化和联合生产化,以单元操作概念为希望输出与实际输出之间的误差的方向,从输出基础的传统方法已不能适应现代化大型联合装置层经各中间层逐层修正各连接权,最后回到输入的最优、,,“”,设计最优控制和最优管理的要求工业技层故得名误差反向传播随着这种误差反向传术正逐步从单元技术向系统技术方向发展6因此,播修正的不断进行,网络对输入模式响应的正确系统的模拟与优化也越来越受到人们的重视,经率也不断上升6由于这种网络具有很强的非线性过科学家的不懈努力,系统的模拟与优化已经得映射能力,网络的结构简单,工
3、作状态稳定,且易到了很大的发展6近丁?年来,人工智能在系统工程于硬件实现,是目前应用最为广泛的一种人工神6中应用成为一个新的交叉学科,它主要研究将人经网络ΔΕΦ工智能的新成果应用于过程系统的设计、合成、模拟、优化管理和控制6其中人工神经元网络及其应人工神经网络模型用的研究,已成为高新技术研究领域的一个令人6瞩目的课题人,工神经元是对生物神经元的简化和模拟人工神经元网络:简称神经网络;是以工程技它是神经网络的基本处理单元6其输入输出关系术手段,模拟人脑神经元网络的结构与功能的系可描述为统6它是由大量的、简
4、单的非线性处理单元以及单、,‘元间复杂的、灵活可变的联接关系所构成6与数字Γ一冬Η%Ιϑ一“,,,,其中Ιϑ:ϑ二!(;是从其它细胞传来的计算机相比神经网络系统具有集体运算的能力⋯,,和自适应的学习能力6此外,它还具有很强的容错输入信号∀为闭值Κ。表示从细胞Φ到细胞,的6性,善于联想川6连接权值,+:二;为传递函数·=)0))1%(%ΧΛ、二Γ、误差反向传播算法:≅Α∋%Α.,Β∗.+:;∋,123;简称=/算法6运用=/学习算法的前向多有时为方便起见,常把一∀,也看成是对应恒,层网络,通常称之为=/网
5、络,是一种其有三层或等于的输入量Ι。的权值这时式中的和式记为6三层以上的阶层型神经网络下层的每一个单元,一,%一‘ΓΗΜϑ“与上层的每个单元都实现权连接,而每层各神经魏,%,二一∀,Ι∀二6其中Κ元,之间无连接网络按有教师学习方式进行学习用于=/模型传递函数+:二;通常为Ν状曲一,当对学习模式提供给网络后神经元的激活值。6,线那样的非线性函数从输入层经各中间层向输出层传播在输出层的收稿Ο!:川!∀日期一一∀Π辽阳石油化工高等专科学校学报第卷第期Ο,,Θ状曲线通常是在:∀∗;或:一;内连续取值
6、误差反向传播算法数学推导的单调可微分的函数,常用指数或正切等一类8,状曲线:Θ#Ο(:;,Ρ;来表示如Ο、,,,,设输入的学习样本有/Ο个,Ι,厂‘⋯一一Τ、一、一Σ:;二三二对应1’,1“,毛二的教师信号:即输出的期望值;为⋯盆下Υ入Γ,、一矛&Σ66,Α‘<ΙΑ,,’,,,ς,>我们用这/个样本对:;/Ω一!二其巾夕:;通常月取∗,/,对网络进行训练当第/个样本对输入到网络后,正向传播经各层运算后,网络的实际输出值为!=/网络结构与学习规则−,Α,:Γ∃Ω一,!,⋯,3;6将其与期望值相比较,则典型
7、的=/网络是三层前向网络,即输入层、可得在第/个输入模式下输出方差为隐含层:也称中间层;和输出层6Ζ,一含Ο公,:‘?,一,户;’,以三层前向=/网络为例设输入向量为(,若输入所有尸个样本对经正向传递运神维的,即Ι任尺”,,二,,二!,二,,;,∋<隐含层有一:⋯后,则网络的总误差为(。,’Ο,,,个神经元其输出向量2任尸2Ω:2曰甲声气∗2,,Ο丁<,∗,Ζ艺Ζ一一!名艺:1食一夕仁;!好一;输出层有个神经元于是网络/ΩΩ∗,,−’,−<,Ψ,,,丁,的输出向觉任ΞΩ:−−⋯为;网络应用最陡下降法反
8、向调整各层联接权使误6。、神经元都采用非线性激活函数,于是神经元的模差达最小设Κ为网络任意两个神经元之间的连接权6沿负梯度方向调整连接权,则Κ“的修型为<一」Ζ量为二艺,Μ久乓代Χ[。。为Ω+:Ν<;△Κ终早一全6一‘&。‘孕&。,ΡΚ户三口Η其中非线性函数厂:6’ϑ;为连续可微单调上,为学习速率系,∀6∀一6,Ο式中数其值一般为升的有界函数通常为8型函数,设(%为迭代次数应用梯度法可得网络层、少一二厂:;、<、七连接权
