《神经网络优化计算》ppt课件

《《神经网络优化计算》ppt课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章神经网络优化计算智能优化计算数学与统计学院2013年教学重点掌握BP神经网络的结构掌握BP神经网络的算法原理理解Hopfield网络的原理教学难点BP神经网络的算法原理Hopfield网络的原理另外，算法的实现请参阅程序文件3.1人工神经网络的基本概念3.1.1发展历史3.1.2McCulloch-Pitts神经元3.1.3网络结构的确定3.1.4关联权值的确定3.1.5工作阶段3.2多层前向神经网络3.2.1一般结构3.2.2反向传播算法3.3反馈型神经网络3.3.1离散Hopfield神经网络3.

2、3.2连续Hopfield神经网络3.3.3Hopfield神经网络在TSP中的应用智能优化计算数学与统计学院2013年3.1人工神经网络的基本概念智能优化计算数学与统计学院2013年“神经网络”与“人工神经网络”1943年，WarrenMcCulloch和WalterPitts建立了第一个人工神经网络模型；1969年，Minsky和Papert发表Perceptrons；20世纪80年代，Hopfield将人工神经网络成功应用在组合优化问题。3.1.1发展历史3.1人工神经网络的基本概念智能优化计算数学与

3、统计学院2013年重要意义现代的神经网络开始于McCulloch,Pitts(1943)的先驱工作；他们的神经元模型假定遵循有-无模型律；如果如此简单的神经元数目足够多和适当设置连接权值并且同步操作,McCulloch&Pitts证明这样构成的网络原则上可以计算任何可计算函数；标志着神经网络和人工智能的诞生。3.1.2McCulloch-Pitts神经元3.1人工神经网络的基本概念智能优化计算数学与统计学院2013年结构McCulloch-Pitts输出函数定义为：3.1.2McCulloch-Pitts神

4、经元InputsignalSynapticweightsSummingfunctionActivationfunctionOutputyx1x2xnw2wnw1-θ3.1人工神经网络的基本概念智能优化计算数学与统计学院2013年网络的构建Y=F(X)3.1.2McCulloch-Pitts神经元x1y1输出层隐藏层输入层x2y2ymxn…………网络的拓扑结构前向型、反馈型等神经元激活函数阶跃函数线性函数Sigmoid函数3.1人工神经网络的基本概念智能优化计算数学与统计学院2013年3.1.3网络结构的确定

5、f(x)x0+1确定的内容权值wi和θ确定的方式学习（训练）有指导的学习：已知一组正确的输入输出结果的条件下，神经网络依据这些数据，调整并确定权值；无指导的学习：只有输入数据，没有正确的输出结果情况下，确定权值。3.1人工神经网络的基本概念智能优化计算数学与统计学院2013年3.1.4关联权值的确定学习与工作的关系先学习→再工作3.1人工神经网络的基本概念智能优化计算数学与统计学院2013年3.1.5工作阶段3.2多层前向神经网络智能优化计算数学与统计学院2013年多层两层以上前向无反馈3.2.1一般结构输

6、出层隐藏层输入层y1y2ym…x1x2xn………………3.2多层前向神经网络智能优化计算数学与统计学院2013年目的确定权值方法反向推导3.2.2反向传播算法3.3反馈型神经网络智能优化计算数学与统计学院2013年一般结构各神经元之间存在相互联系分类连续系统：激活函数为连续函数离散系统：激活函数为阶跃函数3.3反馈型神经网络智能优化计算数学与统计学院2013年Hopfield神经网络1982年提出Hopfield反馈神经网络（HNN），证明在高强度连接下的神经网络依靠集体协同作用能自发产生计算行为。是典型的

7、全连接网络，通过引入能量函数，使网络的平衡态与能量函数极小值解相对应。3.3反馈型神经网络智能优化计算数学与统计学院2013年网络结构N为网络节点总数。3.3.1离散Hopfield神经网络s1(t+1)……s2(t+1)sn(t+1)s1(t)s2(t)sn(t)w12w1nw21w2nwn1wn2ΣΣΣΔ3.3反馈型神经网络智能优化计算数学与统计学院2013年网络结构一般认为vj(t)=0时神经元保持不变sj(t+1)=sj(t);一般情况下网络是对称的（wij=wji）且无自反馈（wjj=0）;整个网

8、络的状态可用向量s表示：3.3.1离散Hopfield神经网络3.3反馈型神经网络智能优化计算数学与统计学院2013年工作方式串行（异步，asynchronous）:任一时刻只有一个单元改变状态，其余单元保持不变；并行（同步，synchronous）：某一时刻所有神经元同时改变状态。稳定状态如果从t=0的任一初始态s(0)开始变化，存在某一有限时刻t，从此以后网络状态不再变化，即s(t+1)=s(t)，则称网络达