人工神经网络HOPFIELD神经网络课件.ppt

《人工神经网络HOPFIELD神经网络课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、人工神经网络(ArtificalNeuralNetwork)张　凯副教授武汉科技大学计算机学院1要点简介1.研究背景2.离散Hopfield神经网络3.连续Hopfield神经网络4.Hopfield网络求解TSP问题2研究背景前几章介绍的神经网络模型属于前向神经网络，从学习的观点上看，它们是强有力的学习系统，结构简单，易于编程。从系统的观点看，它们属于一种静态的非线性映射，通过简单非线性处理单元的复合映射可获得复杂的非线性处理能力，但它们因缺乏反馈，所以并不是一个强有力的动力学系统。2021/9/183研究背景Hopfield网络是神经网络发展历史上的一个重

2、要的里程碑。由美国加州理工学院物理学家J.Hopfield教授于1982年提出，是一种单层反馈神经网络。2021/9/184研究背景1985年，J.J.Hopfield和D.W.Tank建立了相互连接型的神经网络模型，并用它成功地探讨了旅行商问题(TSP)的求解方法。2021/9/185研究背景Hopfield模型属于反馈型神经网络，从计算的角度上讲，它具有很强的计算能力。这样的系统着重关心的是系统的稳定性问题。稳定性是这类具有联想记忆功能神经网络模型的核心，学习记忆的过程就是系统向稳定状态发展的过程。Hopfield网络可用于解决联想记忆和约束优化问题的求解

3、。2021/9/186研究背景反馈型神经网络作为非线性动力学系统，可表现出丰富多样的动态特性，如稳定性、极限环、奇怪吸引子(混沌)等。这些特性是神经网络引起研究人员极大兴趣的原因之一。研究表明，由简单非线性神经元互连而成的反馈动力学神经网络系统具有两个重要特征：1.系统有若干个稳定状态，如果从某一个初始状态开始运动，系统总可以进入其中某一个稳定状态；2.系统的稳定状态可以通过改变各个神经元间的连接权值而得到。研究背景Hopfield神经网络设计与应用的关键是对其动力学特性的正确理解：网络的稳定性是其重要性质，而能量函数是判定网络稳定性的基本概念。Hopfiel

4、d神经网络Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)。2021/9/189网络模型表示法一离散Hopfield神经网络结构图……12(状态）(阈值）（连接权值）离散Hopfield神经网络2021/9/1810网络模型表示法二离散Hopfield神经网络网络中每个神经元的输出都与其它神经元的输入相连2021/9/1811反馈网络结构(单层全反馈网)2021/9/1812反馈网络的特性网络输出不仅依赖网

5、络参数和输入，还是时间的函数。对不同的输入和参数，网络的输出（或状态）可能出现如下几种情况：发散：网络状态的轨迹随时间一直延伸到无穷远；混沌：网络状态随时间推移不能稳定，但又不发散，而是在某个确定范围内变化，状态有无穷多个；振荡：网络状态随时间呈现周期（环状）变化，永远不会停止；收敛：经过一段时间后，网络状态停止在一点上，不再变化，称该点为网络的平衡点反馈网络的特性平衡点可分为：渐近稳定平衡点：在该平衡点周围区域内，从任意一初始点出发，当时间趋向无穷时都收敛到这个点。不稳定平衡点：在某些特定的轨迹演化过程中，能够使网络达到该稳定点，但对该点其它方向上任一个无论

6、多么小的区域，其轨迹在某个时刻以后总是偏离该点。网络的稳定点解：网络最后是稳定到设计所要求的平衡点上，而且平衡点又是渐近稳定平衡点。网络的伪稳定点：网络最后是稳定到一个稳定平衡点上，但这个稳定平衡点不是设计所要求的解。反馈网络的作用反馈网络是利用渐近稳定平衡点来解决某些问题联想记忆：把渐近稳定平衡点视为一个记忆，从初始点朝这个渐近稳定平衡点流动的过程就是寻找该记忆的过程。初始点可认为是给定的有关记忆的部分信息，这时就是从部分信息去寻找全部信息的联想记忆过程。优化计算：把渐近稳定平衡点视为某能量函数的极小点，从初始点到达稳定点，可看作是稳定点把初始点吸引了过来，

7、在初始点时，能量比较大，而吸引到稳定点时能量比较小，渐近稳定平衡点就可以作为一个优化目标函数的极小点。反馈网络研究的内容网络稳定性：即研究在什么条件下，网络不会出现发散、振荡和混沌现象。网络稳定点：非线性的网络可能有很多个稳定点，如何设计权使其中的某些稳定点是所要求的解。对于用作联想记忆的网络，希望稳定点都是一个记忆，那么记忆容量就与稳定点的数目有关，若要求记忆容量大，稳定点的数目也就要大。但稳定点的数目增加可能会引起吸引域的减少，从而使其联想功能减弱。对于用作优化计算的网络，由于目标函数往往要求只有一个全局最小，因而希望稳定点(局部极小点)越少越好。反馈网络

8、研究的内容吸引域的设计：希望解的稳定点