我的人工神经网络-7 Hopfield网络课件.ppt

《我的人工神经网络-7 Hopfield网络课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第七章Hopfield网络7.1反馈型神经网络7.1离散Hopfield神经网络7.2连续Hopfield神经网络7.3Hopfield神经网络在TSP中的应用7.1反馈型神经网络一般结构各神经元之间存在相互联系分类连续系统：激活函数为连续函数离散系统：激活函数为阶跃函数7.1反馈型神经网络Hopfield神经网络1982年提出Hopfield反馈神经网络（HNN），证明在高强度连接下的神经网络依靠集体协同作用能自发产生计算行为。是典型的全连接网络，通过引入能量函数，使网络的平衡态与能量函数极小值解相对应。反馈网络(Recur

2、rentNetwork)，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。1982年，美国加州工学院物理学家霍普菲尔德(J．Hopfield)发表了一篇对人工神经网络研究颇有影响的论文。反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；第二，系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。在本章中，我

3、们将集中讨论反馈网络，通过网络神经元状态的变迁而最终稳定于平衡状态，得到联想存储或优化计算的结果。在这里，着重关心的是网络的稳定性问题，研究的重点是怎样得到和利用稳定的反馈网络。霍普菲尔德网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型的霍普菲尔德网络(DiscreteHopfieldNeuralNetwork，简称DHNN)和连续型的霍普菲尔德网络(ContinuousHopfieldNeuralNetwork，简称CHNN)。DHNN的激活函数为二值型的，其输入、输出为{0，1}的反馈网络，主要用于联想记忆

4、。CHNN的激活函数的输入与输出之间的关系为连续可微的单调上升函数，主要用于优化计算。7．1霍普菲尔德网络模型图7．1反馈网络结构图在反馈网络中如果其激活函数f(·)是一个二值型的硬函数，如图7．2所示，即ai＝sgn(ni)，i＝l,2,…r，则称此网络为离散型反馈网络；如果ai=f(ni)中的f(·)为一个连续单调上升的有界函数，这类网络被称为连续型反馈网络。图7．3中所示为一个具有饱和线性激活函数，它满足连续单调上升的有界函数的条件，常作为连续型的激活函数。图7．2DHNN中的激活函数图7．3CHNN中的激活函数7．2状

5、态轨迹设状态矢量N=[n1,n2,…，nr]，网络的输出矢量为A＝[a1，a2…，as]T，在一个r维状态空间上，可以用一条轨迹来描述状态变化情况。从初始值N(t0)出发，N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt)，这些在空间上的点组成的确定轨迹，是演化过程中所有可能状态的集合，我们称这个状态空间为相空间。图7．4三维空间中的状态轨迹对于DHNN，因为N(t)中每个值只可能为±1，或{0，1}，对于确定的权值wij，其轨迹是跳跃的阶梯式，如图中A所示。对于CHNN，因为f(·)是连续的，因而，其轨迹也是连续的

6、。如图中B、C所示。对于不同的连接权值wij和输入Pj(i,j=1,2,…r)，反馈网络状态轨迹可能出现以下几种情况。7．2．1状态轨迹为稳定点状态轨迹从系统在t0时状态的初值N(t0)开始，经过一定的时间t(t＞0)后，到达N(t0+t)。如果N(t0+t+Δt)=N(t0+t)，Δt＞0，则状态N(t0+t)称为网络的稳定点，或平衡点。即反馈网络从任一初始态P(0)开始运动，若存在某一有限时刻t，从t以后的网络状态不再发生变化：P(t+Δt)=P(t)，Δt＞0，则称该网络是稳定的。处于稳定时的网络状态叫做稳定状态，又称为

7、定吸引子。在一个反馈网络中，存在很多稳定点，根据不同情况，这些稳定点可以分为：1)渐近稳定点：如果在稳定点Ne周围的N(σ)区域内，从任一个初始状态N(t0)出发的每个运动，当t→∞时都收敛于Ne，则称Ne为渐近稳定点。2)不稳定平衡点Nen：在某些特定的轨迹演化过程中，网络能够到达稳定点Nen，但对于其它方向上的任意一个小的区域N(σ)，不管N(σ)取多么小，其轨迹在时间t以后总是偏离Nen；3)网络的解：如果网络最后稳定到设计人员期望的稳定点，且该稳定点又是渐近稳定点，那么这个点称为网络的解；4)网络的伪稳定点：网络最终稳

8、定到一个渐近稳定点上，但这个稳定点不是网络设计所要求的解，这个稳定点为伪稳定点。7．2．2状态轨迹为极限环如果在某些参数的情况下，状态N(t)的轨迹是一个圆，或一个环，状态N(t)沿着环重复旋转，永不停止，此时的输出A(t)也出现周期变化，即出现振荡，如图7．4中C的轨迹即是