《Hopfield网络》PPT课件

《《Hopfield网络》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章霍普菲尔德（Hopfield）神经网络1985年，J.J.Hopfield和D.W.Tank建立了相互连接型的神经网络模型，简称HNN(HopfieldNeuralNetwork)，并用它成功地探讨了旅行商问题(TSP)的求解方法。前几章介绍的神经网络模型属于前向神经网络，从学习的观点上看，它们是强有力的学习系统，结构简单，易于编程。从系统的观点看，它们属于一种静态的非线性映射，通过简单非线性处理单元的复合映射可获得复杂的非线性处理能力，但它们因缺乏反馈，所以并不是一个强有力的动力学系统。Hopfield模型属于反馈型神经网络，从计算的角度上讲，它具有很强的计算能

2、力。这样的系统着重关心的是系统的稳定性问题。稳定性是这类具有联想记忆功能神经网络模型的核心，学习记忆的过程就是系统向稳定状态发展的过程。Hopfield网络可用于解决联想记忆和约束优化问题的求解。反馈型神经网络作为非线性动力学系统，可表现出丰富多样的动态特性，如稳定性、极限环、奇怪吸引子(混沌)等。这些特性是神经网络引起研究人员极大兴趣的原因之一。研究表明，由简单非线性神经元互连而成的反馈动力学神经网络系统具有两个重要特征：1.系统有若干个稳定状态，如果从某一个初始状态开始运动，系统总可以进入其中某一个稳定状态；2.系统的稳定状态可以通过改变各个神经元间的连接权值而得到。Ho

3、pfield神经网络设计与应用的关键是对其动力学特性的正确理解：网络的稳定性是其重要性质，而能量函数是判定网络稳定性的基本概念。网络结构形式Hopfield网络是单层对称全反馈网络，根据激励函数选取的不同，可分为离散型和连续性两种（DHNN,CHNN）。DHNN：作用函数为δ函数，主要用于联想记忆。CHNN：作用函数为S型函数，主要用于优化计算非线性系统状态演变的形式在Hopfield网络中，由于反馈的存在，其加权输入和ui，i=1~n为网络状态，网络的输出为y1~yn，则u,y的变化过程为一个非线性动力学系统。可用非线性差（微）分方程来描述。一般有如下的几种状态演变形式：（

4、1）渐进稳定（2）极限环（3）混沌现象（4）状态轨迹发散网络结构及I/O关系对于以符号函数为激励函数的网络，网络的方程可写为：图2.8.2离散型Hopfield神经网络Hopfield网络为对称网络，wij=wji。当wii＝0时为无自反馈型，反之为全自反馈型两种工作方式（1）串行工作方式在某一时刻只有一个神经元改变状态，而其它神经元的输出不变。这一变化的神经元可以按照随机的方式或预定的顺序来选择。（2）并行工作方式在某一时刻有N个神经元改变状态，而其它的神经元的输出不变。变化的这一组神经元可以按照随机方式或某种规则来选择。当N=n时，称为全并行方式。DHNN的稳定工作点DH

5、NN的状态变换从Hopfield网络的模型定义中可以看到对于n节点的HNN有2n个可能的状态，即网络状态可以用一个包含0和1的矢量表示每一个时刻整个网络处于一个状态，状态的变化采用随机异步更新方式，即随机地选择下一个要更新的神经元，且允许所有神经元具有相同的平均变化概率。节点状态更新包括三种情况：由0变为1、由1变为0和状态保持不变。按照单元异步更新工作方式，某一时刻网络中只有一个节点被选择进行状态更新，当该节点状态变化时，网络状态就以一概率转移到另一状态；当该节点状态保持时，网络状态更新的结果保持前一时刻的状态。DHNN的状态变换通常网络从某一初始状态开始经过多次更新后才可

6、能达到某一稳态。使用异步状态更新策略有以下优点：（1）算法实现容易，每个神经元节点有自己的状态更新时刻．不需要同步机制；（2）以串行方式更新网络的状态可以限制网络的输出状态，避免不同稳态以等概率出现。一旦给出HNN的权值和神经元的阈值，网络的状态转移序列就确定了。DHNN的状态变换例计算如图所示3节点HNN的状态转移关系。该网络的参数为：现在以初态(可任意选定)v1v2v3＝(000)为例，以异步方式运行网络，考察各个节点的状态转移情况。现在考虑每个节点v1v2v3以等概率(1／3)被选择。假定首先选择节点v1，则节点状态为：网络状态由(000)变化到(100)，转移概率为I

7、／3假定首先选择节点v2，则节点状态为：DHNN的状态变换网络状态由(000)变化到(000)(也可以称为网络状态保持不变)，转移概率为1／3。假定首先选择节点v3，则节点状态为：网络状态由(000)变化到(000)，转移概率为1／3。从上面网络的运行看出，网络状态(000)不会转移到(010)和(001)，而以1／3的概率转移到(100)，以2／3的概率保持不变同理，可以计算出其他状态之间的转移关系如图所示。图中标出了状态保持不变的转移概率，其余未标注的均为1／3。DHNN的状态变换从这个例子，可以看