人工神经网络原理与仿真实例第2版 教学课件 作者 高隽 第5章 Hopfield神经网络与联想记忆.ppt

《人工神经网络原理与仿真实例第2版 教学课件 作者 高隽 第5章 Hopfield神经网络与联想记忆.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章Hopfield神经网络与联想记忆5.0前言5.1神经动力学5.2离散Hopfield神经网络5.3连续Hopfield神经网络5.4联想记忆5.5最优化计算5.6仿真实例5.0前言对于所介绍的前向网络，从学习的观点来看，它是一个强有力的学习系统，系统结构简单、易于编程；从系统的观点来看，它是一个静态非线性映射，通过简单非线性处理单元的复合映射可获得复杂系统的非线性处理能力；从计算的观点来看，它并不是一强有力系统，缺乏丰富的动力学行为。反馈神经网络是一个反馈动力学系统，具有更强的计算能力。1982年J.Hopfield提出的单层全

2、互连含有对称突触连接的反馈网络是最典型的反馈网络模型。Hopfield用能量函数的思想形成了一种新的计算方法，阐明了神经网络与动力学的关系，并用非线性动力学的方法来研究这种神经网络的特性，建立了神经网络稳定性判据，并指出信息存储在网络中神经元之间的连接上，形成了所谓的离散Hopfield网络。1984年，Hopfield设计与研制了Hopfield网络模型的电路，指出神经元可以用运算放大器来实现，所有神经元的连接可用电子线路来模拟，称之为连续Hopfield网络。连续Hopfield网络成功的解决了旅行商（TravelingSalesm

3、anProblem，TSP）计算难题（优化问题）。Hopfield网络是神经网络发展历史上的一个重要的里程碑。5.1神经动力学1989年Hirsch把神经网络看成是一种非线性动力学系统，称为神经动力学（Neurodynamics）。确定性神经动力学将神经网络作为确定性行为，在数学上用非线性微分方程的集合来描述系统的行为，方程解为确定的解。统计性神经动力学将神经网络看成被噪声所扰动，在数学上采用随机性的非线性微分方程来描述系统的行为，方程的解用概率表示。神经动力学动力学系统是状态随时间变化的系统。令v1(t),v2(t),…,vN(t)表

4、示非线性动力学系统的状态变量，其中t是独立的连续时间变量，N为系统状态变量的维数。大型的非线性动力学系统的动力特性可用下面的微分方程表示：函数是包含自变量的非线性函数。为了表述方便可将这些状态变量表示为一个N×1维的向量，称为系统的状态向量.可用向量形式表示系统的状态方程：如果满足：则称矢量为系统的稳态或平衡态。N维向量所处的空间称为状态空间，状态空间通常指的是欧氏空间，当然也可以是其子空间，或是类似圆、球、圆环和其他可微形式的非欧氏空间。如果一个非线性动力系统的向量函数F(V(t))隐含地依赖于时间t，则此系统称为自治系统，否则不是自

5、治的。稳定性和收敛性的定义:定义1平衡态在满足下列条件时是一致稳定的，对任意的正数，存在正数,当。时，对所有的均有：定义2若平衡态是收敛的，存在正数，满足，则当时。。、、、定义定义3若平衡态是稳定的、收敛的，则该平衡态被称为渐进稳定。定义4若平衡态是稳定的，且当时间t趋向于无穷大时，所有的系统轨线均收敛于，则此平衡态是渐进稳定的或全局渐进稳定的。稳定性和渐进稳定性定理Lyapunov定理：定理1若在平衡态的小邻域内存在有界正函数E(V)，该函数对时间的导数在区域中是有界非正函数，则是稳定的。定理2若在平衡态的小邻域内存在有界正函数E(V

6、)，该函数对时间的导数在区域中是有界负函数，则是渐进稳定的。满足上述条件的标量函数E(V)称为平衡态的Lyapunov函数。性和渐进稳定性，其定理如下：这些定理要求Lyapunov函数E(V)是有界正函数，这样的函数定义如下：函数E(V)在状态空间中是有界正函数，则对所有的满足下列条件：（1）函数E(V)关于状态向量V中的每个元素是连续偏导的；（2）（3）if。若E(V)是Lyapunov函数，(定理1)如果则平衡态是稳定的.(定理2)如果则平衡态是渐进稳定的。5.2离散Hopfield神经网络5.2.1离散Hopfield网络模型5.

7、2.2离散Hopfield网络运行规则5.2.1离散Hopfield网络模型离散Hopfield网络是单层全互连的，其表现形式有两种。图5.1Hopfield神经网络结构神经元可取二值{0/1}或{-1/1}，其中的任意神经元i与j间的突触权值为Wij，神经元之间联接是对称的，即Wij=Wji，神经元自身无联接,即Wii=0。虽然神经元自身无联接，但每个神经元都同其它的神经元相连，即每个神经元都将其输出通过突触权值传递给其它的神经元，同时每个神经元又都接收其它神经元传来的信息，这样对于每个神经元来说，其输出信号经过其它神经元后又有可能反

8、馈给自己，所以Hopfield网络是一种反馈神经网络。Hopfield网络中有个n神经元，其中任意神经元i的输入用ui表示，输出用vi表示，它们都是时间的函数，其中vi(t)也称为神经元i在t时刻的状态。相