人工神经网络及其应用第5讲Hopfield网络.ppt

《人工神经网络及其应用第5讲Hopfield网络.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、人工神经网络及其应用第5讲Hopfield网络何建华电信系，华中科技大学2003年3月3日一、反馈网络二、Hopfield网络简介三、DHNN网络四、稳定性与应用五、内容小结内容安排2反馈网络如何通过网络神经元状态的变迁而最终稳定于平衡状态，得到联想存储或优化计算的结果关心网络的稳定性问题研究重点为怎样得到和利用稳定的反馈网络要点31.1反馈网络简介1.2网络稳定性一、反馈网络41.1反馈网络简介反馈网络(RecurrentNetwork)，又称自联想记忆网络其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始

2、值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈网络能表现出非线性动力学系统动态特性网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中51.1反馈网络简介反馈网络分类如果激活函数f(·)是一个二值型的硬函数，即ai＝sgn(ni)，i＝l,2,…r，则称此网络为离散型反馈网络；如果f(·)为一个连续单调上升的有界函数，这类网络被称为连续型反馈网络61.2网络稳定性状态轨迹设状态矢量N=[n1,n2,…，nr

3、]，网络的输出矢量为A＝[a1，a2…，as]T在一个r维状态空间上，可以用一条轨迹来描述状态变化情况从初始值N(t0)出发，N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt)，这些在空间上的点组成的确定轨迹，是演化过程中所有可能状态的集合，我们称这个状态空间为相空间71.2网络稳定性状态轨迹离散与连续轨迹81.2网络稳定性状态轨迹分类：对于不同的连接权值wij和输入Pj(i,j=1,2,…r)，反馈网络可能出现不同性质的状态轨迹轨迹为稳定点轨迹为极限环轨迹为混沌现象轨迹发散91.2网络稳定性稳定轨迹状态轨迹从

4、系统在t0时状态的初值N(t0)开始，经过一定的时间t(t＞0)后，到达N(t0+t)。如果N(t0+t+Δt)=N(t0+t)，Δt＞0，则状态N(t0+t)称为网络的稳定点，或平衡点反馈网络从任一初始态P(0)开始运动，若存在某一有限时刻t，从t以后的网络状态不再发生变化（P(t+Δt)=P(t)，Δt＞0）则称网络是稳定的处于稳定时的网络状态叫做稳定状态，又称为定吸引子101.2网络稳定性稳定点分类在一个反馈网络中，存在很多稳定点稳定点收敛域渐近稳定点：在稳定点Ne周围的N(σ)区域内，从任一个初始状态N(t0)出

5、发，当t→∞时都收敛于Ne，则称Ne为渐近稳定点不稳定平衡点Nen：在某些特定的轨迹演化过程中，网络能够到达稳定点Nen，但对其它方向上任意小的区域N(σ)，不管N(σ)取多么小，其轨迹在时间t以后总是偏离Nen；期望解网络的解：如果网络最后稳定到设计人员期望的稳定点，且该稳定点又是渐近稳定点，那么这个点称为网络的解；网络的伪稳定点：网络最终稳定到一个渐近稳定点上，但这个稳定点不是网络设计所要求的解111.2网络稳定性状态轨迹为极限环在某些参数的情况下，状态N(t)的轨迹是一个圆，或一个环状态N(t)沿着环重复旋转，永不

6、停止，此时的输出A(t)也出现周期变化（即出现振荡）如果在r种状态下循环变化，称其极限环为r对于离散反馈网络，轨迹变化可能在两种状态下来回跳动，其极限环为2121.2网络稳定性状态轨迹为混沌如果状态N(t)的轨迹在某个确定的范围内运动，但既不重复，又不能停下来状态变化为无穷多个，而轨迹也不能发散到无穷远，这种现象称为混沌(chaos)出现混沌的情况下，系统输出变化为无穷多个，并且随时间推移不能趋向稳定，但又不发散131.2网络稳定性状态轨迹发散状态N(t)的轨迹随时间一直延伸到无穷远。此时状态发散，系统的输出也发散在人工

7、神经网络中，由于输入、输出激活函数上一个有界函数，虽然状态N(t)是发散的，但其输出A(t)还是稳定的，而A（t）的稳定反过来又限制了状态的发散。一般非线性人工神经网络中发散现象是不会发生的，除非神经元的输入输出激活函数是线性的141.3网络工作方式目前的反馈神经网络是利用稳定的特定轨迹来解决某些问题如果视系统的稳定点为一个记忆，则从初始状态朝此稳定点移动的过程即为寻找该记忆的过程状态的初始值可以认为是给定的有关该记忆的部分信息，状态N(t)移动的过程，是从部分信息去寻找全部信息，这就是联想记忆的过程将系统的稳定点考虑为

8、一个能量函数的极小点。在状态空间中，从初始状态N(t0)＝N(t0+t)，最后到达N*。若N*为稳定点，则可以看作是N*把N(t0)吸引了过去，在N(t0)时能量比较大，而吸引到N*时能量已为极小了151.3网络工作方式考虑具体应用，可以将能量的极小点作为一个优化目标函数的极小点，把状态变化的过程看成是优化某一个目标