人工神经网络理论 设计及应用第二版课件 教学课件 作者 韩力群 编著第五章dhnn.ppt

人工神经网络理论 设计及应用第二版课件 教学课件 作者 韩力群 编著第五章dhnn.ppt

ID:50455010

大小:359.01 KB

页数:25页

时间:2020-03-09

人工神经网络理论 设计及应用第二版课件 教学课件 作者 韩力群 编著第五章dhnn.ppt_第1页
人工神经网络理论 设计及应用第二版课件 教学课件 作者 韩力群 编著第五章dhnn.ppt_第2页
人工神经网络理论 设计及应用第二版课件 教学课件 作者 韩力群 编著第五章dhnn.ppt_第3页
人工神经网络理论 设计及应用第二版课件 教学课件 作者 韩力群 编著第五章dhnn.ppt_第4页
人工神经网络理论 设计及应用第二版课件 教学课件 作者 韩力群 编著第五章dhnn.ppt_第5页
资源描述:

《人工神经网络理论 设计及应用第二版课件 教学课件 作者 韩力群 编著第五章dhnn.ppt》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、第五章反馈神经网络5反馈神经网络Hopfield网络分为离散型和连续型两种网络模型,分别记作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork),本章重点讨论前一种类型。根据神经网络运行过程中的信息流向,可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定,而与网络先前的输出状态无关。美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络,后来人们将这种反馈网络称作Hopfield网。5.1.1网络的结构与工作方式离散型反馈网络的拓扑结

2、构5.1离散型Hopfield神经网络(1)网络的状态DHNN网中的每个神经元都有相同的功能,其输出称为状态,用xj表示。j=1,2,…,n所有神经元状态的集合就构成反馈网络的状态X=[x1,x2,…,xn]T反馈网络的输入就是网络的状态初始值,表示为X(0)=[x1(0),x2(0),…,xn(0)]T反馈网络在外界输入激发下,从初始状态进入动态演变过程,变化规律为j=1,2,…,n(5.1)DHNN网的转移函数常采用符号函数式中净输入为j=1,2,…,n(5.2)对于DHNN网,一般有wii=0,wij=wji。反馈网络稳定时每个神经元的状态都不再改变,此时的稳定状态就是网络

3、的输出,表示为(2)网络的异步工作方式(5.3)(3)网络的同步工作方式网络的同步工作方式是一种并行方式,所有神经元同时调整状态,即j=1,2,…,n(5.4)网络运行时每次只有一个神经元进行状态的调整计算,其它神经元的状态均保持不变,即5.1.2.1网络的稳定性DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始,若能经有限次递归后,其状态不再发生变化,即X(t+1)=X(t),则称该网络是稳定的。如果网络是稳定的,它可以从任一初态收敛到一个稳态:5.1.2网络的稳定性与吸引子若网络是不稳定的,由于DHNN网每个节点的状态只有1和-1两种情况,网络不可能出现无限

4、发散的情况,而只可能出现限幅的自持振荡,这种网络称为有限环网络。如果网络状态的轨迹在某个确定的范围内变迁,但既不重复也不停止,状态变化为无穷多个,轨迹也不发散到无穷远,这种现象称为浑沌。网络达到稳定时的状态X,称为网络的吸引子。如果把吸引子视为问题的解,从初态朝吸引子演变的过程便是求解计算的过程。若把需记忆的样本信息存储于网络不同的吸引子,当输入含有部分记忆信息的样本时,网络的演变过程便是从部分信息寻找全部信息,即联想回忆的过程。定义5.1若网络的状态X满足X=f(WX-T)则称X为网络的吸引子。5.1.2.2吸引子与能量函数定理5.1对于DHNN网,若按异步方式调整网络状态,且

5、连接权矩阵W为对称阵,则对于任意初态,网络都最终收敛到一个吸引子。定理5.1证明:定义网络的能量函数为:(5.5)令网络的能量改变量为ΔE,状态改变量为ΔX,有(5.6)(5.7)5.1.2.2吸引子与能量函数将式(5.4)、(5.6)代入(5.5),则网络能量可进一步展开为(5.8)将代入上式,并考虑到W为对称矩阵,有(5.9)上式中可能出现的情况:情况a:xj(t)=-1,xj(t+1)=1,由式(5.7)得Δxj(t)=2,由式(5.1)知,netj(t)≧0,代入式(5.9),得ΔE(t)≦0。情况b:xj(t)=1,xj(t+1)=-1,所以Δxj(t)=-2,由式(5

6、.1)知,netj(t)<0,代入式(5.9),得ΔE(t)<0。情况c:xj(t)=xj(t+1),所以Δxj(t)=0,代入式(5.9),从而有ΔE(t)=0。由此可知在任何情况下均有ΔE(t)≦0。由于网络中各节点的状态只能取1或–1,能量函数E(t)作为网络状态的函数是有下界的,因此网络能量函数最终将收敛于一个常数,此时ΔE(t)=0。综上所述,当网络工作方式和权矩阵均满足定理5.1的条件时,网络最终将收敛到一个吸引子。综上所述,当网络工作方式和权矩阵均满足定理5.1的条件时,网络最终将收敛到一个吸引子。定理5.2对于DHNN网,若按同步方式调整状态,且连接权矩阵W为非负

7、定对称阵,则对于任意初态,网络都最终收敛到一个吸引子。证明:由式(5.8)得前已证明,对于任何神经元j,有因此上式第一项不大于0,只要W为非负定阵,第二项也不大于0,于是有⊿E(t)≦0,也就是说E(t)最终将收敛到一个常数值,对应的稳定状态是网络的一个吸引子。以上分析表明,在网络从初态向稳态演变的过程中,网络的能量始终向减小的方向演变,当能量最终稳定于一个常数时,该常数对应于网络能量的极小状态,称该极小状态为网络的能量井,能量井对应于网络的吸引子。5.1.2.2吸引子与能量函数

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。