资源描述：
《第4章反馈型神经网络ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第四章反馈型神经网络第四章反馈型神经网络4.1概述4.2离散型Hopfield神经网络4.3连续型Hopfield神经网络4.4Hopfield网络的应用实例4.5Boltzmann机4.6双向联想记忆网络4.7海明网络4.1概述4.1.1前馈型与反馈型神经网络的比较4.1.2反馈型神经网络模型4.1.1前馈型与反馈型神经网络的比较(1)前馈型神经网络只表达输入输出之间的映射关系，实现非线性映射；反馈型神经网络考虑输入输出之间在时间上的延迟，需要用动态方程来描述，反馈型神经网络是一个非线性动力学系统。(2)前馈型神经网络的学习训练主要采用BP算法，计
2、算过程和收敛速度比较慢；反馈型神经网络的学习主要采用Hebb规则，一般情况下计算的收敛速度很快，并且它与电子电路有明显的对应关系，使得网络易于用硬件实现。(3)前馈型神经网络学习训练的目的是快速收敛，一般用误差函数来判定其收敛程度；反馈型神经网络的学习目的是快速寻找到稳定点，一般用能量函数来判别是否趋于稳定点。(4)两者都有局部极小问题。4.1.2反馈型神经网络模型一、网络结构图4.1单层全反馈型神经网络结构输入输出关系为：j=1,2,…,n(4.1.1)二、网络状态(1)轨迹经过一段时间t(t>0)后不会再延伸，而永远停留在X(t0+t)状态，这时
3、称网络收敛到一个稳定点或平衡点。在一个反馈网络中，可能存在有多个稳定点，根据不同的情况，这些稳定点可分为：①渐近稳定点Xe②不稳定的平衡点Xf③网络的解④网络的伪稳定点(2)轨迹为环状，称为极限环。(3)如果X(t)的轨迹在某个确定的范围内变化，但既不重复又不能停下来，状态变化为无穷多个，而轨迹也不发散到无穷远，这种现象成为混沌（Chaos）.(4)如果X(t)的轨迹随时间一直延伸到无穷远，此时状态发散，而系统的输出也发散。三、网络的设计要求(1)网络的稳定性(2)网络的稳定点(3)稳定点的吸引域4.2离散型Hopfield神经网络4.2.1离散型H
4、opfield神经网络模型4.2.2网络的稳定性定理4.2.3网络权值的学习4.2.4网络的稳定性实验4.2.5联想记忆4.2.1离散型Hopfield神经网络模型一、网络结构DHNN的结构是一个单层结构的全反馈网络，有n个节点，W是一个n×n的对称零对角权值矩阵，θ为n维阈值向量。每个节点可处于两个可能的状态之一，即1或-1。假设各节点的外加输入Ii=0，i=1,2,…,n。令Xi(t)表示t时刻节点i的状态，则节点i的下一个状态由下面算式决定：网络的状态向量为X(t)∈{1,-1}n，且wii=0，i=1,2,…,n。二、网络的工作方式(1)串行
5、（异步）工作方式任一时刻t，只有某一个节点i(随机地或确定性地选择)依据(4.2.1)和(4.2.2)式变化，而其余n-1个节点的状态保持不变，即：(2)并行（同步）工作方式任一时刻t，所有的节点都依据式(4.2.1)和(4.2.2)改变状态，即：三、网络的状态若网络从一个初态X(t0)出发，经过一个有限时刻t，网络的状态不再发生变化，即：则称网络是稳定的，这时所有的节点输出不再变化，网络稳定在某一状态。4.2.2网络的稳定性定理Hopfield定义了一个网络的能量函数：由于Xi、Xj只可能为1或者为-1，wij、Ii有界，i、j=1,2,…,n，所
6、以能量函数E也是有界的：一、串行方式定理4.1当网络工作在串行方式下，满足wij=wji，wii=0，i、j=1,2,…,n，则能量函数单调下降，且网络必定稳定。证明：对于DHNN网络的任一个节点i，它的输出变化可能为：根据串行方式的定义，每个时刻只有一个节点发生变化，若第i个节点变化，而其它的节点不变，根据公式(4.2.7)可得：因为wij=wjiwii=0所以因为因此当Hi(t)≥0时，△Xi≥0△E≤0当Hi(t)<0时，△Xi≤0△E≤0所以网络无论在什么条件下都能保证△E≤0，这样就保证了网络的稳定性和收敛性。定理4.2当网络工作在串行方式
7、下，满足wij=wji，wii>0，i、j=1,2,…,n，则能量函数单调下降，且网络必定稳定。证明：对于DHNN网络的第i个节点发生变化，因为wij=wji，且wii>0则由于wii>0，且△Xi与Xi(t+1)是同号的，即能保证△E≤0，这样就保证了网络的稳定性和收敛性。一、并行方式定理4.3当网络工作在并行方式下，满足wij=wji，则网络或者收敛于一个稳定点，或者收敛于极限环为2的一个周期解，。证明：在并行工作方式时，其能量函数可以用下式表示：可以写成矩阵的形式由于在H(t)中的每个分量Hi(t)与在X(t+1)中每个分量Xi(t+1)同号，
8、因而成立。所以△E≤0。现在考虑在稳定点的情况，即△E=0的情况：若X(t)=X(t+1)=X(t-1)，则
