反馈神经网络课件.ppt

《反馈神经网络课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章反馈神经网络本章首先介绍Elman网络和Hopfield网络，然后介绍Boltzmann机模型及其工作规则和学习算法。第四章反馈神经网络§4.1前言§4.2Elman神经网络§4.3Hopfield神经网络§4.4Boltzmann模型及其工作规则§4.5Boltzmann机的学习规则§4.6小结2§4.1前言反馈网络又称递归网络，或回归网络。在反馈网络（FeedbackNNs）中，输入信号决定反馈系统的初始状态，然后系统经过一系列状态转换以后，逐渐收敛于平衡状态。这样的平衡状态就是反馈网络经计算后的输出结果，由此可见，稳定性是反馈网络中最重要的问题之一。如果能找到网

2、络的Lyapunov函数，则能保证网络从任意的初始状态都能收敛到局部最小点。Hopfield神经网络是反馈网络中最简单且应用最广的模型，它具有联想记忆的功能。如果把Lyapunov函数定义为寻优函数的话，Hopfield网络还可用来解决快速寻优问题。3§4.1前言为收敛后的输出值为节点的输入(初始值)在这类网络中，多个神经元互连以组成一个互连神经网络，如右图所示。表示节点的状态返回有些神经元的输出被反馈至同层或前层神经元。因此，信号能够从正向和反向流通。Elman网络和Hopfield神经网络是反馈网络中最有代表性的例子。4§4.2Elman神经网络左图给出了Elman神经

3、网络的结构，这种网络具有与多层前馈网络相似的多层结构。5§4.2Elman神经网络在这种网络中，除了普通的隐层外，还有一个特殊的隐层，有时被称为上下文层或状态层。该层从普通隐层接收反馈信号，上下文层内的神经元输出被前馈至隐层。如果只有正向连接是适用的，而反馈连接设定为恒值，那么这些网络可视为普通的前馈网络。可以用BP算法进行训练；否则，可采用遗传算法。返回6§4.3Hopfield神经网络Hopfield神经网络状态的演变过程是一个非线性动力学系统，可以用一组非线性差分方程（对于离散型Hopfield神经网络）或微分方程（对于连续型Hopfield神经网络）来描述。系统的稳

4、定性可用所谓的“能量函数”（即李雅普诺夫或哈密顿函数）进行分析。在满足一定条件下，某种“能量函数”的能量在网络运行过程中不断地减小，最后趋于稳定的平衡状态。7离散型Hopfield神经网络为网络的状态矢量，其分量是n个神经元的输出，仅取+1或－1二值。为网络的阈值矢量。为网络的连接权矩阵表示第i个神经元到第j个神经元的连接权，为对称矩阵若则网络为无自反馈的，否则，为有自反馈的8网络的结构与工作方式离散型反馈网络的拓扑结构离散型Hopfield神经网络9(1)网络的状态DHNN网中的每个神经元都有相同的功能，其输出称为状态，用xj表示。j=1,2,…,n所有神经元状态的集合就

5、构成反馈网络的状态X=[x1,x2,…,xn]T反馈网络的输入就是网络的状态初始值，表示为X(0)=[x1(0),x2(0),…,xn(0)]T反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为10j=1,2,…,nDHNN网的转移函数常采用符号函数式中净输入为j=1,2,…,n对于DHNN网，一般有wii=0，wij=wji。反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为11(2)网络的异步工作方式网络运行时每次只有一个神经元进行状态的调整计算，其它神经元的状态均保持不变，即(3)网络的同步工作方式网络的同步工作方式是一种并行

6、方式，所有神经元同时调整状态，即j=1,2,…,n121.网络的稳定性DHNN网络实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若能经有限次递归后，其状态不再发生变化，即X(t+1)＝X(t)，则称该网络是稳定的。如果网络是稳定的，它可以从任一初态收敛到一个稳态。网络的稳定性与吸引子13若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为浑沌。14网

7、络达到稳定时的状态X，称为网络的吸引子。如果把吸引子视为问题的解，从初态朝吸引子演变的过程便是求解计算的过程。若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。定义4.1若网络的状态X满足X=f(WX-T)则称X为网络的吸引子。吸引子与能量函数15定理4.1对于DHNN网，若按异步方式调整网络状态，且连接权矩阵W为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。证明：定义网络的能量函数为：令网络的能量改变量为ΔE，状态改变量为