霍普菲尔德Hopfiel

《霍普菲尔德Hopfiel》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、霍普菲尔德（Hopfield）神经网络1、网络结构形式2、非线性系统状态演变的形式3、离散型的霍普菲尔德网络（DHNN）4、连续性的霍普菲尔德网络（CHNN）网络结构形式Hopfield网络是单层对称全反馈网络，根据激活函数选取的不同，可分为离散型和连续性两种（DHNN,CHNN）。DHNN：作用函数为hadlim，主要用于联想记忆。CHNN：作用函数为S型函数，主要用于优化计算。反馈网络的结构如图2.8.1所示。图2.8.1Hopfield网络结构非线性系统状态演变的形式在Hopfield网络中，由于反馈的存在，其加权输入

2、和ui，i=1~n为网络状态，网络的输出为y1~yn，则u,y的变化过程为一个非线性动力学系统。可用非线性差（微）分方程来描述。一般有如下的几种状态演变形式：（1）渐进稳定（2）极限环（3）混沌现象（4）状态轨迹发散Hopfield网络的稳定性可用能量函数进行分析。目前，人工神经网络常利用渐进稳定点来解决某些问题。例如，如果把系统的稳定点视为一个记忆的话，那么从初态朝这个稳定点的演变过程就是寻找记忆的过程。初态可以认为是给定的有关记忆的部分信息。如果把系统的稳定点视为一个能量函数的极小点，把能量函数视为一个优化问题的目标函数

3、，那么从初态朝这个稳定点的演变过程就是一个求该优化问题的过程。这样的优点在于它的解并不需要真的去计算，而只要构成这种反馈网络，适当的设计其连接值和输入就可达到目的。离散型的Hopfield神经网络1、I/O关系2、两种工作方式3、网络的稳定性分析4、DHNN网络设计网络结构及I/O关系图2.8.2是一个有三个节点的DHNN结构。对于以符号函数为激活函数的网络，网络的方程可写为：图2.8.2两种工作方式DHNN主要有以下两种工作方式：（1）串行工作方式在某一时刻只有一个神经元按照上式改变状态，而其它神经元的输出不变。这一变化的

4、神经元可以按照随机的方式或预定的顺序来选择。（2）并行工作方式在某一时刻有N个神经元按照上式改变状态，而其它的神经元的输出不变。变化的这一组神经元可以按照随机方式或某种规则来选择。当N=n时，称为全并行方式。DHNN的稳定工作点Xi(t+1)=Xi(t)=sgn(∑j=1nWijXi(t)-θi)i=1,2,…,n网络的稳定性分析DHNN的能量函数定义为：关于DHNN的稳定性有如下的定理：当网络工作在串行方式下时，若W为对称阵，且其对角元素非负，则其能量函数单调下降，网络总能收敛到一个稳定点。全并行方式下也有同样的结论。DH

5、NN网络设计用DHNN实现联想记忆需要考虑两个重要的问题：①怎样按记忆确定网络的W和；②网络给定之后如何分析它的记忆容量。下面将分别讨论。1、权值设计的方法2、记忆容量分析3、权值修正的其它方法在MATLAB中，用函数newhop.m来设计一个Hopfield网络：net=newhop(T)权值设计的方法权值设计的方法有外积法、伪逆法、正交设计法等。下面仅介绍外积法，它是一种比较简单，在一定条件下行之有效的方法。例设计DHNN，并考察其联想性能。说明所设计的网络没有准确的记忆所有期望的模式。记忆容量分析当网络只记忆一个稳定

6、的模式时，该模式肯定被网络准确无误的记忆住。但当所要记忆的模式增加时，情况则发生了变化，主要表现在下列两点上：1、权值移动2、交叉干扰权值移动在网络的学习过程中，网络对权值的记忆实际上是逐个实现的。即对权值W，有程序:当网络准确的X1时，为了记忆X2,需要在记忆样本X1的权值上加上对样本X2的记忆项X2X2T-I，将权值在原来值的基础上产生了移动。这样网络有可能部分得遗忘了以前以记忆住的模式。()endIXXWWqkforWTKK-+===,10从动力学的角度来看，k值较小时，网络Hebb学习规则，可以使输入学习样本成为其吸

7、引子。随着k值的增加，不但难以使后来的样本成为网络的吸引子，而且有可能使已记忆住的吸引子的吸引域变小，使原来处于吸引子位置上的样本从吸引子的位置移动。对一记忆的样本发生遗忘，这种现象称为“疲劳”。交叉干扰网络在学习多个样本后，在回忆阶段即验证该记忆样本时，所产生的干扰，称为交叉干扰。对外积型设计而言，如果输入样本是彼此正交的，n个神经元的网络其记忆容量的上界为n。但是在大多数情况下，学习样本不可能是正交的，因而网络的记忆容量要比n小得多，一般为(0.13~0.15)n，n为神经元数。权值修正的其它方法1、学习规则2、伪逆法

8、3、正交化权值设计学习规则学习规则基本公式是：即通过计算该神经元节点的实际激活值A(t)，与期望状态T(t)进行比较，若不满足要求，将两者的误差的一部分作为调整量，若满足要求，则相应的权值保持不变。伪逆法正交化权值设计这一方法的基本思想和出发点是为了满足下面四个要求：1）保证系统在异步