离散hopfield网络用于联想去噪

《离散hopfield网络用于联想去噪》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、离散Hopfield网络用于联想去噪报告人：朱林鲁琦董诚摘要：本文将介绍Hopfield神经网络(HNN)的产生、发展及基本原理，重点是对离散Hopfield网络(DHNN)的说明。包括：网络结构、涉及的算法和神经网络的训练方法；具体实例描述网络的联想去噪功能；进行计算机仿真计算及仿真结果说明；仿真程序的说明文档（仿真程序附后）；最后将对DHNN的最新发展状况作简单阐述。关键词：Hopfield网络联想记忆连接权串/并行工作能量函数（一）Hopfield神经网络介绍Hopfield神经网络是美国物理学

2、家J.J.Hopfield于1982年首先提出的。它主要用于模拟生物神经网络的记忆机理。Hopfield神经网络有离散型（DHNN）和连续型（CHNN）两种。Hopfield神经网络状态的演变过程是一个非线性动力学系统，可以用一组非线性差分方程（对DHNN）或微分方程（CHNN）来描述。系统的稳定性可用所谓的“能量函数”（即李雅普诺夫或哈密顿函数）进行分析。在满足一定的条件下，某种“能量函数”的能量在网络运行过程中不断地减少，最后趋于稳定的平衡状态。对于一个非线性动力学系统，系统的状态从某一初值出发经

3、过演变后可能有如下几种结果：①渐进稳定点（吸引子）；②极限环；③混沌；④状态发散。因为人工神经网络的变换函数是一个有界函数，故系统的状态不会产生发散现象。目前，人工神经网络常利用渐进稳定点来解决某些问题。例如，如果把一个稳定点视为一个记忆的话，那么从初态朝这个稳定点的演变过程就是寻找该记忆的过程。如果把系统的稳定点视为一个能量函数的极小点，而把能量函数视为一个优化问题的目标函数，那么从初态朝这个稳定点的演变过程就是一个求解该优化问题的过程。由此可见，Hopfield网络的演变过程是一种计算机联想记忆或

4、求解优化问题的过程。实际上它的解并不需要真的去计算，而只要构成这种反馈神经网络，适当地设计其连接权和输入就可以达到这个目的。（二）离散型Hopfield神经网络（1）网络结构DHNN是一种单层地、输入输出为二值的反馈网络，它主要用于联想记忆。DHNN的结构如图1所示。图中定义X=[x1,x2，...xn]为网络的状态矢量，其分量是n个神经元的输出，仅取＋1或－1二值。θ=[θ1，θ2，…，θn]为网络的阈值矢量。W=[]nxn为网络的连接权矩阵，其元素表示第i个神经元到第j个神经元的连接权，它为对称矩

5、阵，即=,若=0,则称其网络为无自反馈的，否则，称其为有自反馈的。DHNN网络的计算公式如下：…………(A)…………(B)式中sgn(x)为符号函数（图一）（2）工作方式DHNN主要有以下两种工作方式：1）串行工作方式：在某一时刻只有一个神经元按照式（A）和式（B）改变状态而其余神经元的输出保持不变。这一变化的神经元可以按照随机方式或预定的顺序来选择。例如，若选到的神经元为第i个，则有2)并行工作方式：在某一时刻有N（1

6、的这一组神经元可以按照随机方式或某种规则来选择.当N=n时,称为全并行方式,即在某一时刻所有的神经元都按式(A)和式(B)改变状态,即若神经网络从某一状态X(0)开始,经过有限时间t后,它的状态不再发生改变,这就是DHNN的稳定状态(吸引子)。用数学公式表示为………(C)（3）DHNN联想记忆的设计及其记忆容量在满足一定的条件下，DHNN必收敛到一个稳定点（吸引子）。初态所处区域称为吸引域。如果将网络所有的稳定点看作记忆模式集合，而将初态看作一个提示模式（即发生某些变形或含有噪声的记忆模式），那么网络

7、的收敛过程就可以看作回忆过程。人们希望在一个提示模式下网络能回忆出一个记忆模式。DHNN稳定点的个数是记忆网络的一种测度，即记忆容量。DHNN的稳定性与网络的演化方式（串行或并行）及参数W和θ有关，因此，网络的记忆容量也与这些参数密切相关。DHNN实现联想记忆的关键问题是要使记忆模式的样本对应于网络能量函数的局部极小点。例如，设有m个n维记忆模式，通过对网络n个神经元之间连接权和n个神经元输出阈值的设计，使这m个记忆模式所对应的状态正好使网络能量函数的m个局部极小点。这是一个较复杂困难的问题，目前还没

8、有一个适应任意记忆模式且有效的通用设计方法。联想记忆的设计方法有外积法、伪逆法、正交化设计法等。本文中使用的使外积法，它是一个比较简单有效的方法。现描述如下：【定义】将上式展开，可表示为可见，由式（C）所定义的外积矩阵满足：【定理1】设是要求网络记忆的m(m