人工神经网络软计算ppt课件.ppt

《人工神经网络软计算ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、一、Hopfield网——擅长于联想记忆与解迷路1、H网的产生美国物理学家Hopfield，从物理学磁场理论中受到启发，结合生物神经网络的思维机理，在NN中加入物理概念的能量函数，1982年，提出该网。1985年，Hopfield用该网成功地求解了优化组合问题中，具有典型意义的旅行商问题，在所有随机选择的路径中找到了其中十万分之一的最优路径。磁场是一种具有记忆功能的物质，可制造许多东西，如计算机磁盘。磁性材料中，游动着大量的磁旋，带方向，相互作用，产生了磁场本身所具有的各种性质。H网的基本思想：用神经元模拟磁旋，用连接权模拟磁场中磁旋的相互作用，用各神经元的激活、抑制这两种状态，模拟

2、磁旋的上下两个方向。构成一个具有记忆功能的NN，并用计算能量函数，来评价和指导整个网络的记忆功能。2、H网的结构离散型网为例：三个神经元、五个神经元、七个神经元。图每个神经元只能取1或-1(0)两个状态；各个神经元相互连接：每个神经元都将自己的输出通过连接权传递给所有其他神经元；每个神经元又都接受所有其他神经元传递过来的信息；H网也是一种反馈型神经网。3、H网收敛条件已有定理证明，当网络满足以下两个条件时，H网的学习总是收敛的：1）网络的连接权矩阵无自连接且具有对称性，即wii=0，i=1…n；wij=wji，i，j=1…n2）各神经元按随机选取方式（非同步，串行），依运行规则改变状态

3、且当某个神经元改变状态时，其余所有保持原状不变。4、H网运行规则网络连接权值是固定的，只是通过按一定规则的计算，更新网络的状态。时刻t，第i个神经元的输出：xi（t）=Sgn（Hi）Hi=∑wijxj-θi，j=1…n,j≠iSgn（x）=1x≥0-1x<0xi改变，并不是按顺序进行的，而是随机方式选取。H网工作运行规则：1）从网中随机选取一个神经元i2）求所选中的神经元i的所有输入加权和：Hi=∑jwijxj-θi，j=1…n,j≠i3）计算i的第t+1时刻的输出值：IFHi（t）≥0，xi（t+1）=1Hi（t）<0，xi（t+1）=-14）i以外，所有神经元输出保持不变：xj（t

4、+1）=xj（t），j=1，2，…n，j≠i5）返回到第1）步，直到进入稳定状态。反馈网络的一个重要特点是具有稳定状态：无论再怎么更新下去，网络各神经元的输出状态不再改变，就是稳定状态：xi(t+1)=xi(t)=Sgn(Hi),i=1…n需多次反复。5、H网的能量函数能量=系数*某物理量*某物理量对H网：系数——权重的值；某物理量——神经元的输出所以，神经元j与i间的能量：Eij=-0.5wijxixjxi、xj——神经元i和j的输出，wij——神经元j与i间的权重，“-”——能量最小化考虑到神经元发火的阈值，H网的整体能量：E=-0.5∑i∑jwijxixj+∑iθixi通过学习的

5、反复进行，E朝向减少的方向进行：ΔEi=Ei(t+1)-Ei(t)=-0.5[xi(t+1)–xi(t)]Hi(t)≤0E（t+1）≤E（t）H网的能量图实际的H网能量图，有n个谷。因能量不向增大的方向变化，故一旦落入谷底，不再出来，动作停止。即一旦能量落入某个极小点，就不再动作，H网不一定收敛到全局的最小点。这是H网的一个缺点。但是，另一方面，H网具有了寻找能量函数极小点的功能。为网络的模式记忆打下了基础。理解H网的收敛过程例：4个神经元的H网络。每个神经元有两种状态，4个神经元共有24=16种状态组合，分别用16进制数0~F表示。情况1：让网络分别从0,1,2,….,F状态开始变化

6、，每次进行30次学习。网络状态变化次序及网络的收敛情况：“*”——收敛到全局最小点；“.”——落入局部极小点；除了3和A，其他均收敛于全局极小点4。说明网络的收敛情况依赖于初始状态。情况2:改变连接权初始随机值，其余同上。结果：所有状态都收敛于全局最小点e，能量为-248。说明整个网络只有一个极小点。结论：对于同样结构的网络，当参数有所变化时，网络的能量函数也将发生变化，极小点的个数和大小也将变化。6、联想记忆的概念计算机记忆原理：要记忆内容+地址，存入记忆装置；想取出时，指定地址，读其内容。人脑：不用地址，由线索想起记忆内容。按线索与想起内容，可进行如下的分类：自想起：线索与想起的内

7、容相同；如看到脸的一部分，想起脸的全体。互想起：线索与想起的内容不同；如，听到水果，想起橘子。联想记忆的基本特征：由某个模式的部分内容，联想起这个模式的全部信息。自联想记忆：通过对某个事物的部分信息，或含有躁声的信息，再现出事物本来的信息。互联想：由某一事物的信息，联想出另一事物的信息。H网可实现自联想：线索与想起的内容相同。7、H网记忆实现原理H网的E能量函数，平稳点——谷，这些谷与要记忆的内容对应。设法把所需记忆的模式设计成某个确定网络状态