Hopfield神经网络优化方法.ppt

《Hopfield神经网络优化方法.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、1第10章Hopfield神经网络优化方法Hopfield神经网络优化方法2Hopfield神经网络优化方法10.1人工神经网络模型10.2Hopfield神经网络10.3Hopfield网络与最优化问题Hopfield神经网络优化方法3人工神经网络人工神经网络是指由大量简单人工神经元互联而成的一种计算结构。它可以在某种程度上模拟生物神经系统的工作过程，从而具备解决实际问题的能力。人工神经网络由于其大规模并行处理、学习、联想和记忆等功能，以及它高度的自组织和自适应能力，已成为解决许多工程问题的有力工具，近年来得到了飞速的发展。Hopfield神经网络优化方法

2、4生物神经系统生物神经系统是一个有高度组织和相互作用的数目庞大的细胞组织群体。这些细胞被称为神经细胞，也称作神经元。Hopfield神经网络优化方法5人工神经元模型人工神经元是构成人工神经网络的基本单元，是对生物神经元特性及功能的一种数学抽象，通常为一个多输入单输出器件。Hopfield神经网络优化方法6人工神经元模型输入与输出信号：s1、s2、….sn为输入，vi为输出。输出也称为单元的状态。Hopfield神经网络优化方法7人工神经元模型权值：给不同的输入的信号一定的权值，用wij表示。一般权值为‘+’表示激活，为‘-’表示抑制；Hopfield神经网络

3、优化方法8人工神经元模型求和器：用表示，以计算各输入信号的加权和，其效果等同于一个线性组合；Hopfield神经网络优化方法9人工神经元模型激活函数：图中的f()，主要起非线性映射作用，另外还可以作为限幅器将神经元输出幅度限制在一定范围内；Hopfield神经网络优化方法10人工神经元模型阈值：控制激活函数输出的开关量，用i表示。Hopfield神经网络优化方法11人工神经元模型上述作用可用数学方式表示如下：i=1,2,…,n式中，sj为输入信号；wij为神经元i对输入信号sj的权值；ui为线性组合结果；i为阈值；f()为激活函数；vi为神经元i的

4、输出。Hopfield神经网络优化方法12激活函数的若干形式（1）阈值函数，即阶跃函数于是神经元i的相应输出为：式中，Hopfield神经网络优化方法13激活函数的若干形式（2）分段线性函数特点：类似于系数为1的非线性放大器，当工作于线性区时它是一个线性组合器，放大系数趋于无穷大时变成一个阈值单元Hopfield神经网络优化方法14激活函数的若干形式（3）sigmoid函数式中，c为大于0的参数，可控制曲线斜率Hopfield神经网络优化方法1510.1.3人工神经网络的互连模式根据连接方式的不同，将现有的各类神经网络分为如下2种形式：前馈型网络，反馈型网络

5、（1）前馈型网络各神经元接受前一层的输入，并输出给下一层，没有反馈。结点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多个其他结点作为输入）。可分为不同的层，第i-1层输出是第i层的输入，输入和输出结点与外界相连，而其他中间层称为隐层。主要起函数映射作用，常用于模式识别和函数逼近。Hopfield神经网络优化方法16（2）反馈型网络所有结点都是计算单元，同时也可接受输入，并向外界输出。若总的单元数为n，则每一个结点有n-1个输入、—个输出，如图10-7的形式。反馈网络按对能量函数极小点的利用分为两类：一类是能量函数

6、的所有极小点都起作用，主要用作各种联想存储器；第二类只利用全局极小点，主要用于优化问题求解。Hopfield模型、波尔兹曼机（BM）模型等可以完成此类计算。Hopfield神经网络优化方法1710.2Hopfield神经网络-HNN网络中引入了反馈，所以它是一个非线性动力学系统.非线性动力学系统着重关心的是系统的稳定性问题。在Hopfield模型中，神经网络之间的联系总是设为对称的，这保证了系统最终会达到一个固定的有序状态，即稳定状态。特点：Hopfield神经网络优化方法18Hopfield网络基本结构:其中，I1,I2,...,In是外部对网络的输入；v

7、1,v2,...,vn是网络系统的输出；u1,u2,...,un是对相应神经元输入，wij是从第j个神经元对第i个神经元的输入的权值，wji=wij，wii=0。f(•)是特性函数，决定了网络是离散的还是连续的。Hopfield神经网络优化方法19离散型Hopfield网络定义：对图10-8中的特性函数f(•)取阈值函数（见图10-3）等硬限函数，使神经元的输出取离散值，就得到离散型Hopfield神经网络。工作原理：设有n个神经元，v为神经网络的状态矢量，为第i个神经元的输出，输出取值为0或者为l的二值状态。对任一神经元i，为第i个神经元的内部未加权输入，

8、它们对该神经元的影响程度用连接权wij表示。为第i个