人工神经网络原理教学课件作者马锐第5章节课件

《人工神经网络原理教学课件作者马锐第5章节课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章Hopfield神经网络目录5.1离散型Hopfield神经网络5.2连续型Hopfield神经网络5.3Hopfield神经网络应用实例Hopfield神经网络Hopfield神经网络丢弃了“层次”概念，创造出无层次的全互连型神经网络引入了“能量函数”的概念，阐明了神经网络与动力学之间的关系，使得神经网络的运行稳定性判断有了可靠而简便的依据两种形式离散型连续型Hopfield神经网络与电子电路存在明显对应关系，便于用集成电路实现5.1离散型Hopfield神经网络5.1.1离散型Hopfield神经网络结构5.1.2离散型Hopfield神经网络处理单元模型5.1.3离散型Hopf

2、ield神经网络状态及运行规则5.1.4离散型Hopfield神经网络的能量函数5.1.5离散型Hopfield神经网络的连接权值设计5.1.6离散型Hopfield神经网络的信息存储容量5.1.1离散型Hopfield神经网络结构有反馈的单层全互连结构n个神经元之间相互双向连接，神经元i与神经元j之间的连接权wij与神经元j与神经元i之间的连接权wji具有相同的值，即wij=wji每个神经元到自身的连接权值为0，即wii=0每个神经元接收所有神经元反馈的信息，受到所有神经元输出的控制，以保证Hopfield神经网络在没有外部输入时能进入稳定状态5.1.2离散型Hopfield神经网络处理

3、单元模型xj表示神经元j的输出(也称神经元的状态)wij表示神经元i与神经元j之间的连接权值θj表示神经元j的阈值神经元j的净输入sj为神经元j的输出xj为5.1.3离散型Hopfield神经网络状态及运行规则(1)Hopfield神经网络的状态n个神经元的状态集合在任意一个给定时刻t，离散型Hopfield网络的状态为X(t)=(x1,x2,…,xn)Hopfield神经网络的工作方式异步工作方式假定网络运行时每次只有一个神经元的状态发生变化，其他神经元的状态保持不变5.1.3离散型Hopfield神经网络状态及运行规则(2)同步工作方式网络运行时所有神经元同时调整状态Hopfield神

4、经网络的稳定状态网络中各个神经元的输出状态都不再改变离散型Hopfield网络的运行规则1)对网络进行初始化2)从网络中随机选取一个神经元j3)计算神经元j在t时刻的净输入sj(t)5.1.3离散型Hopfield神经网络状态及运行规则(3)4)计算神经元j在t+1时刻的输出xj(t+1)，此时网络中除j以外的其他神经元i的输出保持不变5)判断网络是否达到了稳定状态。如果网络未达到稳定状态，则转到2)继续进行；如果网络达到稳定状态，则网络工作过程终止5.1.4离散型Hopfield神经网络的能量函数离散型Hopfield网络的能量函数为Hopfield网络的能量函数阐明了神经网络与动力学之

5、间的关系，网络状态的变化过程实际上就是一个使能量极小化（包括全局极小和局部极小）的过程每次神经元状态改变时，整个网络的能量应单调减小，即能量或者与以前相同或者下降5.1.5离散型Hopfield神经网络的连接权值设计(1)离散型Hopfield网络可以用于联想记忆基本原理利用能量函数的极值点，将记忆的样本信息存储在不同的能量极值点上，在给网络输入某一模式时，网络的稳定状态就对应着已经记忆的存储样本，从而实现联想记忆离散型Hopfield网络实现联想记忆的核心是根据能量极值点（也称为学习模式）设计一组适当的网络权值和阈值5.1.5离散型Hopfield神经网络的连接权值设计(2)基于Hebb

6、学习规则的外积和法假设网络有n个节点，网络的连接权矩阵为W，若网络共处理m个两两正交的模式样本，即网络的学习任务集合为Xk=(x1k,x2k,…,xnk)，k=1,2,…m，则有其中I为n×n的单位矩阵5.1.6离散型Hopfield神经网络的信息存储容量网络能够存储的最大样本模式数称为网络的信息存储容量理想情况下，当采用外积和法为具有n个神经元的离散型Hopfield网络设计连接权值时，如果记忆模式满足两两正交的条件，那么该离散型Hopfield网络的最大信息存储容量为n，即最多可以记忆n个模式一般情况下，对于具有n个神经元的离散型Hopfield网络，如果是非正交的模式样本，网络的信息

7、存储容量一般为0.13n~0.15n5.2连续型Hopfield神经网络5.2.1连续性Hopfield神经网络结构5.2.2连续性Hopfield神经网络处理单元模型5.2.3连续性Hopfield神经网络的状态5.2.4连续性Hopfield神经网络的能量函数5.2.1连续性Hopfield神经网络结构有反馈的单层全互连结构，网络中的n个神经元之间相互连接，为双向对称连接结构，网络连接权值满足wij=wji和wii=