神经网络概述及HOPFIELD神经网络

《神经网络概述及HOPFIELD神经网络》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、神经网络及其应用H-H模型Integrate-and-Fire模型基于放电率编码的生物神经网络Hopfield网络BP网络PID神经网络人工神经网络生物神经网络神经科学神经网络技术1生物神经元及其网络-H-H模型1生物神经元及其网络-H-H模型(1)H-H方程（神经元模型）1生物神经元及其网络-H-H模型：突触电流：外部电流1生物神经元及其网络-H-H模型(2)突触模型2生物神经元及其网络-Integrate-and-Fire模型膜电位通过积分上升，到达阈值后，放电（发出一个电脉冲），然后膜电位回复到复位电位(1)神经元

2、模型神经元的放电的时刻集：神经元的状态（膜电压）神经元的突触前神经元集合：2生物神经元及其网络-Integrate-and-Fire模型来自于突触的输入：更一般的情况：突触强度2生物神经元及其网络-Integrate-and-Fire模型（2）突触模型3基于放电率编码的生物神经元及其网络（1）神经编码基于神经脉冲放电时刻的神经编码神经元放电序列：基于神经元放电率的神经编码神经元放电率神经元在时刻的放电的概率密度3基于放电率编码的生物神经元及其网络(2)基于放电率编码的神经元模型神经元放电率(3)基于放电率编码的突触模型神

3、经元膜时间常数简化简化inputweightsoutput突触电流突触时间常数3基于放电率编码的生物神经元及其网络(4)基于放电率编码的前向神经网络inputweightsoutput可用于解释运动前区皮层神经元的响应特性:只要头的位置不变，神经元响应不变(5)基于放电率编码的反馈神经网络inputweightsoutput可用于解释神经系统中的选择性放大、输入积分等特性3基于放电率编码的生物神经元及其网络(5)基于放电率编码的反馈神经网络3基于放电率编码的生物神经元及其网络选择性放大:假设（线性反馈神经网络）（特征值,

4、特征向量）两边同乘(5)基于放电率编码的反馈神经网络3基于放电率编码的生物神经元及其网络选择性放大:若若而其它特征值远小于1，则：即投射到轴上的输入向量将得到放大输入积分:眼睛的水平定位3基于放电率编码的生物神经元及其网络(5)基于放电率编码的生物神经网络的学习Hebb学习规则（1949）：如果神经元A对神经元B的放电有贡献，则从神经元A到神经元B的突触连接应加强非监督式学习（unsupervisedlearning）：监督式学习（supervisedlearning）：第个输入输出样本对，样本对个数强化式学习（rein

5、forcementlearning）：间于非监督式学习和监督式学习之间inputweightsoutput4Hopfield神经网络1982年，Hoopfield用能量函数的思想形成一种具有对称连接的递归网络所执行的计算的新方法。这类具有反馈的特殊神经网络在80年代引起了大量的关注，产生了著名的Hopfield网络。尽管Hopfield网络不可能是真正的神经生物系统模型，他们包涵的原理，即在动态的稳定网络中存储信息原理的，是极深刻的。4Hopfield神经网络-连续型神经元的状态（输入）神经元的输出(放电率)其它神经元的

6、输出构成的输入外部输入4Hopfield神经网络-离散型:净输入:输出:sigmoidfunction神经元的个数4Hopfield神经网络-离散型如果Hopfield网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的。著名的Lyapunov函数作为Hopfield网络的能量函数。例如三个神经元的神经网络的权矩阵：4Hopfield神经网络-离散型状态更新顺序（同步）：初始状态A=1,B=1,C=0A=0,B=0,C=1A=1,B=1,C=1A=1,B=1,C=1状态更新顺序（异步）：初始状态A=1,B=1,C=0A=

7、0B=1C=1注:异步更新一定能演化到固定点4Hopfield神经网络-离散型在优化问题中的应用状态演化（1）（2）注：（3）从任一初始状态演化（如图A=1，B=1），网络将稳定在A=1，B=0，这就是m1，m1的解。异步更新4Hopfield神经网络-离散型在联想记忆问题中的应用注意：两个存储模式为两个局部能量最低点Hebb学习规则假设存储模式:4Hopfield神经网络-离散型在联想记忆问题中的应用自相关记忆能量函数：4Hopfield神经网络-离散型在联想记忆问题中的应用4Hopfield神经网络-离散型在联想记忆

8、问题中的应用4Hopfield神经网络-离散型联想记忆的两个重要问题(1)存储容量(2)吸引域1请以具体数据举一简单例子说明离散Hopfield网络如何用于优化问题。2请以具体数据举一简单例子说明离散Hopfield网络如何用于联想记忆问题。4Hopfield神经网络-离散型思考题