《神经网络优化计算》PPT课件

《《神经网络优化计算》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章神经网络优化计算智能算法导论浙江大学5.1人工神经网络的基本概念5.1.1发展历史5.1.2McCulloch-Pitts神经元5.1.3网络结构的确定5.1.4关联权值的确定5.1.5工作阶段5.2多层前向神经网络5.2.1一般结构5.2.2反向传播算法5.3反馈型神经网络5.3.1离散Hopfield神经网络5.3.2连续Hopfield神经网络5.3.3Hopfield神经网络在TSP中的应用智能算法导论浙江大学5.1人工神经网络的基本概念智能算法导论浙江大学“神经网络”与“人工神经网络”1943年，WarrenMcCulloch和WalterPitt

2、s建立了第一个人工神经网络模型；1969年，Minsky和Papert发表Perceptrons；20世纪80年代，Hopfield将人工神经网络成功应用在组合优化问题。5.1.1发展历史5.1人工神经网络的基本概念智能算法导论浙江大学重要意义现代的神经网络开始于McCulloch,Pitts(1943)的先驱工作；他们的神经元模型假定遵循有-无模型律；如果如此简单的神经元数目足够多和适当设置连接权值并且同步操作,McCulloch&Pitts证明这样构成的网络原则上可以计算任何可计算函数；标志着神经网络和人工智能的诞生。5.1.2McCulloch-Pitts神

3、经元5.1人工神经网络的基本概念智能算法导论浙江大学结构McCulloch-Pitts输出函数定义为：5.1.2McCulloch-Pitts神经元InputsignalSynapticweightsSummingfunctionActivationfunctionOutputyx1x2xnw2wnw1-θ5.1人工神经网络的基本概念智能算法导论浙江大学线性网络激活函数满足f(cz)=cf(z),f(x+y)=f(x)+f(y)确定权数的常用规则·hebb规则McCulloch-Pitts输出函数定义为：5.*单层网络5.1人工神经网络的基本概念智能算法导论浙江大

4、学网络的构建Y=F(X)5.1.2McCulloch-Pitts神经元x1y1输出层隐藏层输入层x2y2ymxn…………网络的拓扑结构前向型、反馈型等神经元激活函数阶跃函数线性函数Sigmoid函数5.1人工神经网络的基本概念智能算法导论浙江大学5.1.3网络结构的确定f(x)x0+12021/9/910激活函数(ActivationFunction)激活函数执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：o=f（net）1、线性函数（LinerFunction）f（net）=k*net+cnetooc2021/9/9112、非线性斜面函数(R

5、ampFunction)γifnet≥θf（net）=k*netif

6、net

7、<θ-γifnet≤-θγ>0为一常数，被称为饱和值，为该神经元的最大输出。2021/9/9122、非线性斜面函数（RampFunction）γ-γθ-θneto2021/9/9133、阈值函数（ThresholdFunction）阶跃函数βifnet>θf（net）=-γifnet≤θβ、γ、θ均为非负实数，θ为阈值二值形式：1ifnet>θf（net）=0ifnet≤θ双极形式：1ifnet>θf（net）=-1ifnet≤θ2021/9/9143、阈值函数（ThresholdFun

8、ction）阶跃函数β-γθonet02021/9/9154、S形函数压缩函数（SquashingFunction）和逻辑斯特函数（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d为常数。它的饱和值为a和a+b。最简单形式为：f（net）=1/(1+exp(-d*net))函数的饱和值为0和1。S形函数有较好的增益控制2021/9/9164、S形函数a+bo(0,c)netac=a+b/22021/9/917无导师学习无导师学习(UnsupervisedLearning)与无导师训练(UnsupervisedTra

9、ining)相对应抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。2021/9/918有导师学习有导师学习(SupervisedLearning)与有导师训练(SupervisedTraining)相对应。输入向量与其对应的输出向量构成一训练。有导师学习的训练算法的主要步骤包括：1）从样本集合中取一个样本（Ai，Bi）；2）计算出网络的实际输出O；3）求D=Bi-O；4）根据D调整权矩阵W；5）对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。2021/9/919Delta规则Widrow和Hoff的写法：Wij(t+1)=W

10、ij(t)