BP神经网络理论基础介绍-文档资料课件.ppt

《BP神经网络理论基础介绍-文档资料课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、人工神经元模拟生物神经元的一阶特性。输入：X=（x1，x2，…，xn）联接权：W=（w1，w2，…，wn）T网络输入：net=∑xiwi向量形式：net=XW2021/8/91人工神经元的基本构成xnwn∑x1w1x2w2net=XW…激活函数执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：o=f（net）1、线性函数（LinerFunction）f（net）=k*net+c2021/8/92激活函数(ActivationFunction)netoocγifnet≥θf（net）=k*netif

2、net

3、<θ-γifnet≤-θγ>0为一常

4、数，被称为饱和值，为该神经元的最大输出。2021/8/932、非线性斜面函数(RampFunction)2021/8/942、非线性斜面函数（RampFunction）γ-γθ-θnetoβifnet>θf（net）=-γifnet≤θβ、γ、θ均为非负实数，θ为阈值二值形式：1ifnet>θf（net）=0ifnet≤θ双极形式：1ifnet>θf（net）=-1ifnet≤θ2021/8/953、阈值函数（ThresholdFunction）阶跃函数β2021/8/963、阈值函数（ThresholdFunction）阶跃函数-γθonet0压缩函数（Sq

5、uashingFunction）和逻辑斯特函数（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d为常数。它的饱和值为a和a+b。最简单形式为：f（net）=1/(1+exp(-d*net))函数的饱和值为0和1。S形函数有较好的增益控制2021/8/974、S形函数2021/8/984、S形函数a+bo(0,c)netac=a+b/2生物神经网六个基本特征神经元及其联接、信号传递、训练、刺激与抑制、累积效果、阈值。人工神经元的基本构成2021/8/99课内容回顾xnwn∑x1w1x2w2net=XW…激活函数与

6、M-P模型线性函数、非线性斜面函数、阈值函数S形函数M-P模型2021/8/910上次课内容回顾x2w2∑fo=f（net）xnwn…net=XWx1w12021/8/911简单单级网……x1x2…xno1o2omwnmw11w1mw2mwn1输出层输入层W=（wij）输出层的第j个神经元的网络输入记为netj：netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）2021/8/912简单单级网2021/8/913单级横向反馈网输出层x1o1w11w1mx2o2w2m………x

7、nomwn1输入层VV=（vij）NET=XW+OVO=F（NET）时间参数神经元的状态在主时钟的控制下同步变化考虑X总加在网上的情况NET（t+1）=X（t）W+O（t）VO(t+1)=F(NET(t+1))O（0）=0考虑仅在t=0时加X的情况。稳定性判定2021/8/914单级横向反馈网2021/8/915多级网输出层隐藏层输入层o1o2om…x1x2xn………………层次划分信号只被允许从较低层流向较高层。层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。输入层：被记作第0层。该层负责接收来自网络外部的信息2021/8/916输出层隐藏层输入

8、层o1o2om…x1x2xn………………第j层：第j-1层的直接后继层（j>0），它直接接受第j-1层的输出。输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号2021/8/917输出层隐藏层输入层o1o2om…x1x2xn………………约定:输出层的层号为该网络的层数：n层网络，或n级网络。第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。2021/8/91

9、8输出层隐藏层输入层o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2021/8/919多级网层网络输出层隐藏层输入层o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)非线性激活函数F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))2021/8/920多级网2021/8/921循环网x1o1输出层隐藏层输入层x2o2omxn…………………如果将输出信号反馈到输入端,就可构成一个多层的循环网络。输入的原始信号被逐步地加强、被修复。大脑的短期记忆特征:看到的东西不是一下子就从脑海里消失的。稳定：反馈信号会

10、引起网络输出的不断变化。我们希望这种变