bp神经网络理论基础介绍

《bp神经网络理论基础介绍》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、BP神经网络基本原理Back-propagationArtificialNeuralNetworks2021/10/51人工神经元模拟生物神经元的一阶特性。输入：X=（x1，x2，…，xn）联接权：W=（w1，w2，…，wn）T网络输入：net=∑xiwi向量形式：net=XW2021/10/52人工神经元的基本构成xnwn∑x1w1x2w2net=XW…激活函数执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：o=f（net）1、线性函数（LinerFunction）f（net）=k*net+c2021/10

2、/53激活函数(ActivationFunction)netoocγifnet≥θf（net）=k*netif

3、net

4、<θ-γifnet≤-θγ>0为一常数，被称为饱和值，为该神经元的最大输出。2021/10/542、非线性斜面函数(RampFunction)2021/10/552、非线性斜面函数（RampFunction）γ-γθ-θnetoβifnet>θf（net）=-γifnet≤θβ、γ、θ均为非负实数，θ为阈值二值形式：1ifnet>θf（net）=0ifnet≤θ双极形式：1ifnet>θf（net）=-1ifn

5、et≤θ2021/10/563、阈值函数（ThresholdFunction）阶跃函数β2021/10/573、阈值函数（ThresholdFunction）阶跃函数-γθonet0压缩函数（SquashingFunction）和逻辑斯特函数（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d为常数。它的饱和值为a和a+b。最简单形式为：f（net）=1/(1+exp(-d*net))函数的饱和值为0和1。S形函数有较好的增益控制2021/10/584、S形函数2021/10/59

6、4、S形函数a+bo(0,c)netac=a+b/2生物神经网六个基本特征神经元及其联接、信号传递、训练、刺激与抑制、累积效果、阈值。人工神经元的基本构成2021/10/510课内容回顾xnwn∑x1w1x2w2net=XW…激活函数与M-P模型线性函数、非线性斜面函数、阈值函数S形函数M-P模型2021/10/511上次课内容回顾x2w2∑fo=f（net）xnwn…net=XWx1w12021/10/512简单单级网……x1x2…xno1o2omwnmw11w1mw2mwn1输出层输入层W=（wij）输出层的第j个神经元的网

7、络输入记为netj：netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）2021/10/513简单单级网2021/10/514单级横向反馈网输出层x1o1w11w1mx2o2w2m………xnomwn1输入层VV=（vij）NET=XW+OVO=F（NET）时间参数神经元的状态在主时钟的控制下同步变化考虑X总加在网上的情况NET（t+1）=X（t）W+O（t）VO(t+1)=F(NET(t+1))O（0）=0考虑仅在t=0时加X的情况。稳定性判

8、定2021/10/515单级横向反馈网2021/10/516多级网输出层隐藏层输入层o1o2om…x1x2xn………………层次划分信号只被允许从较低层流向较高层。层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。输入层：被记作第0层。该层负责接收来自网络外部的信息2021/10/517输出层隐藏层输入层o1o2om…x1x2xn………………第j层：第j-1层的直接后继层（j>0），它直接接受第j-1层的输出。输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。隐藏层：除输入层和输出层以外的其它各

9、层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号2021/10/518输出层隐藏层输入层o1o2om…x1x2xn………………约定:输出层的层号为该网络的层数：n层网络，或n级网络。第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。2021/10/519输出层隐藏层输入层o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2021/10/520多级网层网络输出层隐藏层输入层o1o2om…x1x2xn………………W(

10、1)W(2)W(3)W(h)非线性激活函数F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))2021/10/521多级网2021/10/522循环网x1o1输出层隐藏层输入层x2o2omxn…………………如果将输出信号反馈到输入端,就可构成一个