bp神经网络原理

《bp神经网络原理》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、BP神经网络的原理NUDT_SunkillerEmail:zhjunkey@yahoo.com.cn111、1、、、定义定义输入与偏置量310211w131θ1权重与阀值-210-1202-1-23神经元值Net-510.00670.7311净输出Out输入向量X=(x1，x2，…，xm)，目标向量为Y＝(y1，y2，…，ym)，权重向量W=(w1，w2，…，wm)，输入向量X经过神经元时，产生一个神经元值Net：mNet=XW+θ=∑xiwi+θ（1）i=1净输出为out：1out=f(Net)=（2）1+exp(−Net)上面的输出函

2、数只能输出0～1之间的数据，为使输出范围更大，在最后一层输出层，一般采用线性函数：out=f(Net)=Net（3）在学习过程中，输入向量X提供给网络，输出向量out立即和目标向量Y进行比较，一旦知道了实际误差，就需要立即修正权值和阀值，一般形式如下：lll−1l(previous)∆w=ηδout+µ∆w（4）jijiji其中：l－当前层；previous－上次修正；j－当前神经元；i－输入源；δ－修正因子；η－学习速率，决定权值改变速度；µ－动量因子，防止局部极小。-1-222、2、、、权值修正权值修正广义来讲：newolddε∆w=

3、w−w=−η（5）dw对l层中特定的一个权重，有：ll∂ε∆w=−η（6）jil∂wji由（6）式可得：ll∂outl∂Netll∂ε∂εjj∆w=−η=−η()()()（7）jillll∂w∂out∂Net∂wjijjji其中：mlll∂Netl∂(∑xiwji+θj)∂(xlwl+L+xlwl+L+θl)ji=11j1ijijll−1===x=out（8）lllii∂w∂w∂wjijiji同时，令：l∂outll∂εjδ=−()()（9）jll∂out∂Netjj下面的问题即转换为求解修正因子问题。2.12.1最后一层2.1最后一层（

4、（（输出层（输出层）））修正因子的求解）修正因子的求解因为最后一层所用转换函数为（3）式，所以有：ll∂out∂Netjj==1（10）ll∂Net∂Netjj最后一层的误差ε是知道的：ml1l2ε=∑(yj−outj)（11）2j=1所以：l(l)∂(y−outl)∂ε1∂y1−out1jjll=l+L+l+L=−(yj−outj)（12）∂outj2∂outj∂outj将式（12）、（10）带入（9）式，得输出层得修正因子为：llδ=(y−out)（13）jjj-2-所以可以得出输出层的权值修正为：lll−1ll−1∆

5、w=ηδout=η(y−out)out（14）jijijji再加上上轮修正结果，得到形如式（4）的最终修正值：lll−1l(previous)ll−1l(previous)∆w=ηδout+µ∆w=η(y−out)out+µ∆w（15）jijijijjiji2.22.2隐含层修正因子的求解2.2隐含层修正因子的求解因为隐含层所用转换函数为（2）式，所以：l∂outjll=out1(−out)（16）ljj∂Netj隐含层的真实误差是不知道的，所以需要假设，假设在网络传播过程中第l层的误差已经均匀分布在下一层（第l+1层）中每个神经元上：r

6、ll+1ε=∑εk（17）k=1所以有：lrl+1l+1∂ε∂εk∂Netk=∑()()（18）ll+1l∂outjk=1∂Netk∂outj其中：mml+1l+1l+1l+1ll+1l+1∂(∑wkjxj+θk)∂(∑wkjoutj+θk)∂Netkj=1j=1l+1===w（19）lllkj∂out∂out∂outjjj而：l+1l+1l+1∂εk∂εk∂outkl+1=()()=−δ（20）l+1l+1l+1k∂Net∂out∂Netkkk所以得到：lr∂εl+1l+1l=−∑δkwkj（21）∂outjk=1将（21）、（16）带

7、入（9）中，得到隐含层修正因子：l∂outlrl∂εjl+1l+1llδj=−(l)(l)=(∑δkwkj)outj1(−outj)（22）∂outj∂Netjk=1所以隐含层权值修正值为：-3-rlll−1l+1l+1lll−1∆wji=ηδjouti=η(∑δkwkj)outj1(−outj)outi（23）k=1再加上上轮修正结果，得到一般形式为：rll+1l+1lll−1l(previous)∆wji=η(∑δkwkj)outj1(−outj)outi+µ∆wji（24）k=12.32.3权值修正方程2.3权值修正方程输出层：：：

8、ll修正因子：δ=(y−out)jjjlll−1ll−1权值改变量：∆w=ηδout=η(y−out)outjijijjilll−1l(previous)ll−1l(previous)一般形式