人工神经网络理论 设计及应用第二版课件 教学课件 作者 韩力群 编著第三章bp算法.ppt

《人工神经网络理论 设计及应用第二版课件 教学课件 作者 韩力群 编著第三章bp算法.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章前馈神经网络3.4误差反传（BP）算法1回顾3.1单层感知器模型：单计算节点感知器实际上就是一个M-P神经元模型功能：解决线性可分问题局限性：不能解决线性不可分问题学习算法：有导师学习3.2多层感知器模型：有隐层的多层前馈网络功能：能够求解非线性问题局限性：隐层神经元的学习规则尚无所知23.3BP算法及改进－主要内容引言基于BP算法的多层前馈网络模型BP算法的实现基本思想推导过程程序实现BP学习算法的功能BP学习算法的局限性BP学习算法的改进3引言－－BP算法的提出提高网络性能（如分类能力）的有效途径包含隐层的多层前馈网络长期以来没有提出解决权值调整问题的

2、有效算法。非线性连续转移函数BP(ErrorBackProragation，BP)算法1986年，Rumelhart和McCelland领导的科学家小组《ParallelDistributedProcessing》一书应用对象：多层前馈网络具有非线性连续转移函数43.4.1基于BP算法的多层前馈网络模型误差反传（BP）算法3.4误差反传（BP）算法5模型的数学表达输入向量：X=(x1,x2,…,xi,…,xn)T隐层输出向量：Y=(y1,y2,…,yj,…,ym)T输出层输出向量：O=(o1,o2,…,ok,…,ol)T期望输出向量：d=(d1,d2,…,dk,

3、…,dl)T输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm)隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl)各个变量之间如何建立联系，来描述整个网络？6对于输出层：k=1,2,…,l(3.4.1)k=1,2,…,l(3.4.2)对于隐层：j=1,2,…,m(3.4.3)j=1,2,…,m(3.4.4)误差反传（BP）算法3.4.1基于BP算法的多层前馈网络模型7双极性Sigmoid函数：单极性Sigmoid函数：(3.4.5)误差反传（BP）算法3.4.1基于BP算法的多层前馈网络模型8一、网络误差与权值调整输出误差E定义：(

4、3.4.6)将以上误差定义式展开至隐层：(3.4.7)误差反传（BP）算法3.4.2BP学习算法9一、网络误差与权值调整进一步展开至输入层：(3.4.8)误差反传（BP）算法3.4.2BP学习算法10j=0,1,2,…,m;k=1,2,…,l(3.4.9a)i=0,1,2,…,n;j=1,2,…,m(3.4.9b)式中负号表示梯度下降，常数η∈(0,1)表示比例系数。在全部推导过程中，对输出层有j=0,1,2,…,m;k=1,2,…,l对隐层有i=0,1,2,…,n;j=1,2,…,m误差反传（BP）算法3.4.2BP学习算法11二、BP算法推导对于输出层，式(

5、3.15a)可写为(3.4.10a)对隐层，式(3.15b)可写为(3.4.10b)对输出层和隐层各定义一个误差信号，令(3.4.11a)(3.4.11b)误差反传（BP）算法3.4.2BP学习算法12综合应用式(3.4.2)和(3.4.11a)，可将式(3.4.10a)的权值调整式改写为综合应用式(3.13)和(3.21b)，可将式(3.17b)的权值调整式改写为(3.4.12a)（3.4.12b)可以看出，只要计算出式(3.4.12)中的误差信号o和y，权值调整量的计算推导即可完成。下面继续推导如何求误差信号o和y。误差反传（BP）算法13对于输出层

6、，o可展开为对于隐层，y可展开为下面求式(3.23)中网络误差对各层输出的偏导。(3.4.13a)（3.4.13b)误差反传（BP）算法14对于输出层，利用式(3.4.6)：对于隐层，利用式(3.4.7)：（3.4.14a)可得：（3.4.14b)可得：误差反传（BP）算法15将以上结果代入式(3.4.13)，并应用式(3.15)：（3.4.15a)得到：（3.4.15b)至此两个误差信号的推导已完成。误差反传（BP）算法16将式(3.4.15)代回到式(3.4.12)，得到三层前馈网的BP学习算法权值调整计算公式为：(3.4.16a)(3.4.16b)误差

7、反传（BP）算法17误差反传（BP）算法18