资源描述：
《BP神经网络介绍课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第四章误差反向传播神经网络研16电子陈晨2017.4.11第四章误差反向传播神经网络4.1误差反向网络的提出4.2BP神经网络结构基本思想4.3BP神经网络处理的单元模型4.4BP神经网络学习算法4.5BP网络的分析--梯度下降学习方法4.6BP人工神经网络模型的改进4.1误差反向网络的提出1986年,Romelhart和McCelland提出了误差反向传播算法(ErrorBackPropagationAlgorithm，简称BP算法),由于多层前馈网络的训练经常采用误差反向传播算法，所以人们也常把多层前馈网络称为BP网络。BP算法采用非线性连续变
2、换函数，使隐含层神经元具有了学习能力。其基本思想直观、易于理解，数学意义明确、步骤分明，所以BP网络成为目前应用最广的神经网络。183第四章误差反向传播神经网络4第四章误差反向传播神经网络修改权值阈值教师信号4.2BP神经网络结构基本思想184.2BP神经网络结构基本思想BP算法的主要思想是把训练过程分为两个阶段：第一阶段(正向传播过程)给出输入信息通过输入层经隐含层逐层处理并计算每个单元的实际输出值。第二阶段(反向传播过程)若在输出层不能得到期望的输出值，那么逐层递归地计算实际输出与期望输出之差值，以便根据差值调节权值。185第四章误差反向传播神
3、经网络4.3BP神经网络处理的单元模型186第四章误差反向传播神经网络w1jx1jw2jx2θjxnwnjyj阈值θj的作用反应在s型生长曲线上是使曲线向右平移θj个单位，在BP网络里它起到了神经元兴奋水平的作用。187第四章误差反向传播神经网络4.3BP神经网络处理的单元模型Sigmoid函数的一阶导数：4.4BP神经网络学习算法三层前馈网中:输入模式k向量为X=(x1,x2,⋯,xn)T，对应输入模式k的期望输出向量为Y=(y1,y2,⋯,yq)T；中间隐含层的净输入向量为S=(s1,s2,⋯,sp)T，输出向量为B=(b1,b2,⋯,bp)T
4、；输出层净输入向量L=(l1,l2,⋯,lq)T，实际输出向量C=（c1,c2,⋯,cq)T；θ={θj}（j=1,2,⋯,p}为隐层神经元引入阈值，γ={γt}(t=1,2...q)为输出层神经元引入阈值；输入层到隐层之间的权值矩阵V=(V1,V2,⋯,Vm)，隐层到输出层之间的权值矩阵W=(W1,W2,⋯,Wr)。188第四章误差反向传播神经网络189第四章误差反向传播神经网络1810第四章误差反向传播神经网络（1）计算中间隐含层各个神经元的净输入和输出j=1,2,...,p（2）计算输出层各个神经元的净输入和实际输出t=1,2,...,q（3
5、）根据给定期望，计算输出层各个神经元的校正误差（4）计算隐含层各个神经元的校正误差4.4BP神经网络学习算法1811第四章误差反向传播神经网络（5）修正隐含层至输出层的连接权值V和输出层神经元的阈值γ，其中学习速率为α，0<α<1j=1,2,...,p，t=1,2,...,q（6）修正输入层至隐含层的连接权值W和隐含层神经元的阈值θ，其中学习速率为β，0<β<14.4BP神经网络学习算法1812第四章误差反向传播神经网络一、BP网络的主要能力1、非线性映射能力2、泛化能力3、容错能力4.5BP网络的分析--梯度下降学习方法二、BP算法的局限性1、存
6、在局部极小问题2、存在平坦区，收敛速度慢3、网络结构选择不一1813第四章误差反向传播神经网络1、BP人工神经网络结构的自我调整在BP人工神经网络拓扑结构中,输入节点与输出节点是由问题的本身决定的,关键在于隐层的层数与隐节点的数目。只需一个隐层的神经网络,它只要隐节点足够多,就可以以任意精度逼近一个非线性函数。相对来说,隐节点数的选取很困难。隐节点少了,学习过程不可能收敛；隐节点多了,网络性能下降,节点冗余。为了找到合适的隐节点数,最好的办法是在网络的学习过程中,根据环境要求,自组织地学习、调整自己的结构,最后得到一个大小合适的神经网络模型。4.6
7、BP人工神经网络模型的改进从少到多：初始值：，先设置较多隐节点1814第四章误差反向传播神经网络2、BP神经网络学习参数的自适应学习BP神经网络模型实际上是一个多元函数的优化问题,即以连结权系数为变量,误差函数最小为目标的优化问题。当求出对连结权的梯度后,对连结权进行修正时,学习速率α、β实际上是一个沿负梯度方向的步长问题,步长过大将使误差函数发生振荡,步长过小,收敛过慢。并且在不同的点,可选步长也不一样。总之,不存在原BP算法中所提到的固定学习速率。4.6BP人工神经网络模型的改进我们可以引入学习参数自适应算法加以确定。其基本思想是：当权值w,v
8、远离稳定点(学习要达到的目标点)时,α,β取较大值；而当其逼近稳定点(E1→0)时,α,β取较小值。1815第四章误差反向
