资源描述：
《人工神经网络原理教学课件作者马锐第4章节课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第4章误差反向传播神经网络目录4.1误差反向传播神经网络的提出4.2误差反向传播神经网络结构4.3误差反向传播神经网络处理单元结构4.4误差反向传播学习算法4.6误差反向传播学习算法的改进4.7隐含层的特征抽取作用4.8误差反向传播神经网络的主要能力4.1BP神经网络的提出采用非线性连续变换函数，使隐含层神经元具有学习能力4.2BP神经网络结构(1)4.2BP神经网络结构(2)互连结构BP神经网络是一种具有三层或三层以上结构的无反馈的层内无互连的前向网络，各层之间的神经元为全连接关系，每层各个神经元之间无连接BP神经网络采用有指导的学习
2、方式进行训练和学习BP神经网络采用的“误差反向传播学习算法”是一种误差函数按梯度下降的学习方法4.3BP神经网络处理单元结构(1)L1层的n个处理单元与L2层的p个处理单元全连接，连接权向量为W={wij}，i=1,2,…,n，j=1,2,…,pL1层的n个处理单元的输出构成了L2层各个处理单元的输入列向量X=(x1,…,xi,…,xn)TL2层各个处理单元的阈值为θj，j=1,2,…,p4.3BP神经网络处理单元结构(2)L2层各个处理单元接收的输入加权和为L2层各个处理单元的输出为转移函数Sigmoid函数的特性（ ）Sigm
3、oid函数的输出曲线两端平坦，中间部分变化剧烈L2层各个处理单元的阈值θj为模拟生物神经元的动作电位设置，起到了调节神经元兴奋水平的作用4.3BP神经网络处理单元结构(3)f(x)与其一阶导数f'(x)当x的值在0附近时，f(x)的输出变化幅度较大，此时f'(x)也正好处于峰值附近当x的绝对值较大时，f(x)的输出变化幅度较小，此时f'(x)也正好处于较小值部分4.4误差反向传播学习算法(1)BP神经网络的学习过程模式顺传播误差逆传播记忆训练学习收敛标准BP学习算法设输入模式向量为Xk=(x1k,x2k,…,xnk)T，k=1,2,…,
4、m，m为学习模式对个数，n为输入层单元个数，对应的期望输出向量为Yk=(y1k,y2k,…,yqk)T，q为输出层单元个数4.4误差反向传播学习算法(2)中间隐含层的净输入向量为Sk=(s1k,s2k,…,spk)T，输出向量为Bk=(b1k,b2k,…,bpk)T，p为隐含层单元个数输出层净输入向量为Lk=(l1k,l2k,…,lqk)T，实际输出向量为Ck=(c1k,c2k,…,cqk)T输入层至隐含层的连接权为W={wij}，i=1,2,…n，j=1,2,…,p，隐含层至输出层的连接权为V={vjt}，j=1,2,…,p，t=1,
5、2,…q；隐含层各单元的阈值为θ={θj}，j=1,2,…,p，输出层各单元的阈值为γ={γt}，t=1,2,…q4.4误差反向传播学习算法(3)1)初始化。为连接权W，V及阈值θ，γ赋予[-1,+1]区间的随机值2)随机选取一个学习模式对(Xk,Yk)提供给网络3)计算输入层的输出：输入层的输出向量与输入模式向量相同4)计算中间隐含层各个神经元的净输入和输出5)计算输出层各个神经元的净输入和实际输出响应4.4误差反向传播学习算法(4)6)根据给定的期望输出，计算输出层各个神经元的校正误差dtk7)计算隐含层各个神经元的校正误差ejk8
6、)修正隐含层至输出层的连接权V和输出层神经元的阈值γ，其中α为学习速率，0<α<14.4误差反向传播学习算法(5)9)修正输入层至隐含层的连接权W和隐含层神经元的阈值θ，其中β为学习速率，0<β<110)随机选取下一个学习模式对提供给网络，返回3)，直至全部m个学习模式对训练完毕11)判断网络全局误差E是否满足精度要求，即。若满足则结束，否则继续12)更新网络学习次数，若学习次数小于规定的次数，返回2)，否则结束4.4误差反向传播学习算法(6)BP学习算法的局部极小值问题现象当学习进行到一定次数后，虽然网络的实际输出与期望输出还存在较大
7、误差，但无论再如何学习，网络全局误差都变化缓慢，或者根本不再发生变化原因BP学习算法采用误差函数按梯度下降学习算法4.4误差反向传播学习算法(7)解决方法适当改变BP神经网络隐含层的单元个数给每个初始连接权加上一个很小的随机数4.6BP学习算法的改进4.6.1BP算法存在的问题4.6.2累积误差校正算法4.6.3Sigmoid函数输出限幅BP算法4.6.4增加动量项的BP算法4.6.5学习速率自适应调整BP算法4.6.1BP算法存在的问题学习算法的收敛速度慢学习速率影响收敛速度：学习速率太小，网络的收敛速度慢；学习速率太大，网络会出现振
8、荡而无法收敛通常学习速率的取值范围为0.01~1存在局部极小点通过设置较小的连接权初始值可以尽量避免该问题隐含层层数及节点数的选取缺乏理论指导训练时学习新样本有遗忘旧样本的趋势4.6.2累积误差校正算法基本
