智能控制理论及应用 教学课件 作者 韩力群 第三章 神经网络控制及应用(常用网络与算法).ppt

《智能控制理论及应用 教学课件 作者 韩力群 第三章 神经网络控制及应用(常用网络与算法).ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、3.1.4多层感知器与BP算法3.1.4.1感知器(1)感知器模型1j=1,2,…,m3.1.4多层感知器与BP算法3.1.4.1感知器(1)感知器模型2净输入：输出：3.1.4多层感知器与BP算法3.1.4.1感知器(1)感知器模型3设输入向量X=(x1,x2)T输出：则由方程w1jx1+w2jx2-Tj=0确定了二维平面上的一条分界线。ojx1-1x2(2)感知器的功能3.1.4多层感知器与BP算法3.1.4.1感知器4(2)感知器的功能w1jx1+w2jx2-Tj=03.1.4多层感知器与BP算法3.1.4.1感知器5设输入向量X=(x1,x2,x3)T输出：则由方程w1

2、jx1+w2jx2+w3j–Tj=0确定了三维空间上的一个分界平面。x2ojx1x3-1(2)感知器的功能3.1.4多层感知器与BP算法3.1.4.1感知器6(2)感知器的功能w1jx1+w2jx2+w3j–Tj=03.1.4多层感知器与BP算法3.1.4.1感知器7设输入向量X=(x1，x2,…，xn)T则由方程w1jx1+w2jx2+…+wnjxn–Tj=0确定了n维空间上的一个分界平面。净输入：w1jx1+w2jx2+…+wnjxn–Tj(2)感知器的功能3.1.4多层感知器与BP算法3.1.4.1感知器8一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存

3、储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。(2)感知器的功能3.1.4多层感知器与BP算法3.1.4.1感知器9问题：能否用感知器实现“异或”功能？“异或”的真值表x1x2y000011101110(3)感知器的局限性3.1.4多层感知器与BP算法3.1.4.1感知器10(4)多层感知器双层感知器“异或”问题分类用两计算层感知器解决“异或”问题。“异或”的真值表x1x2y1y2o001100110110011111103.1.4多层感知器与BP算法3.1.4.1感知器11具有不同隐层数的感知器的分类能力对比3.1.4多层感知器与BP算法3

4、.1.4.1感知器12(1)基于BP算法的多层前馈网络模型3.1.4.3多层感知器与BP算法13输入向量：X=(x1,x2,…,xi,…,xn)T隐层输出向量：Y=(y1,y2,…,yj,…,ym)T输出层输出向量：O=(o1,o2,…,ok,…,ol)T期望输出向量：d=(d1,d2,…,dk,…,dl)T输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm)隐层到输出层之间的权值矩阵用：W=(W1,W2,…,Wk,…,Wl)(1)基于BP算法的多层前馈网络模型3.1.4.3多层感知器与BP算法14对于输出层：k=1,2,…,l(3-14)k=1,2,…,l(3-

5、15)对于隐层：j=1,2,…,m(3-16)j=1,2,…,m(3-17)(1)基于BP算法的多层前馈网络模型3.1.4.3多层感知器与BP算法15单极性Sigmoid函数：(3-18)双极性Sigmoid函数：(1)基于BP算法的多层前馈网络模型3.1.4.3多层感知器与BP算法Sigmoid函数的导函数为：(3-19)16输出误差E定义为：(3-20)将以上误差定义式展开至隐层：(3-21)(2)BP学习算法的权值调整思路3.1.4.3多层感知器与BP算法17进一步展开至输入层：(3-22)(2)BP学习算法的权值调整思路3.1.4.3多层感知器与BP算法18权值调整思路

6、；j=0,1,2,…,m;k=1,2,…,l(3-23a)i=0,1,2,…,n;j=1,2,…,m(3-23b)式中负号表示梯度下降，常数η∈(0,1)表示比例系数。在全部推导过程中，对输出层有j=0,1,2,…,m;k=1,2,…,l对隐层有i=0,1,2,…,n;j=1,2,…,m(2)BP学习算法的权值调整思路3.1.4.3多层感知器与BP算法19对于输出层，式(3-23a)可写为(3-24a)对于隐层，式(3-23b)可写为(3-24b)对输出层和隐层各定义一个误差信号，令(3-25a)(3-25b)(3)BP学习算法推导3.1.4.3多层感知器与BP算法20综合应用

7、式(3-15)和(3-25a)，可将式(3-24a)的权值调整式改写为综合应用式(3-15)和(3-25b)，可将式(3-24b)的权值调整式改写为(3-26a)（3-26b)可以看出，只要计算出式(3-26)中的误差信号o和y，权值调整量的计算推导即可完成。下面继续推导如何求误差信号o和y。21对于输出层，o可展开为对于隐层，y可展开为下面求式(3-27)中网络误差对各层输出的偏导。(3-27a)（3-27b)22对于输出层，利用式(3-20)：对于隐层，利用式(3-21)：(