《前向网络》PPT课件

《《前向网络》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二讲：前馈神经网络2.5BP网络及BP算法感知器网络和线性激活函数，都存在一定缺点。单层感知器：硬限幅函数为作用函数，只能解决简单的分类问题。硬限幅函数的不可微分特性，使其扩展到多层感知器时带来权值修正的困难。线性函数网络采用线性作用函数，处理复杂非线性问题的能力相对较弱。采用线性作用函数的多层网络等效为一个单层线性网络，因此，简单地从结构上扩展Adaline，并不能加强它处理非线性问题的能力。2.5BP网络及BP算法结合二者的长处。将感知器网络结构扩展到多层，其作用函数采用一种可微分的非线性函数，这就形成了功能

2、比较强大的多层前向网络。由于多层前向网络的权值调整是采用反向传播学习算法（BackPropagation），通常人们将其称为BP网络。反向传播算法也称BP算法由于这种算法在本质上是一种NN学习的数学模型,所以有时也称为BP模型。BP算法是为了解决多层前向NN的权系数优化而提出来的,所以,BP算法也通常暗示着NN的拓扑结构是一种无反馈的多层前向网络。故而,有时也称无反馈多层前向网络为BP模型。2.5BP网络及BP算法BP网络是将LMS(梯度下降算法)学习规则一般化，对非线性，可微分的函数进行权值训练的多层网络。BP网

3、络是一种多层前向反馈神经网络，其神经元的变换函数是S型函数或其他处处可导的函数。由于激活函数必须是处处可微的，所以它就不能采用二值型的阈值函数{0，1}或符号函数{－1，1}，BP网络经常使用的是S型的对数或正切激活函数和线性函数（一般在输出时使用，满足网络的输出不受限制）。2.5BP网络及BP算法感知器学习算法是一种单层网络的学习算法.不能用于多层NN的学习.1986年,Rumelhart提出了BP算法.由于适用于多层网络的学习,因此是目前应用最广泛的NN学习算法之一,在学习系统、拟合和逼近、自动控制中应用较广.

4、2.5BP网络及BP算法Hornik等人证明了:仅有一个非线性隐层的前馈网络就能以任意精度逼近任意复杂度的函数.下面,将深入讨论反向传播学习的BP算法,主要内容有:BP算法的原理BP算法的数学表达BP算法的执行步骤2.5BP网络及BP算法2.5.1BP算法的原理1.BP算法的原理BP算法是用于前馈多层网络的学习算法,前馈多层网络的结构一般如图2.6所示.它含有输入层、输出层以及处于输入输出层间的中间层.中间层有单层或多层,由于它们和外界没有直接的联系,故也称为隐层.在隐层中的神经元也称隐单元.隐层虽然和外界不连接,

5、但是它们的状态影响输入输出之间的关系.这也是说,改变隐层的权系数,可以改变整个多层NN的性能.2.5.1BP算法的原理图2.6网络学习结构2.5.1BP算法的原理设有一个m层的NN,并在输入层加有样本x;设第k层的i神经元的输入总和表示为uik,输出为xik;从第k-1层的第j个神经元到第k层的第i个神经元的权系数为wijk-1各个神经元的激发函数为f(),则各个变量的关系可用下面有关数学式表示:其中nk-1为第k-1隐单元层的神经元个数.2.2.1BP算法的原理BP算法分二步进行,即NN输出计算的正向传播和NN

6、学习过程的反向传播.这两个过程的工作简述如下.A.正向传播输入的样本从输入层经过隐单元一层一层进行处理,则传向输出层,即在所给定的输入样本下,计算NN的输出.在逐层处理的过程中,每一层神经元的状态只对下一层神经元的状态产生影响.在输出层把现行输出和期望输出进行比较,如果现行输出不等于期望输出,则进入反向传播过程.2.5.1BP算法的原理B.反向传播把误差信号按原来正向传播的路径反向传回到每个神经元,并对每个隐层的各神经元的权系数进行修改,以使误差信号趋向最小.2.5.2BP算法的数学表达1.BP算法的数学表达BP算

7、法实质是求取误差函数的最小值问题,它采用非线性规划中的最速下降法,按误差函数的负梯度方向修改权系数.为了说明BP算法,首先定义误差函数e.取期望输出和实际输出之差的平方和为误差函数,则有:其中oi是输出单元的期望值,它在这里用作教师信号;xim是NN的单变量实际输出(第m层NN为输出层).2.5.2BP算法的数学表达由于BP算法按误差函数e的负梯度方向修改权系数,故权系数的修改量为显然,根据BP算法原则,求最关键.下面讨论求,有2.5.2BP算法的数学表达其中xjm-1(i)和u1m(i)为在第i组输入样本下xjm

8、-1和u1m的计算值,d1m(i)=(xim-oi)f’(u1m(i))在这里引入d1m(i),为了学习公式表达简洁。若k=m-1,即所讨论的为输出层与倒数第二层间的权重,则由上式,有若k=m-2,有2.5.2BP算法的数学表达其中2.5.2BP算法的数学表达其中这里引入drm(i)的意义如前。类似上述推导过程,有如下计算式2.5.2BP算法的数学表达因此,