资源描述：
《最新6人工神经网络导论第6章_PPT课件ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、6人工神经网络导论第6章_PPT课件保罗在他1974年博士的论文中第一次描述了训练多层神经网络的一个算法[werbo74],论文中的算法是在一般网络的情况中描述的,而将神经网络作为一个特例。论文没有在神经网络研究圈子内传播。直到20世纪80年代中期,反向传播算法才重新被发现并广泛地宣扬,这个算法因被包括在《并行分布式处理》(ParallelDistributedProcessing)[RuMc86]一书中而得到普及,才使之成为迄今为止最著名的多层网络学习算法—BP算法,由此算法训练的神经网络,称之为BP神经网络。BP网络广泛应用于函数逼近、模式识别／分类、数据压缩等,80%-90%
2、的人工神经网络模型是采用BP网络或它的变化形式,它也是前馈网络的核心部分,体现了人工神经网络最精彩的部分。BP网络的学习过程分为两个阶段：第一个阶段是输入已知学习样本,通过设置的网络结构和前一次迭代的权值和阈值,从网络的第一层向后计算各神经元的输出。第二个阶段是对权值和阈值进行修改,从最后一层向前计算各权值和阈值对总误差的影响(梯度),据此对各权值和阈值进行修改。以上两个过程反复交替,直到达到收敛为止。由于误差逐层往回传递,以修正层与层间的权值和阈值,所以称该算法为误差反向专播(backpropagation)算法,这种误差反传学习算法可以推广到有若干个中间层的多层网络,因此该多层
3、网络常称之为BP网络。标准的BP算法也是一种梯度下降学习算法,其权值的修正是沿着误差性能函数梯度的反方向进行的。针对标准BP算法存在的一些不足,出现了几种基于标准BP算法的改进算法,如变梯度算法、牛顿算法等。6.3理论与实例多层感知机我们在图中重新画出一个三层感知机的图。注意三个感知机网络只是简单地连接一起。第一个网络的输出是第二个网络的输入,第二个网络的输出是第三个网络输入。每一层可以有不同数目的神经元,甚至传输函数也可以不同。在第二章中我们用上标来表示层号。因而,第一层的权值矩阵写作,第二层的权值矩阵写作。为了表示多层网络的结构,有时我们使用下面的速记符号,其中在输入的数目后面
4、跟着每一层的神经元数目：图6－7三层网络现来看这些多层感知器网络的能力,首先看多层网络在模式分类中的使用,然后讨论在函数逼近中的应用。1.模式分类要说明多层感知机用于模式分类的能力,考虑经典的异或(XOR)问题。异或的输入/目标输出对为1969年明斯克曾用此问题来说明单层感知机的局限性,如图6－8所示,因为两个类别不是线性可分的,所以一个单层的感知机不能完成分类任务。图6－8然而一个两层的网络能解决异或问题。事实上,有许多种多层网络可解决此问题。一种办法是在第一层中用两个神经元来产生两个判定边界。第一个边界将和其他模式分开,第二个边界则将分开。然后第二层网络用一个操作将两个边界结合
5、在一起。对第一层的每个神经元,其判定边界如图6－9所示。第一层/神经元1第一层/神经元2图6－9异或(XOR)网络的判定边界结果产生的两层2-2-1网络如图6-10。准个网络整个的判定边界如图6－11,阴影区域表示产生网络输出为l的那些输入。图6－10两层异或(XOR)网络图6－112．函数逼近直到现在为止,在本书中看到的神经网络的应用多是在模式分类方面。神经网络在本质上也可被看作是函数逼近器。例如,在控制系统中，目标是要找到一个合适的反馈函数。它能将测量到的输出映射为控制输入。下面的例子将展示多层感知机在实现函数方面的灵活性。考虑图6－12中的两层的1-2-1网络。图6－12函数
6、逼近网络的例子此例中,第一层的传输函数是函数,第二层的是线性函数。换句话说,就是假定这个网络的权值和偏置值为：网络在这些参数下的响应如图6－13,图中网络输出为输入的函数,且的取值范围为[-2,2]。图6-13网络的响应注意网络的响应包括两步,每一步对第一层中的一个形神经元的响应。通过调整网络的参数,每一步的曲线形状和位置都可以发生改变,如在下面讨论中将会见到的那样。每步的曲线中心对应网络第一层中的神经元的净输入为0:通过调整网络的权值可以调整每一步曲线的陡度。图6-14说明了参数改变对网络响应的影响。图6-13中的曲线是参数未作调整前的网络响应。其他的曲线对应于当一个参数的取值在
7、下面的范围时的网络响应：图6-14(a)说明第一层(隐层)的网络偏置值如何被用来确定每一步曲线的位置。图6-14(b)、(c)说明网络权值如何决定每步曲线的坡度。第二层(输出层)的网络偏置值使整个网络响应曲线上移或下移,如图11-14(d)所示。图6-14参数改变对网络响应的影响从这个例子中,可以看到多层网络的灵活性。看起来,只要在隐层中有足够数量的神经元,我们可以用这样的网络来逼近几乎任何一个函数。事实上,研究已表明两层网络在其隐层中使用S形传输函数,在输出层中使用
