现代优化计算简介课件.ppt

《现代优化计算简介课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第13章智能优化计算简介第13章智能优化计算简介本章对目前常用的几种智能优化计算算法作简单介绍，以使读者对它们有个基本认识。内容包括神经网络、遗传算法、模拟退火算法和神经网络混合优化学习策略。13.1人工神经网络与神经网络优化算法人工神经网络是近年来得到迅速发展的一个前沿课题。神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特点，已成为解决很多问题的有力工具。本节首先对神经网络作简单介绍，然后介绍几种常用的神经网络，包括前向神经网络、Hopfield网络。13.1人工神经网络与神经网络优化算法1.人工神经网络发展简史最早的研究可以追溯到20世纪4

2、0年代。1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型。这一模型一般被简称为M-P神经网络模型，至今仍在应用，可以说，人工神经网络的研究时代，就由此开始了。1949年，心理学家Hebb提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为Hebb规则，许多人工神经网络的学习还遵循这一规则。13.1人工神经网络与神经网络优化算法1957年，F.Rosenblatt提出“感知器”(Perceptron)模型，第一次把神经网络的研究从纯理论的探讨付诸于工程实践，掀起了人工神经网络研究的第一次高潮。20世纪60年代

3、以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，从而放松了对“感知器”的研究。于是，从20世纪60年代末起，人工神经网络的研究进入了低潮。13.1人工神经网络与神经网络优化算法1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。1986年，Rumelhart和Meclelland提出多层网络的误差反传(Back-propagation)学习算法，简称BP算法。BP算法是目

4、前最为重要、应用最广的人工神经网络算法之一。13.1人工神经网络与神经网络优化算法自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。13.1人工神经网络与神经网络优化算法2.人工神经元模型与人工神经网络模型人工神经元是一个多输入、单输出的非线性元件，如图11-1所示。其输入、输出关系可描述为13.1人工神经网络与神经网络优化算法(1)式中，是从其他神经元传来的输入信号；是阈值；表示从神经元到神经元的连接权值；为传递函数。13.1人工神经网络与神经网络优化算法yjθjx0=1∑fωnjx1x2...xnω2jω

5、1j图11-113.1人工神经网络与神经网络优化算法人工神经网络是由大量的神经元互联而成的网络，按其拓扑结构来分，可以分成两大类：层次网络模型和互联网络模型。层次网络模型是神经元分成若干层顺序连接，在输入层上加上输入信息，通过中间各层，加权后传递到输出层后输出，其中有的在同一层中的各神经元相互之间有连接，有的从输出层到输入层有反馈；互联网络模型中，任意两个神经元之间都有相互连接的关系，在连接中，有的神经元之间是双向的，有的是单向的，按实际情况决定。13.1人工神经网络与神经网络优化算法3.前向神经网络(1)多层前向网络一个M层的多层前向网络可描述为：①网络包含一个输入

6、层（定义为第0层）和M－1个隐层，最后一个隐层称为输出层。②第层包含个神经元和一个阈值单元（定义为每层的第0单元），输出层不含阈值单元。13.1人工神经网络与神经网络优化算法③第层第个单元到第个单元的权值表为。④第层（>0）第个（>0）神经元的输入定义为，输出定义为，其中为隐单元激励函数，常采用Sigmoid函数，即。输入单元一般采用线性激励函数，阈值单元的输出始终为1。13.1人工神经网络与神经网络优化算法⑤目标函数通常采用（2）其中，P为样本数；为第p个样本的第j个输出分量。13.1人工神经网络与神经网络优化算法⑵BP算法BP算法是前向神经网络经典的有监督学习算法

7、，它的提出对前向神经网络的发展起过历史性的推动作用。对于上述的M层的人工神经网络，BP算法可由下列迭代式描述，具体推导可参见神经网络的相关书目。13.1人工神经网络与神经网络优化算法（3）13.1人工神经网络与神经网络优化算法其中，为学习率。(4)13.1人工神经网络与神经网络优化算法实质上，BP算法是一种梯度下降算法，算法性能依赖于初始条件，学习过程易于陷入局部极小。数值仿真结果表明，BP算法的学习速度、精度、初值鲁棒性和网络推广性能都较差，不能满足应用的需要。实用中应按照需要适当改进。13.1人工神经网络与神经网络优化算法4.Hopfield网络