基于粒子群优化的构造性极端学习机的研究

《基于粒子群优化的构造性极端学习机的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据江苏大学硕士论文1．1研究背景与意义第一章绪论人工神经网络(ArtificialNeuralNetwork，ANN)[1。21是一种数学模型或计算模型，用来模仿生物神经网络的结构和功能。1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型，开启了人类对人工神经网络的研究。神经网络的发展大致经过以下几个阶段：1947．1969年为初期，一些神经元模型(比如MP模型)和学习规则(比如HEBB学习规则)被提了出来；1970．1986年为过渡期，这段时间对神经网络的研究热度降了下来，不少科学家坚持对神经网络的研究，反向传播算法(Bac

2、kPropagation，BP)就是在这一阶段提出来的，克服了当时阻碍感知器模型继续发展的障碍，为以后的神经网络的研究提供了良好的理论基础；1987年至今为发展期，这段时间各个国家展开对神经网络的积极的研究，使其发展达到一个新的高度。现在神经网络的应用已经渗透到多个领域，如智能控制、信号处理、模式识别、计算机视觉、知识处理、优化计算、生物医学工程等。神经网络的优点如下：(1)神经元组成的神经网络中包含着数据信息，因为信息是分布存储的，表现出较强的鲁棒性。(2)能够并行处理，快速计算。(3)因为神经网络具有自我组织学习等特性，所以能够用来处理当前尚未遇到的问题。(4)可

3、以用来拟合较为复杂的非线性函数。(5)因神经网络自身的特性，对于信息的处理能力和协调能力都比传统的非网络结构强，能很好地协调各种输入信息之间的关系。按照网络的拓扑结构进行分类，神经网络模型主要包括前馈网络和反向网络。相比较于反向网络来说，研究的较多的是前馈神经网络[2】o其网络结构可用一有向无环图表示，结构示意图如图1．1所示，图中节点分为输入节点与计算节点。前馈网络通常有多层，网络中前一层的输出作为后一层的输入，例如第扣1层的输出值决定着第f层的输入，每个计算节点可有多个输入。直接与外界相连的层称为可视层，其他各层称为隐含层，本文中输入节点为第一层，则具有单层计算单

4、元的网络是一个双层网络。万方数据基于粒子群优化的构造性极端学习机的研究，堕星＼’／计算节点图1．1前馈神经网络的结构示意图三种主要的方法通常运用于训练前馈网络【31：(1)梯度下降法(比如应用于多隐含层前馈神经网络中的反向传播方法【4])加性神经元最多应用于这种网络中。当加性神经元(比如Sigmoid函数：g(x)=1／(1+exp(一x)))作为激活函数时，第，个隐含层的第i个节点的输出为G(a}，)，磷n，x‘f))=g(a”x‘D+∥)，6j(。’∈R(1．1)其中a5D是第(1-I)层连接第z层的第i个节点的权值向量。61。’是，层的第i个节点的偏置。a9x(

5、7’表示a；7’与x7的内积。梯度下降法的学习速度通常没有期望的快。(2)标准优化方法(比如支持向量机，SupportVectorMachine，SVM[5】，视为一种特殊的单隐层前馈神经网络，即所谓的支持向量网络)。Rosenblatt研究了半个世纪的感知器[6】，提出了一种学习机制，即仅调整最后一层隐含层与输出层之间的权值，当其余的权值固定好之后，输入数据实际上转换到最后一个隐含层的特征空间Z中。在新的特征空间中，构造线性判决函数工／(x)=sign(∑∥，z，(x))(1．2)其中屈是输出节点与感知器的最后一个隐含层的第f个神经元之间的连接权值，z。(x)是感知

6、器的最后一个隐含层的第i个神经元的输出。为了找到一个zi(x)的替代方案，1995年Cortes和Vapnik提出了支持向量机【51，将数据从输入空间通过非线性的映射映射到高维的特征空间Z。最优化方法被用于寻找到最优分类面，不但将两类的分类在特征空间中无错误的分开，而且使得空隙达到最大。(3)最小二乘法(比如径向基函数网络【7])。激活函数g(x)为RBF神经元时，其相应的输出为G(a，，6f，x)=g(b,llx-a，11)，匆∈尺+(1．3)2万方数据江苏大学硕士论文式中aj和bi分别为第f个径向基函数的中心和影响因子，R+是正实数的集合。径向基网络是一种特殊的单

7、隐层前馈神经网络，每一个径向基激活函数有中心和影响因子，输出是由输入与中心的距离的径向对称函数得出的。在Lowe的径向基网络的实现中，中心a，可以从训练样本中选择而无需调整。影响因子bi都设置成相同的值。在固定好隐含层节点的参数(a。，b，)后，连接第f个隐含层节点和输出层之间的权值向量p：成为唯一的未知参数，即可用最小二乘解求得。前馈神经由大量人工神经元联接进行计算，能在外界信息的作用下改变内部结构，是一种自适应系统，如何调节隐含层中的联接权值是其发展过程中的难题，BP算法的提出，非线性连续函数的多层前馈神经网络权值调整的问题才得以解决。但是BP算