一种基于pso的bp神经网络训练方法

《一种基于pso的bp神经网络训练方法》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、从本学科出发，应着重选对国民经济具有一定实用价值和理论意义的课题。课题具有先进性，便于研究生提出新见解，特别是博士生必须有创新性的成果一种基于PSO的BP神经网络训练方法摘要基于粒子群优化的算法具有全局随机搜索最优解的特点。本文尝试把PSO算法和神经网络权值训练的常用算法BP算法结合起来进行数据的训练，实现对一组数据的训练，并对结果与BP算法的训练结果进行了对比，得到了较好的效果。关键词神经网络；反向传播算法；PSO算法；适应度函数人工神经网络是由人工神经元互连而成的网络，它从微观结构和功能上实现对人

2、脑的抽象和简化，具有许多优点。对神经网络的权值系数的确定，传统上采用反向传播算法。BP网络是一种多层前向反馈神经网络，BP算法是由两部分组成：信息的正向传递与误差的反向传播。在反向传播算法中，对权值的训练采用的是爬山法。这种方法在诸多领域取得了巨大的成功，但是它有可能陷入局部最小值，不能保证收敛到全局极小点。另外，反向传播算法训练次数多，收敛速度慢，使学习结果不能令人满意。粒子群优化算法是一种进化计算技术(evolutionarycomputation)。源于对鸟群捕食的行为研究，PSO中，每个优化问

3、题的解都是搜索空间中的一只鸟，我们称之为粒子。所有的粒子都有一个由被优化的函数决定的适应值(fitness课题份量和难易程度要恰当，博士生能在二年内作出结果，硕士生能在一年内作出结果，特别是对实验条件等要有恰当的估计。从本学科出发，应着重选对国民经济具有一定实用价值和理论意义的课题。课题具有先进性，便于研究生提出新见解，特别是博士生必须有创新性的成果value)，每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索。如果用粒子群算法对神经网络的权值进行训练，会得到

4、较快的收敛速度，而且可以避免局部最值得出现。研究表明PSO是一种很有潜力的神经网络算法。本文提出了一种基于PSO算法的BP网络学习算法，并通过实现对一组简单的向量进行训练对PSO—BP算法和BP算法进行了对比，试验结果说明PSO—BP算法适合训练BP网络，并且也有希望应用于其他种类的前向网络的训练。PSO中，每个优化问题的解都是搜索空间中的一只鸟。我们称之为“粒子”。所有的例子都有一个由被优化的函数决定的适应值(fitnessvalue)，每个粒子还有一个速度决定它们飞翔的方向和距离。然后粒子们就追随

5、当前的最优粒子在解空间中搜索。D维搜索空间中，有m个粒子，其中第i个粒子的位置是，m,其速度为。将带入目标函数可计算出适应值。记第i个粒子搜索到的最优位置为，整个粒子群搜索到的最优位置为。离子状态更新操作为：其中，i=1，2…，m，d=1，2…，D；是非负常数，称为惯性因子。也可以随着迭代线性减小；学习因子，是非负常数；r1，r2是介于[0，1]之间的随机数；是常数。迭代中止条件一般选为最大迭代次数和粒子群迄今为止搜索到的最有位置满足适应阈值。BP网络是一种多层结构的前向网络，其隐层神经元的激活函数为

6、S型函数，而输出神经元的激活函数可以是S型函数，也可以实线性函数，典型的S型函数为：课题份量和难易程度要恰当，博士生能在二年内作出结果，硕士生能在一年内作出结果，特别是对实验条件等要有恰当的估计。从本学科出发，应着重选对国民经济具有一定实用价值和理论意义的课题。课题具有先进性，便于研究生提出新见解，特别是博士生必须有创新性的成果其中：s为神经元的加权输入函数。用PSO算法训练BP网络时，定义粒子群的位置向量的元素是BP网络的全体连接权和阈值。首先初始化位置向量，然后用PSO算法搜索最优位置，使如下均方

7、误差指标达到最小其中，N是训练集的样本数；是第i个样本的第j个网络输出节点的理想输出值；是第i个样本的第j个网络输出节点的实际输出值；C是网络输出神经远的个数。基于PSO算法的BP网络学习算法流程如下：1)选定粒子数m；适应值阈值ε；最大允许迭代步数；、和；初始化X和V为间的随机数。)endfor)fori=1:1:m10)按式计算；按式计算；11)endfor12)endwhile13)以所得权值阈值为初始值用BP算法对网络进行训练上述流程中，1）到12）用标准PSO算法对权值和阈值进行训练，13）

8、对PSO输出的权值和阈值作为初始值用BP算法训练网络。另外，，其中是第I个粒子的位置；V=,其中是第I个粒子的速度；是m个粒子迄今搜索到的最优适应值，其对应的粒子位置矩阵是p=;是粒子群迄今搜索到的最优适应值，对应的最优粒子位置是，粒子数m选定为30个。本实例中随机选取机输入和输出矩阵，如：p=[00000;10001;01001;00100;00010];t=[0000;1000;0100;0010;000课题份量和难易程度要恰当，博士生能在二年内作出