人工神经网络的优化方法.pdf

《人工神经网络的优化方法.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、!Q：SCIENCE＆TEOHNOLOGYlNFORMATION学术论坛人工神经网络的优化方法苏碧瑶(武汉大学动力与机械学院自动化系武汉430072)摘要：人工神经网络结构独特，具有处理数据方法高效、自学习性强、并行处理能力强易于推广等优点，但同时也具有容易陷入局部极小特性和算法收敛速度较低的不足之处。为了弥补这些不足，科学家们尝试着将神经网络与其它的人工智能方法相结合来解决问题。本文拮取了这其中一些较有代表性的方法来加以介绍。关键词：人工智能神经网络小波分析蚁群算法拉子群优化算法中图分类号：TV135．2文献标识码：A文章编号：1672-3791(2011)10(c

2、)一0239-01对于人工神经网络的研究自20世纪4O蚁独立地在无监督的情况下同时搜索解空在面临BP神经网络所长久存在的收敛年代起始，一直是科学研究的一个热门领间中许多点，因此它同时还是一种高效的速度慢、容易陷入局部最优解等问题时，引域，近20年来各种关于它的研究更是方兴并行搜索算法，与神经网络相结合能够起入寻优能力较强的遗传模拟退火算法扩大未艾。神经网络结构独特，处理数据方法高到锦上添花的效果。网络的权值更新空间，对BP网络在训练过效，在解决许多具体问题上得到了广泛的1．3PSO粒子群优化算法与神经网络的结合程中的参数进行优化，赋予其所得到的最应用。然而，神经网络也

3、有其固有的缺点：粒子群优化算法最早是由美国的Kennedy优权值，即能使优化后的BP网络具有分类首先，由于受到搜索步长的限制，当解空间~rlEberhart教授受鸟群觅食行为的启发而精度高、不易陷入局部极值、泛化性好等优函数存在局部极小值时，容易陷入局部极提出的，它以求解连续变量优化问题为背点。小特性；其次，现行的学习算法收敛速度较景，以模拟鸟的群集智能为特征，通过利用1．5混沌算法与神经网络的结合低，容易影响研究的进度。为了应对这两个个体间的协作和竞争来实现对问题最优解混沌是一种行为复杂且类似随机、但问题，学者们采取了多种多样的方法，其中的搜索，具有全局优化的优点，

4、是一种基于存在着内在规律性的普遍的非线性现象。最为常见的便是将神经网络与其他人工智群体智能的进化计算技术。混沌具有许多独特的性质：随机性，即混沌能方法相结合再加以一定的改进。本文选为了更好地解决所遇到的问题，在将具有类似随机变量的杂乱表现；规律性，即取了这一类方法中较有代表性的几种，加粒子群优化算法与神经网络结合的同时，混沌是由确定性的迭代式产生的；遍历性，以介绍。还要进行进一步的优化。动态变异粒子群即混沌能够不重复地历经一定范围内的所优化算法可以动态改变惯性权重，它能够有状态。混沌具有极为丰富的时空动态，介1方法介绍使粒子扩大搜索范围，从而降低落入局部于随机性和确定

5、性之间。1．1小波神经网络最优解的概率，这样就能使粒子及时远离对于神经网络算法而言，混沌的重要小波分析从傅立叶变换发展起来，属局部最优解而继续进行全局搜索，同时又性在于它的随机性和遍历性特点。由于混于时频分析方法的一种，因此，它在时域和能使粒子在全局最优解处收敛得更好。而沌具有上述特性，因此将其应用到BP算法频域同时具有良好的局部化性质，可将分先将原始粒子运用混沌理论处理，继而再中，就可以作为搜索过程中避免陷入局部析的重点聚焦到任意的细节，而这正是我采用粒子群优化算法训练神经网络所得极小的一种优化机制来提高BP算法的原有们所需要的特性。用小波分析局部化性质到的混沌理论

6、下混合型PSO—BP模型在性能。如果将BP网络隐层中的少数神经元良好的优点，去配合神经网络自学习、自适PSO进化过程中加入了混沌的思想。混沌的激励函数进行优化，使其具有混沌特性，应、并行处理和高容错性的特点，结合成为具有随机性，遍历性，规律性等特点，因利用这种激励函数及其导数不存在饱和区小波神经网络。此，与其它的随机搜索算法相比，在处理域的特点，就可以避免BP网络中的假饱和除了能够有效避免局部极小值、网络基本粒子群在算法后期易陷入局部极值现象，并且提高网络的泛化能力。克服假饱学习速度快、逼近能力强外，小波神经网络的问题上，混沌搜索更强的局部搜索能力和现象的意义在于这样

7、能减少学习的迭代还可以弥补神经网络对于结构构造缺乏足能够很好地避免陷入局部最优，并且在局次数，大大地提高混沌神经网络的学习速够理论性指导的缺点，能够对于参数的选部搜索得更细致。度。取做出理论性充足的指导，有效避免某些1．4基于遗传模拟退火算法优化的BP神经种类的神经网络在结构设计上的盲目性。网络2结语1．2蚁群算法与神经网络的结合遗传模拟退火算法是结合了模拟退火神经网络具有很强的非线性拟和能蚁群算法是一种仿生优化算法，常被算法和遗传算法思想的一种混合智能算力，简单的学习规则，很强的鲁棒性、记忆用来寻找最优路径。该算法具有强大的并法，这两者都具有优秀的