浅析一种新型优化算法——学习算法的论文

《浅析一种新型优化算法——学习算法的论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、浅析一种新型优化算法——学习算法的论文　摘要:从优化算法应该具有的共性出发,提出一种全新的算法——学习算法(la)。该算法记录历史最优解和当前最优解这两组关键历史信息,然后让当前解向这两种最优解聚集(即学习的过程);同时为了不放弃其他区域的搜索,让当前解的一部分完全随机地被重置。该算法原理简单,可调参数少且各参数对算法效能的影响易于掌控。在多最优函数以及复杂函数的最小化测试中,通过与ga、pso的比较,发现la确实是一种有效的优化算法,其优化效率并不低于现有算法。数值实验还表明,la在多最优解问题的寻优中相对ga和pso具有非常明显的优势。　　关键词:学习算法;遗传算法;微粒群算

2、法　　　　　neizationalgorithm:learningalgorithm　　　　heyi,zhaoxiang,huangka-ma　　(schoolofelectronicsinformation,sichuanuniversity,chengdu610064,china)　　abstract:thispaperpresentedane:learningalgorithmbasedthemonnessofoptimizationalgorithms.thisalgorithmrecordedthehistoricaloptimalsolutionandthecurre

3、ntoptimalsolution,andthenletthecurrentsolutionconvergetothesetalsolution(thatetime,inordernottogiveupthesearchforotherregions,madeapartofcurrentsolutionbereplacedrandomly.thealgorithmhadsimpletheoryandsmalladjustableparameters,andtheeffectforeveryparametertoalgorithmulti-optimumfunctionandmin

4、imizationofplexfunction,foundthatpared.numericalexperimentsalsoshoulti-optimumproblemspared(la);geicalgorithm(ga);particlesoptimization(pso)　　0引言　　在最近二十年中,各种各样的优化算法得到了飞速的发展并成功运用于各种领域,这些算法模拟不同的生物或物理现象,使各种人工系统具有优良的自适应能力和优化能力。.cOm例如,遗传算法(ga)[1,2]模拟生物的进化过程、微粒群算法(pso)[3]模拟鸟类群体行为、蚁群算法(antcolonyopti

5、mization,aco)[4]模拟蚂蚁觅食行为、模拟退火算法(simulatedannealing,sa)[5]模拟高温物体的退火过程等。　　微粒群算法、蚁群算法具有原理简单、容易实现且初期收敛迅速的优点。但是,以pso为例,算法在后期很容易陷入局部最优,特别是在求解高维多峰问题上,形成所谓的“早熟”现象,这也是pso算法的最大缺点[6]。而遗传算法虽然在早期表现出较慢的收敛速度,但是在后期却拥有比pso更好的全局搜索性能。　　　　也有学者对传统的这些算法作出了一些改动,使算法在某些方面的特性得到了一些改善。比如在pso算法中,采用线性递减[7]和模拟自适应方法[8]动态调整

6、惯性因子,提高了算法的全局搜索能力和搜索精度;对pso算法加入收缩因子以改善其收敛性[9],借鉴遗传算法中的自然选择机制,改善局部搜索能力[10];在遗传算法中加入小生境模型[11],维护群体多样性,加大多峰搜索力度;采用最优保存策略,改善收敛速度。　　然而,无论上述优化算法是在模拟何种自然现象,也无论它们得到何种改进和优化,它们的效能和优化机理都必须从优化问题本身的角度得到解释,即它们为什么一方面可以向最优解收敛,而另一方面又可以避免陷入局部最优?它们在绝大多数问题中的寻优效率为什么会高于完全随机(盲目)的搜索?这是因为它们实际上都是在利用历史搜索的信息来启发式地指导当前搜索,

7、从而相应地完成当前解的更新。具体而言,就是它们通过历史搜索信息来推测最优解存在的所谓高可能性区域,然后通过让当前解向该区域聚集来加强该区域的搜索,与此同时,会减弱但不会完全放弃对其他区域的搜索。从这个角度上讲,这些优化算法必然会“异曲同工”和“大同小异”。　　基于上述视角,从优化算法应该具有的共性出发,导出一种新型的优化算法,将其称之为学习算法(la)[12]。　　1学习算法原理　　考虑如下优化问题:　　minf(x),x∈a　　瘙綆n　　其中:f为目标函数(或者代价函数)