自适应动态规划综述

《自适应动态规划综述》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第39卷第4期自动化学报Vol.39,No.42013年4月ACTAAUTOMATICASINICAApril,2013自适应动态规划综述张化光1;2张欣3罗艳红1杨珺1摘要自适应动态规划(Adaptivedynamicprogramming,ADP)是最优控制领域新兴起的一种近似最优方法,是当前国际最优化领域的研究热点.ADP方法利用函数近似结构来近似哈密顿{雅可比{贝尔曼(Hamilton-Jacobi-Bellman,HJB)方程的解,采用离线迭代或者在线更新的方法,来获得系统的近似最优控制策略,从而能够有效地解决非线性系统的优化控制问题.本文按照ADP的结

2、构变化、算法的发展和应用三个方面介绍ADP方法.对目前ADP方法的研究成果加以总结,并对这一研究领域仍需解决的问题和未来的发展方向作了进一步的展望.关键词自适应动态规划,神经网络,非线性系统,稳定性引用格式张化光,张欣,罗艳红,杨珺.自适应动态规划综述.自动化学报,2013,39(4):303¡311DOI10.3724/SP.J.1004.2013.00303AnOverviewofResearchonAdaptiveDynamicProgramming1;2311ZHANGHua-GuangZHANGXinLUOYan-HongYANGJunAbstractA

3、daptivedynamicprogramming(ADP)isanovelapproximateoptimalcontrolscheme,whichhasrecentlybecomeahottopicinthe¯eldofoptimalcontrol.Asastandardapproachinthe¯eldofADP,afunctionapproximationstructureisusedtoapproximatethesolutionofHamilton-Jacobi-Bellman(HJB)equation.Theapproximateoptimalcon

4、trolpolicyisobtainedbyusingtheo²ineiterationalgorithmortheonlineupdatealgorithm.ThispapergivesareviewofADPintheorderofthevariationonthestructureofADPscheme,thedevelopmentofADPalgorithmsandapplicationsofADPscheme,aimingtobringthereaderintothisnovel¯eldofoptimizationtechnology.Furthermo

5、re,thefuturestudiesarepointedout.KeywordsAdaptivedynamicprogramming(ADP),neuralnetworks(NNs),nonlinearsystems,stabilityCitationHua-GuangZhang,XinZhang,Yan-HongLuo,JunYang.Anoverviewofresearchonadaptivedynamicprogramming.ActaAutomaticaSinica,2013,39(4):303¡311动态系统在自然界中是普遍存在的,对于动态用化的推动下

6、,动态系统的优化理论得到了迅速的系统的稳定性分析长期以来一直是研究热点,且已发展,形成了一个重要的学科分支:最优控制.它在经提出了一系列方法.然而控制科技工作者往往在空间技术、系统工程、经济管理与决策、人口控制、保证控制系统稳定性的基础上还要求其最优性.本多级工艺设备的优化等许多领域都有越来越广泛的世纪50»60年代,在空间技术发展和数字计算机实应用.1957年Bellman提出了一种求解最优控制问题的有效工具:动态规划(Dynamicprograming,收稿日期2012-07-19录用日期2012-10-29DP)方法[1].该方法的核心是贝尔曼最优性原理,M

7、anuscriptreceivedJuly19,2012;acceptedOctober29,2012国家重点基础研究发展计划(973计划)(2009CB320601),国家自然即:多级决策过程的最优策略具有这种性质,不论科学基金(61034005,61104099,61104010),辽宁省教育厅科技研究初始状态和初始决策如何,其余的决策对于由初始项目(LT2010040)资助决策所形成的状态来说,必定也是一个最优策略.这SupportedbyNationalBasicResearchProgramofChina(973Program)(2009CB320601

8、),Nat