14讲 最优控制-动态规划-三法比较

《14讲 最优控制-动态规划-三法比较》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、肖玲斐lfilfxiao@nuaa.edu.cn最优控制——动态规划前次课程回顾——动态规划动态规划的数值计算方法连续控制系统动态规划•连续控制系统最优性原理•连续系统动态规划基本递推方程•哈密顿-雅可比方程的解与最优性能指标的关系•最优解的求解步骤能源与动力学院系统控制与仿真研究室2最优控制——动态规划4.4动态规划的数值计算利用数值计算法计算离散最优控制问题时•可以把容许控制域和容许状态变化范围分成若干等份；•然后再不同容许状态值下，根据动态规划的基本递推方程，逆向分级计算最优控制和最优代价函数，并

2、列出响应的计算表格；•最后根据给定的初始状态，正向查询各级计算表，确定最终的最优解。能源与动力学院系统控制与仿真研究室3最优控制——动态规划4.4连续控制系统动态规划连续控制系统最优性原理能源与动力学院系统控制与仿真研究室4最优控制——动态规划4.4连续控制系统动态规划TJJminLxutt,,tfxutt,,tttutx()这就是连续系统的动态规划基本递推方程•它是泛函和偏微分方程的混合形式，•称为哈密顿-雅可比方程，•也称

3、为哈密顿-雅可比-贝尔曼方程。（Hamilton-Jacobi-Bellman方程）能源与动力学院系统控制与仿真研究室5最优控制——动态规划4.4连续控制系统动态规划Hamilton-Jacobi-Bellman方程•简称HJB方程•最早出现于用动态规划解最优控制问题•之后在科学、工程、经济领域中得到广泛应用.•HJB方程数值解的研究是一个非常热门的话题;•它是偏微分方程数值解领域中重要课题之一.能源与动力学院系统控制与仿真研究室6最优控制——动态规划4.4连续控制系统动态规划动态规划的数值计算方法连续

4、控制系统动态规划•连续控制系统最优性原理•连续系统动态规划基本递推方程•哈密顿-雅可比方程的解与最优性能指标的关系•最优解的求解步骤能源与动力学院系统控制与仿真研究室7最优控制——动态规划4.4连续控制系统动态规划最优解的求解步骤——由哈密顿-雅可比方程求解•哈密顿-雅可比方程TJJJJLtxuxttt,,,,,fxuxttt,,,tttxx()x•最优解的充分条件JJminHtx

5、utt,,,0tutx能源与动力学院系统控制与仿真研究室8最优控制——动态规划4.4连续控制系统动态规划能源与动力学院系统控制与仿真研究室9最优控制——动态规划4.4连续控制系统动态规划能源与动力学院系统控制与仿真研究室10最优控制——动态规划4.4连续控制系统动态规划能源与动力学院系统控制与仿真研究室11最优控制——动态规划4.4连续控制系统动态规划虽然上面介绍了连续系统动态规划法求解最优问题的步骤，但是除了线性二次型问题，哈密顿-雅可比偏微分方程的求解非常困难。JJ

6、Ltxuxttt,,,,txTJJfxuxt,,,tt,txx(t)能源与动力学院系统控制与仿真研究室12最优控制——动态规划4.4连续控制系统动态规划能源与动力学院系统控制与仿真研究室13最优控制——动态规划4.4连续控制系统动态规划能源与动力学院系统控制与仿真研究室14最优控制——动态规划4.4连续控制系统动态规划例能源与动力学院系统控制与仿真研究室15最优控制——动态规划4.4连续控制系统动态规划能源与动

7、力学院系统控制与仿真研究室16能源与动力学院系统控制与仿真研究室17最优控制——动态规划4.4连续控制系统动态规划能源与动力学院系统控制与仿真研究室18最优控制——动态规划4.5三种最优控制方法的关系动态规划与极小值原理和变分法的关系•概述•动态规划与变分法的关系•极小值原理与变分法的关系•动态规划与极小值原理的关系能源与动力学院系统控制与仿真研究室19最优控制——动态规划4.5三种最优控制方法的关系能源与动力学院系统控制与仿真研究室20最优控制——动态规划4.5三种最优控制方法的关系能源与动力学院系统控制

8、与仿真研究室21最优控制——动态规划4.5三种最优控制方法的关系能源与动力学院系统控制与仿真研究室22最优控制——动态规划4.5三种最优控制方法的关系对于同样能用这三种方法解决的最优控制问题，所得的结果是相同的。假定最优性能指标连续可微，根据连续动态规划法，可以导出极小值原理的全部必要条件。变分法是极小值原理的特例，通过连续动态规划法也可以导出变分法的相关结果。能源与动力学院系统控制与仿真研究