4微分博弈介绍

《4微分博弈介绍》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第四讲：微分博弈介绍最优控制介绍之四张杰复杂系统管理与控制国家重点实验室中国科学院自动化研究所计算机与控制学院中国科学院⼤学2016年9月22日........................................Fei-Yue,Wang(CASIA)OptimalControl最优控制介绍1/58Contents1复习：最优控制问题的数学⽅法2博弈论基础3微分博弈4例⼦：零和追逃博弈........................................Fei-Yue,Wang(

2、CASIA)OptimalControl最优控制介绍2/58最优控制问题问题1(最优控制问题)1被控对象的状态⽅程为x_(t)=f(x(t);u(t);t);x(t0)=x0:2容许控制,u2U;x2X:3目标集,x(tf)2SnS=[t0;1)fx(tf)2R:m(x(tf);tf)=0g4最小化性能指标∫tfJ(u)=h(x(tf);tf)+g(x(t);u(t);t)dt:t0........................................Fei-Yue,Wang(CASIA

3、)OptimalControl最优控制介绍3/58⽆约束最优控制问题例(小车的能量最优控制)x1位置，x2速度，u加速度，则质量为1小车的状态⽅程为：x_1(t)=x2(t);(1)x_2(t)=u(t):(2)要将状态从初始的x(t0)=x0控制到x(tf)=xf，最小化能量：∫tf12minJ(u)=u(t)dt:(3)t02........................................Fei-Yue,Wang(CASIA)OptimalControl最优控制介绍4/58欧拉-

4、拉格朗日⽅程@gd@g(x(t);x_(t);t)[(x(t);x_(t);t)]=0:@xdt@x_考察∆J=0的必要条件：驻值条件需假定g可微在最优解x连续可微时成立........................................Fei-Yue,Wang(CASIA)OptimalControl最优控制介绍5/58Pontryagin’sMinimumPrinciple,PMP.定理1(庞特里亚⾦极值原理,1/2)1状态⽅程x_(t)=f(x(t);u(t);t);x(t0)=

5、x0:(4)2容许控制u2U3最小化性能指标∫tfJ(u)=h(x(tf);tf)+g(x(t);u(t);t)dt:(5)t0定义HamiltonianH(x(t);u(t);p(t);t):=g(x(t);u(t);t)+pT(t)f(x(t);u(t);t);(6)则最优控制u2U的必要条件如下........................................Fei-Yue,Wang(CASIA)OptimalControl最优控制介绍6/58Pontryagin’sMinim

6、umPrinciple,PMP.定理1(庞特里亚⾦极值原理,cont.2/2)极值条件：u;u2U;8t2[t0;tf]H(x(t);u(t);p(t);t)H(x(t);u(t);p(t);t):规范⽅程：8t2[t0;tf]@H状态(state)⽅程:x_(t)=+(x(t);u(t);p(t);t);@p@H协态(costate)⽅程:p_(t)=(x(t);u(t);p(t);t):@x边界条件(用于处理目标集)：@hT[(x(tf);tf)p(tf)]

7、xf@x@h+[H(x(tf);u(tf);p(tf);tf)+(x(tf);tf)]tf=0:@t........................................Fei-Yue,Wang(CASIA)OptimalControl最优控制介绍7/58Bellman⽅程：求解离散最优控制2/2定理1(Bellman⽅程)最优控制下的性能指标׼为“值函数”V(x0;k0)=minJ(u;x0;k0)(7)u2U根据最优性原理，如下Bellman⽅程是最优控制的ঘ要条件V(x(

8、k);k)=minfgD(x(k);u(k);k)+V(x(k+1);k+1)gu(k)2Uk=k0;:::;N1(8)V(x(N);N)=hD(x(N);N):(9)........................................Fei-Yue,Wang(CASIA)OptimalControl最优控制介绍8/58Hamilton-Jacobi-Bellman⽅程2/2定理1(Hamilton-Jacobi-Bellman⽅程)对于任意的x0;t0