动态规划方法在随机线性二次控制中的应用

《动态规划方法在随机线性二次控制中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、记号说明．1，7表示短阵或向量M的转置；MJ表示矩阵M的第J列向量；tMI=、／∑q噶表示矩阵M=(m玎)的范数；∥表示nXn对称矩阵全体；驴+表示非负定S”矩阵曲全体；p+表示正定S“矩阵全体；c(fo．了1；X)表示定义在fo，T]上的函数全体，对给定的Hflbert空问X具有最大范数”lI；L2(o，r；x)是Hilbert空间上在区间f0，明上的可积函数，对给定的Hilbert空间X具有范数；A∈e(【o，叫：舻“)，D∈(1(【o，丁]：R⋯)．f∈L2(O，丁；R”)q∈c([o，T】：毋)：R∈c([0，丁]：S”)．H∈义．

2、第一章引言一本章先介绍随机最优控制的基本概念与动态规划方法，然后介绍线性二次控制1．1随机最优问题简介与研究现状随机最优控制理论(详见【25】)主要研究扩散过程的Markov反馈控制．控制的对象模型化为扩散过程，用Ito随机微分方程来描述．控制器根据当时的关于系统状态的信息，从满足约束条件的所有可能的控制中选出最优的，使控制后的系统达到预定目标的最优期望结果．随机最优控制理论目前主要应用于经济学，特别是金融数学，但它在物理、生物、工程、管理等科学领域也有着广泛的应用前景．解头随机最优控制问题的两个主要方法是Pontryagin的极大值原理与

3、Betlmml的动态规划方法(见【7])，它们是最优控制的必要条件，在一定条件下，它们也是充分条件．极大值原理于20世纪50年代由Pontryagin于他的小组提出，是最优控制理论的里程碑．动态规划于20世纪50年代由Bellman提出．其基本思想是，考虑具有不同初始时刻与初始条件的一组最优控制问题，并用动态规划方程(Hamilton．Jacobi．Bellman方程，简称HJB方程)将它们联系起来，由该方程中的Hamilton函数取极大值或极小值条件确定一“最优良馈控制律，将此最优控制律代回动态规划方程得最后动态规划方程，再衷解最后动态规

4、划方程得最优控制．古典的动态规划方法要求动态规划方程有古典解，印足够光滑的解．20世纪80年代初，Crandall与Lions首先引入了所谓黏性解，使动态规划方法成为解决最优问题的强有力工具．这里所说的黏性解，是指偏微分方程的连续但非光滑之解．历史上，极大值原理与动态规划分别独立地发展起来，它们是解决同一问题的两种不同方法．对随机最优控制问题，动态规划方法较为有效，因2005上海大学硕士学位论文2为目前关于HJB方程之解(见【13】，【6】)的理论与数值解法已有较多的研究成果(见【6]，【3]．【13)，【14】)，而对极大值原理中的前向一

5、倒向随机微分方程组之解的研究尚处于初始阶段．1．2随机最优控制问题的提法随机最优控制问题的提法取央于受控系统运动方程的类型，对控制所施加的约束，性能指标即控制时间区问，等等1．2．1受控系统运动方程设受控券统运动方程为如下形式的Ito随机微分方程，IdX(r)=m(X，u，T)打+G(x，“，r)dⅣ(r)，{(1．2．1)lx(to)=XO，t∈【0，tj]．其中x(t)为n维矢量系统状态过程；w(t)为m维矢量标准Wiener过程；“(x(￡)．t)为r维矢量反馈控制过程；to为初始时刻，tl为控制终了时刻，可为有限值、无限值或随机变量

6、；in与口分别为给定的n维矢量函数及n×m维矩阵函值数，满足存在与唯一性条件．1．2．2控制约束控制常受到某种约束，其形式取决于控制器．一种约束形式为u∈U。UCR’另一类可能的约衷形式为E【f～㈣M_0．no>0为常数，E[．】为期望算子．凡满足控制约束的控制称为可实现控制．而使(1．2．1)有唯一解的可实现控制蒋为可允许控制．1．2．3性能指标2005上海大学硕士学位论文2为目前关于HJB方程之解(见[13】，【6】)的理论-9数值解法已有较多的研究成果(见【6]，【31flj)，【14])，而对极大值原理

7、中的前向倒向随机微分方程组之解的研究尚处于初始阶段．1．2随机最优控制问题的提法随机最优控制问题的提法取决于受控系统运动方程的类型，对控制所施加的约束，性能指标即控制时间区问，等等1．2．1受控系统运动方程设受控系统运动方程为如下形式的Ito随机微分方程rIdX(r)；m(X“，r)dr+口(xu，r)dW(r)，{(1．2．1)Ix(to)=XO，t∈[0，t正其ee一(￡)为ll维矢量系统状态过程；Ⅵ，(t)为m维矢量标准Wiener过程；u(x(t)t)为I维矢量反馈控制过程；to为初始时刻，t，为控制终了时刻，可为有限值、无限值或随

8、机变量，m与d分别为给定的13．维矢量函数及n×m维矩萍函值数，满足存在与唯一洼条件．1．2．2控制约束整舰常受到某和约束，其形式取决于控制器．一种约束形式为7．1∈U'UC科另