随机动态规划及其应用

《随机动态规划及其应用》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、随机动态规划及其应用丁万刚(太原理工大学理学院,山西太原030024)摘要:讨论了连续时间随机动态规划原理,得出了具有随机利率的最优投资组合,并用动态规划原理得到具有随机插入时间物流遍历控制问题的变分不等式。关键词:随机控制;动态规划;变分不等式;投资组合中图分类号:O21116文献标识码:A随机最优控制已广泛应用于管理、金融等领域,其研究主要基于贝尔曼动态规划原理。R.E.Bell2man在其著作1中把动态规划原理表述如下:一个最优策略具有这样的性质,不管初始状态或策略如何,相对于初始策略产生的状态来说,其后的策略必须构成最优策略。概括为,每个最优策略只能由最

2、优子策略组成。由此通常得到Bellman动态规划方程,而这个方程在很多情形下不可解。一般地需要借助以下两种方法。1)解变分不等式方法。由A.BensoussanandJ.L.Lions提出,通常是求一个控制区间,再给出相应的最优控制策略。它常用于一维问题,侧重于随机分析。2)粘性解方法。由M.G.CrandallandP.L.Lions在研究随机控制问题时提出,其方法不只对随机控制的研究起到推动作用,也对微分方程的研究起到巨大的推动作用。这种方法侧重于方程,也适用于多维问题,在金融数学的研究中常常用到。求最优控制u使J(x)=minJ(x,u).现令u∈UTJ(

3、x,u,s)=E∫e-α(T-s)h(xt,ut)dt+se-α(T-s)G(x,T).T式中,xs=x.则由贝尔曼动态规划原理J(x,s)minJ(x,u,s)满足带有边值条件的微分方程:u∈U=5J(x,s)+5smin[AuJ(x,s)+h(x,u)]-αJ(x,s)=0,u∈UJ(xT,T)=G(xT,T).n5Au=∑fx,u其中,i()+5xi52i=1n12i∑1(σσ′)ij(x,u)5xi5xj,j=为扩散过程的最小生成元。112状态无奇异项且最后时间为不定的情形概率空间及状态过程同上述情形。目标费用为Tu∈U∫0J(T,x)=minEL(xt

4、,ut)dt,满足x0=x,这种情况通常讨论平均期望成本问题。由贝尔曼动态规划原理,得:1两种常见的随机控制模型111状态无奇异项且最后时间为固定的情形设(Ω,F,Ft,P)是一个概率空间,Wt为其上的标准布朗运动,状态过程满足随机微分方程:dxt=f(xt,ut)dt+σ(xt,ut)dWt.控制过程ut循序可测;控制空间为U;f,σ满足通常的Lipschitz条件及多项式增长条件。目标费用为n5J5J+∑f+L(x,u)=minu∈U5T5xii=1n1∑(σσ′)ij.2i,j=12应用211具有随机利率的最优投资组合问题最优投资组合问题最初由Markwi

5、tz提出并研究,后来Merton用随机控制方法得出了连续时间投TJ(x,u)=Ex∫0eh(xt,ut)dt+-αte-αTG(xT,T).52J5xi5xj第2期丁万刚:随机动态规划及其应用237资组合的著名结果,它与期权定价理论奠定了金融数学的基础。该学科在20世纪80年代初到90年代中期得到很大发展,涌出了大量的研究成果[2,3],目前仍十分活跃。通常考虑一个无风险资产与多个风险资产在确定性利率下的投资组合。在完备市场假设条件下,解决该问题要用到等价鞅测度等工具。而对债券随机利率模型的研究相对较少,目前已有不少人研究债券间的组合逼近问题[4]。这里讨论短期

6、利率为随机情形下债券与股票的投资组合。假设市场是可连续交易的且无交易成本,WB,WS为一概率空间(Ω,F,{Ft},P)上的标准布朗运动,WB(t)与Ws(t)独立。假设市场中有一种债券B(t)和一种股票S(t)满足:有惟一解:ty0exp∫(A1u+A2-′Yu(t)1=t0

7、B1u+B2

8、2)ds+2t∫t(B1u+B2)′dW(s).0证明定理证明见文献[4.随机微分方程(5)存在惟一解。注意到方程不满足通常的Lipschitz条件,所以不能用常用的方法判定其解的存在性和惟一性,现在分开来讨论。首先,方程(3)满足Lips2chitz条件及有界条件,所以有

9、惟一解:ttr(t)=r+∫a(s)ds+b(s)dW(s).(6)∫00BdB(t)=B(t)r(t)dt,dS(t)=S(t)[μSdt+σSdWS+σSBdWB.随机利率r(t)满足dr(t)=a(t)dt+b(t)dWB(t).(1)(2)0[5]由引理知,Πt∈[0,T,Esup

10、r(s)

11、2q<∞(q≥1).(7)s≤t(3)将解(6)代入(4),现只需证(4)存在惟一解即可。而(4)是一个线性控制随机微分方程,在引理中取m=2,d=1,Yu(t)=Xπ(t),A1(t)=(μs(t)-r(t)),式中,μS(t),σS(t),a(t),b(t)为确

12、定性的连续函数,σS(t