动态最优化第12讲动态规划的扩展形式.pdf

《动态最优化第12讲动态规划的扩展形式.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、动态最优化方法——第12讲动态规划的扩展形式第十二讲动态规划的扩展形式扩展形式：1.无限期动态规划2.随机动态规划3.连续动态规划第十二讲动态规划的扩展形式（一）无限期动态规划例子：机器负荷问题。某种机器可以在高、低两种不同负荷下进行生产。（1）在高负荷下生产时，产品产量s和投入生产的机器数量u的关系为：11s8u。此时机器的折旧率为:0.3,从而机器的年完好率为：111a0.7（;2）在低负荷下生产时，产品产量s和投入生产的机器2数量u的关系为：s5u。低负荷下机器年折旧率为：

2、0.1,2222从而年完好率为：b0.9。假定开始时拥有完好的机器数量为：x1000。要求制定一个0长期规划，使在每年开始时，如何重新分配完好机器在两种不同负荷下工作的数量，才使产品总产量达到最高？第十二讲动态规划的扩展形式（一）无限期动态规划建立该问题的动态规划方程组：设以年度为阶段，阶段变量k0，1,2，；状态变量为x:表示k第k年度初拥有的完好机器数量;决策变量u：表示第k年度中k分配在高负荷下生产的机器数量。则xu为该年度中分配kk在低负荷下生产的机器数量。其中：uDx

3、u0uxkkkkkk状态转移方程：x0.7u0.9xuk1kkk第k年度产量：vx,u8u5xukkkkkkn1n个年度的总产量：Vvx,u0,nkkkk0第十二讲动态规划的扩展形式（一）无限期动态规划基本方程组：令fx表示由x出发采用最优负荷分配方案到第n年度开始kkk（第n-1年度末）这段期间的产品产量（最优值函数）,有：fxoptVx,u,u,u,,u，满足递推关系：kkk,nkkk1k2n1uk,,un1fx

4、optvx,ufTx,ukkkkkk1kkkukxk若nN是有限制，此问题的动态规划基本方程组：fkxkMax8uk5xkukfk10.7uk0.9xkukukDkxkkN1,,2,1,0fx0NN第十二讲动态规划的扩展形式（一）无限期动态规划扩展到无限期：分配可以无限期进行下去，如果生产没有预定的终止期，在制定负荷分配方案时，可以提出对整个无限期过程的最优方案问题。无限过程的总产量（目标函数）为：n

5、1limV0,nlimvkxk,uknnk0需检验此极限的存在性第十二讲动态规划的扩展形式（一）无限期动态规划检验目标函数的收敛性：本例中，由于对所有的n0，对任意选取的允许策略，都有nx0.7u0.9xu0.9x0.9xnn1n1n1n10k而：0vx,u8u5xu5x3u8x80.9xkkkkkkkkk0n1n1k故：V0,nvkxk,uk8x00.9k0k0n1k1limV0,n8x

6、0lim0.98x080x0nnk010.9所以，目标函数的极限存在第十二讲动态规划的扩展形式（一）无限期动态规划对于定义一个无限期决策过程的最优化问题，须先满足3个条件，即对所有k0,有：（1）状态转移方程xTx,u有意义；k1kkk（2）允许决策集合Dx有意义，而且设Dx非空，则存在kk00允许策略ux,ux,,使得对所有k1,Dx非空；0011kk（3）目标函数V对所有k0有意义，且对所有允许策略，0,k极限limV存在。0,nn

7、上述三个条件成立，无限期决策过程的最优化意义在于求**最优策略pP,使得：VpoptVppP第十二讲动态规划的扩展形式（一）无限期动态规划平稳决策过程：对于多阶段决策过程，如果它的第k段状态变量x,k决策变量u，允许策略集合Dx,状态转移方程kkkTx,u以及报酬函数vx,u都与阶段序数k无关，kkkkkk并可以分别表示为：x,ux,Dx,Tx,u及vx,u,则该过程叫做平稳决策过程。如果构成策略的函数序列ux,ux,是由同一0011函数

8、ux组成，即ux,ux,,则这种策略称为平稳策略，用单一函数ux表示。第十二讲动态规划的扩展形式（一）无限期动态规划平稳无限期决策过程的基本方程：由于对任一n0，前n段子过程中的目标函数为：n1n1V0,nvkxk,ukv0x0,u0vkxk,ukk0k1当n时，因为limV存在，故得：0,nnVx,u,u,vx,uVTx,u,u,u,0010000012