资源描述：
《样本有限关联值递归Q学习算法及其收敛性证明》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第39卷第9期计算机研究与发展Vol.39,No.92002年9月JOURNALOFCOMPUTERRESEARC~ANDDEVELOPMENTSep2002样本有限关联值递归O学习算法及其收敛性证明殷苌茗陈焕文谢丽娟(长沙电力学院数学与计算机系长沙410077)(cmyin66@hotmailcom)摘要一个激励学习Agent通过学习一个从状态到动作映射的最优策略来解决策问题求解最优决策一般有两种途径:一种是求最大奖赏方法,另一种是求最优费用方法利用求解最优费用函数的方法给出了一种新的学习算法学习算法是求解信息不
2、完全Markov决策问题的一种有效激励学习方法Watkins提出了学习的基本算法,尽管他证明了在满足一定条件下值学习的迭代公式的收敛性,但是在他给出的算法中,没有考虑到在迭代过程中初始状态与初始动作的选取对后继学习的影响因此提出的关联值递归学习算法改进了原来的学习算法,并且这种算法有比较好的收敛性质从求解最优费用函数的方法出发,给出了学习的关联值递归算法,这种方法的建立可以使得动态规划(DP)算法中的许多结论直接应用到学习的研究中来关键词激励学习,学习,最优费用函数,关联值递归,Markov决策过程中图法分类号TP
3、182ARELATIVEVALUEITERATIONO-LEARNINGALGORITHMANDITSCONVERGENCEBASED-ONFINITESAMPLESYINChang-Ming,C~EN~uan-Wen,andXIELi-Juan(D6Par?6n0fMah6?azCsgC0?Pz6rs,ChangshaUnzz6rszy0fEl6CrzCP0z6r,Changsha410077)AbstractAreinforcementlearningagentsolvesitsdecisionproblems
4、bylearningoptimaldeci-sionmappingfromastatetoanactionTherearetWoapproachesgenerallytosolvingoptimalde-cision,theoneformaximumreWard,theotherforoptimalcostThispaperisconcernedWiththeproblemofanovel-learningalgorithmforsolvingoptimalcostfunction-learningisarein-
5、forcementlearningmethodtosolveMarkoviandecisionproblemsWithincompleteinformationInthispaper,beginningWithsolvingoptimalitycostfunction,therelativevalueiteration-learningalgorithmisproposedItcanmakemanyresultsofthedynamicsprogrammingalgorithmavail-ableforstudyi
6、ng-learningdirectlyKeywordsreinforcementlearning,-learning,optimalityfunction,relativevalueiteration,Markoviandecisionprocess大的进展[1],已提出了许多以坚实数学理论为基础的各种学习与规划算法[2~7]1引言其中Agent与环境的交互作用通常模型化为Markov决策过程(DMP),目前智能体(agent)的激励学习研究取得了很目前已有不少激励学习成功应用的实例一个激励原稿收到日期:2001-
7、06-05;修改稿收到日期:2001-12-06本课题得到国家自然科学基金项目资助(60075019)9期殷苌茗等,样本有限关联值递归学习算法及其收敛性证明1O65学习Agent通过学习一个从状态到动作映射的最是按如下的递归公式进行的,在每个时间步z,观察优策略来解决策问题求解最优决策一般有两种途当前状态s选择和执行动作a再观察后继状态z,z,径,一种是求最大奖赏方法,另一种是求最优费用方sz+1并付出即时费用Cz,然后根据下面的式子来调整法本文利用求解最优费用函数的方法给出了一种0z-1的值,新的学习算法学习算法
8、是求解信息不完全如果(s,a)=(s则z,az),zz-1z-1MarkoV决策问题的一种有效激励学习方法自从0(s,a)=(1-zz)0+zz[Cz+7V(sz+1)],Watkins于19S9年在他的博士论文中提出学习如果所有(s,a)(sz,az),那么算法并在满足一定的条件下证明了其收敛性之zz-10(s,a)=0(s,a)后[S]其中z为学习因子,
