基于改进策略梯度方法的游戏智能研究

《基于改进策略梯度方法的游戏智能研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于改进策略梯度方法的游戏智能研究作者姓名张世龙学科专业计算数学指导教师雷秀仁副教授所在学院数学学院论文提交日期2018年4月ResearchofGameIntelligenceBasedonImprovedPolicyGradientMethodADissertationSubmittedfortheDegreeofMasterCandidate：ZhangShilongSupervisor：Prof.LeiXiurenSouthChinaUniversityofTechnologyGuangzhou,China摘要目前研究

2、人员大多把目光放在以深度Q网络（DeepQNetwork，DQN）为代表的基于价值的强化学习算法，忽视了理论更为坚实和更新过程更为直观的基于策略方法。本文通过对增强算法（Reinforce）等基于策略的一类方法做出研究思考和优缺点分析，提出熵正则化与经验池增强算法（EntropyRegularizationandExperienceReplayReinforce，2ER-Reinforce）算法，并探讨在不同重要超参数的改变下对实验结果的影响。最后对实验结果进行展示，并通过训练一个模拟人类玩Atari游戏的智能体证明2ER-Reinfor

3、ce算法的性能得到提高。本论文主要工作如下：（1）介绍深度强化学习的研究背景及意义，并列举其在游戏及商业中的应用；（2）简述马尔可夫决策过程的概念，为强化学习的研究制定框架。重点阐述有模型学习中的Bellman等式与动态规划求解方法，从而导出策略迭代和值迭代的策略改进方法，为之后章节的免模型学习提供理论基础；（3）简述强化学习中的免模型学习基础知识，主要涉及基于价值的算法。阐述并比较了蒙特卡罗方法与时序差分学习的异同，引出著名的Sarsa算法、Q-学习（Q-Learning）算法和对Q-Learning算法改进得到的DQN算法；（4）提出

4、改进的2ER-Reinforce算法并将其应用到视频游戏领域中，实验的成功证明了2ER-Reinforce算法具有实际意义。先对Reinforce算法的优缺点进行分析，结合经验池与熵正则化技巧提出改进的2ER-Reinforce算法；然后以Atari系列的Pong游戏作为测试环境，多角度比较四种算法的性能，并对若干超参数不同取值对训练效果的影响做出探讨；接着展示游戏智能的表现，最后对算法学习与人类学习的思考模式做出思考与比较。关键字：机器学习；深度强化学习；策略梯度；增强学习；游戏智能IAbstractAtpresent,research

5、ersmostlyfocusonthevalue-basedreinforcementlearningalgorithmrepresentedbyDeepQNetwork(DQN),ignoringthepolicy-basedapproachthatismoresolidintheoryandmoreintuitiveintheupdateprocess.Inthispaper,throughresearchandconsiderationofalgorithmssuchasReinforceandanalysisofadvantage

6、sanddisadvantages,the2ER-ReinforcealgorithmofReinforcealgorithmthatintegratesentropyregularizationandexperiencereplaytechniqueisproposed,andtheeffectofdifferentimportanthyperparametersonexperimentalresultsisdiscussed.Finally,theexperimentalresultsincludingthenetworkweight

7、sareanalyzedvisually,andtheperformanceofthe2ER-ReinforcealgorithmisimprovedbytraininganagentthatsimulateshumanplayingAtarigames.Themainworkofthispaperisasfollows:(1)Introducetheresearchbackgroundandsignificanceofdeepreinforcementlearning,andlistitsapplicationingamesandcom

8、merce;(2)OutlinetheconceptofMarkovDecisionProcessandformulateaframeworkforstrengtheningresearch.