基于强化学习的robocup 2d高层抢球策略研究

《基于强化学习的robocup 2d高层抢球策略研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得安徽大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：体t珲签字日期：2Df仁年J月争日学位论文版权使用授权书本学位论文作者完全了解安徽大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权安徽

2、大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后适用本授权书)学位论文作者签名：酶古许签字日期：2Df中年6月牛日导师鲐弓Y<篆导师签名：印。气承签字日期：钿叶年b月P日摘要lIIIIIIIIIIIIIIIIIlY2578559RoboCup，机器人足球世界杯，是一个国际性的综合赛事，其中的2D项目提出了一个复杂的实时多主体环境下的智能体决策问题。当前人工智能正处在由“单主体静态可预测环境中的问题求解”向“多主体动态不可预测环境中的问题求解”过渡的

3、阶段，RoboCup2D问题中的智能决策研究代表人工智能的最新理论方向，同时RoboCup2D问题的解决可以助力当前信息时代的深入发展和革新。RoboCup2D问题的重点是高层决策，目前处理高层决策问题的方法有手工策略和各种人工智能的方法。传统的高层决策采用手工策略，手工策略具有很大的主观性，相关参数的选取多根据经验，不能保证很优化；同时手工策略无法考虑所有的比赛情形，对比赛情形动态变化的适应能力差，从而导致球员达成目标的效率底下。基于人工智能的方法则包括强化学习、决策树学习、神经网络学习等，它们由于具有学习能力，优于简单的手工策略。

4、在强化学习过程中，智能体通过不断进行动作尝试并观察动作的回报，逐渐学会在各种情形下选择对其有利的动作，以使自身在与环境交互过程中获得高的累积回报值。强化学习的环境交互特点和RoboCup2D的客户．服务器交互模式一致；强化学习的连续决策特点和RoboCup2D的周期性决策特点也十分一致；并且强化学习模型对动态不确定环境的适应能力，使得强化学习方法十分适于解决RoboCup2D的高层决策问题，所以本文基于强化学习方法进行RoboCup2D问题研究。Keepaway，即小规模控球抢球训练问题，是RoboCup2D中的典型子问题。目前有人使

5、用强化学习的方法对Keepaway的高层控球策略进行研究，优化了控球球队中持球球员的高层动作决策。然而目将强化学习应用于Keepaway问题中抢球球员的动作决策尚无文献研究。在Keepaway中，抢球任务和控球任务的任务目标相反，任务特点也有所不同，因而球队策略也存在区别。控球的特点是要求无球球员进行合理的无球跑动，同时持球球员选择合理的传球路线；抢球的特点是则要求抢球球员分工对控球球员进行压迫和逼抢。控球任务对无球球员的跑动要求相对较低，研究重点是持球球员的传球决策；而对于抢球，离球最近的抢球球员的决策比较固定(他必须上前逼抢持球球

6、员，否则球队很难抢下球)，剩下的负责拦截传球路线的抢球球员的决策则具有研究价值。本文针对Keepaway基于强化学习的RoboCup2D高层抢球策略研究中抢球任务的上述特点，研究将强化学习应用于抢球球员高层动作决策的问题，主要做了以下工作：(1)针对传统手工策略效率低的问题，通过对Keepaway中抢球任务特点的分析，合理设计了抢球球员强化学习模型的状态空间、动作空间及回报值，并给出了抢球球员的强化学习算法，使球员的决策随着训练的进行得到优化，抢球任务完成时间缩短，抢断成功率提高。(2)针对较大规模Keepaway任务进行普通强化学习

7、耗时太长的问题，利用策略迁移技术，通过合理设计从较小规模到较大规模Keepaway抢球任务的迁移学习方案，以及定义两个规模的任务间状态及动作空间映射，并给出抢球球员的迁移学习算法，使抢球球员在较大规模KeepawayiJlI练中重用在较小规模Keepaway中通过普通强化学习得到的高层策略，实现迁移学习。实验表明迁移学习在训练开始时就表现出较高的决策效率，并且比从零开始的普通强化学习更快地收敛到理想的策略水平，大大缩短了训练时间。本文的研究成果表明强化学习方法在Keepaway高层抢球决策中的有效性。传统意义上，强化学习一般只应用于底

8、层动作决策。本研究则证明了通过合理的高层回报值模型设计，强化学习也可以用来解决高层动作决策问题，体现了强化学习更广泛的应用能力。关键词：机器人足球；Keepaway；强化学习；抢球策略；策略重用；迁移学习Abstract