多智能体系统协作模型及其在足球机器人仿真系统中的应用

《多智能体系统协作模型及其在足球机器人仿真系统中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要多智能体系统(MAS)的协作是近年来分布式人工智能领域的研究热点。机器人足球世界杯(RoboCup)仿真比赛是检验各种MAS理论的标准平台，在这个极为复杂的多智能体环境中，多智能体必须通过协作才能完成它们的共同目标：多进球赢得比赛。本文在RoboCup仿真球队的设计中，应用规划、学习和预测技术建立了MAS的协作策略和模型，主要研究工作有：针对RoboCup足球机器人仿真系统面临的主要协作问题，提出一种双层的MAS协作模型框架，它包含协作策略和动作决策两层，这种结构不仅可以增强整个系统的智能度，而且还有

2、利于多智能体间的动态实时协作。采用基于状态的规划协作模型，实现了协作智能体对系统的快速实时反应，不仅提高了单个智能体的反应速度，而且还提高了整个MAS协作的效率。从RoboCup仿真比赛进攻的角度提出了一种基于合作意愿矩阵的传球规划协作策略，实现了一种不依赖于通信的显式多智能体协作。用阵形将多个智能体联接成一个拥有共同目标的团队，并引入角色实现事先给定的任务分配和站位配合，从防守的角度出发，实现了基于阵形变换的多智能体动态防守协作，将案例学习应用到阵形设计中，突破了单凭直接经验设置阵形的局限。可实现积极防

3、守阵形和消极防守阵形两个阵形之间动态变换，满足了不同阶段的防守协作要求，显著提高了球队的整体防守性能。提出了一种基于亲密度模型进行动态防守协作的方法。在采用人盯人战术时，智能体通过亲密度的计算确定是否需要协助队友完成人盯人任务；在采用区域防守战术时，由阵形确定每个区域的主要责任人，由亲密度确定每个区域的次要责任人，来共同完成区域的防守任务。通过亲密度模型的应用，实现了智能体间更好的协作，解决了盯人失败导致漏人的问题和区域防守中边界无人盯防的问题，达到了分：E和协作的统一。从提高仿真球队的整体协作能力出发，

4、提出了一种基于行为的预测方法，使RoboCup的协作模型设计简单、反应速度快、适应性好和智能度较高。采用基于行为预测的协作模型在CSUYunLu队中实现了球队的协作决策，如传球和下底传中等小局部配合。将统计学习与Q学习技术融合，提出了⋯种基于统计的多智能体Q学习算法。该算法通过对联合动作的统计来学习其它智能体的策略，并利用策略概率向量的全概率分布保证了对联合最优动作的选择，在理论上保证了算法的收敛性，该算法将多智能体环境下的学习空间由指数空间降为线性空间，有效地提高了学习效率，并将该算法成功应用到Robo

5、Cup中协作策略的离线学习。增强学习与其它学习方法之间显著的差别就是：延迟奖赏和试错探索，这带来了时间信用分配问题和无限状态访问问题，在多智能体环境中，使得学习速度很慢甚至不能收敛。为此，提出了基于预测的多智能体Q学习模型，它是一个融合规划、预测与Q学习等技术的两层结构的学习模型。该模型在RoboCup中的成功应用显示了其良好的在线学习性能。通过在CSUYunLu仿真球队中应用实践，验证了论文提出的多智能体协作策略和模型的有效性。关键词多智能体系统，机器人足球世界杯，协作模型，学习，规划ABSTRACTO

6、verthelastfewyears，amulti—agentsystem(MAS)hasbeenthesubjectofcontroversyinthefieldofdistributedartificialintelligence．TheRoboCupSoccersimulationleaguewasestablishedandhasbeenusedasastandardplatformtotesttheproposedvariousMAStheories．Robotsoccercontainsane

7、xtremelycomplicatedenvironment．Insuchsurroundings，agentshavetocooperatetOachievetheobjectiveofmakinggoalsasmuchaspossibleandwinningthematch．ThisdissertationcontributestothedesignoftheRoboCupsimulationteam．CooperationtacticsandmodelsofMAShavebeenbuiltbyint

8、egratingthetechnologiesofplanning，studyingandpredictionsynthetically．Themainachievementsareasfollows．TosolvethecooperationproblemofaRoboCupsoccersimulationteam，adualMAScooperative—modelarchitecture．whichiScomposedof