资源描述：
《基于强化学习的自主移动机器人反应式自救控制》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第43卷第11期上海交通大学学报Vol.43No.112009年11月JOURNALOFSHANGHAIJIAOTONGUNIVERSITYNov.2009文章编号:100622467(2009)1121751205基于强化学习的自主移动机器人反应式自救控制王忠巍,曹其新,栾楠,张蕾(上海交通大学机器人研究所,上海200240)摘要:为了解救陷入环境障碍的自主移动机器人,提出了一种基于强化学习的自救脱困控制方法.该方法通过移动机器人与环境的交互作用,能够在线学习实现脱困自救的运动控制策略,并利用机器人自身条件克服环境障碍,避免了
2、实施救援机器人的行动和终止其作业任务所造成的损失.利用工作环境的先验知识指导,设计含有启发信息的强化学习系统回报函数,保证搜索和学习控制策略向正确方向进行,同时提高学习控制器的适应性和鲁棒性.数字仿真证明了通过自学习控制策略实现自救脱困的可行性.关键词:自主移动机器人;反应式控制;Q学习;启发式回报函数中图分类号:TP242文献标志码:AReactiveSelf2rescueControlforAutonomousMobileRobotBasedonReinforcementLearningWANGZhong2wei,CAOQi
3、2xin,LUANNan,ZHANGLei(ResearchInstituteofRobotics,ShanghaiJiaotongUniversity,Shanghai200240,China)Abstract:Acontroltechniquetoachieveself2rescueofautonomousmobilerobotfromobstacleenvironmentbasedonreinforcementlearningwasproposed.Motioncontrolstrategyofself2rescuewas
4、gotonlinethroughtheinteractionbetweenthemobilerobotandtheobstacleenvironment,sotheself2rescuecontroltechniquehelpstoovercomeobstacleenvironmentbytheautonomousmobilerobotindependentlyandavoidthelossfromrescueactivityandtaskfailure.Priorknowledgeofworkingenvironmentwas
5、appliedtodi2rectthedesignofheuristicrewardfunctionforthereinforcementlearningsystem,whichguaranteesthecorrectdirectionofsearchingandlearningcontrolstrategy.Thesimulationexperimentsindicatethatitisfeasibletoachieveself2rescuebyselflearningcontrolstrategy.Keywords:auto
6、nomousmobilerobot;reactivecontrol;Q2learning;heuristicrewardfunction在很多不适于人类工作或者难以到达的环境造成严重的设备损失和任务失败损失.因此,有效应中,需要特种机器人执行特殊的任务,如海底管道检对环境障碍成为自主移动机器人领域的一个研究热测机器人,水下机器人,星球探索机器人等.这些机点.目前,对于这一问题的研究主要集中在避障导航器人在自主移动、作业过程中不可避免地会遇到各[122][324]的方法,提高越障能力的新颖运动机构设计,种未知的环境障碍,一旦陷入障
7、碍又无法脱困,就会以及专用救援装置[526]等方面,而自主移动机器人在收稿日期:2008210214基金项目:国家自然科学基金资助项目(50705054),国家高技术研究发展计划(863)项目(2006AA040203)作者简介:王忠巍(19782),男,辽宁辽阳人,博士生,主要从事自主移动机器人智能控制技术和嵌入式控制技术的研究.曹其新(19602),男,教授,博士生导师,电话(Tel.):021262932750;E2mail:qxcao@sjtu.edu.cn.1752上海交通大学学报第43卷陷入环境障碍时能够基于自身运动
8、控制策略脱离困境,继续完成作业任务,无疑更具吸引力.在未知环境中作业的移动机器人控制研究中,[7]Brooks提出了基于行为的反应式控制思想,使得机器人对未知环境具有一定的适应性,但其缺乏有效的高层知识表示,仅能完成一些基本的类似昆虫的智能行为,只适用于在未知环
