基于深度强化学习的未知环境下机器人路径规划的研究.pdf

《基于深度强化学习的未知环境下机器人路径规划的研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于深度强化学习的未知环境下机器人路径规划的研究RESEARCHONROBOTPATHPLANNINGUNDERUNKNOWNENVIRONMENTBASEDONDEEPREINFORCEMENTLEARNING卜祥津哈尔滨工业大学2018年6月国内图书分类号：TP242.6学校代码：10213国际图书分类号：681.5密级：公开工学硕士学位论文基于深度强化学习的未知环境下机器人路径规划的研究硕士研究生：卜祥津导师：李瑞峰教授申请学位：工学硕士学科：机械电子工程所在单位：机电工程学院答辩日期：2018年6月授

2、予学位单位：哈尔滨工业大学ClassifiedIndex:TP242.6U.D.C:681.5DissertationfortheMasterDegreeinEngineeringRESEARCHONROBOTPATHPLANNINGUNDERUNKNOWNENVIRONMENTBASEDONDEEPREINFORCEMENTLEARNINGCandidate：BuXiangjinSupervisor：LiRuifengAcademicDegreeAppliedfor：MasterofEngineeringSpecial

3、ity：MechatronicsEngineeringAffiliation：SchoolofMechatronicsEngineeringDateofDefence：June,2018Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工学硕士专业学位论文摘要服务机器人在完成各种任务时经常需要进出房间，这就需要机器人能够在室内环境下，自主获取环境信息，然后进行路径规划和导航，导航对于自主移动机器人来说非常重要。在动态未知环境中，由于移动机器人处

4、于局部环境中，有时并不能准确得到目标位罝，因此移动机器人只能根据反馈得到的局部信息来规划自己的路径。如何有效的利用已知信息就成了动态未知环境中路径规划的关键问题。传统的动态环境下的路径规划方法都需要依赖地图信息，在已知地图信息的前提下进行路径规划，无法在未知的环境中通过视觉伺服进行路径规划。本文通过深度强化学习的方式，在机器人无地图信息的情况下进行路径规划。首先，建立差速的移动机器人系统，为了验证模型的准确性与可靠性，在MATLAB中进行了多种运动学的仿真，包括点镇定、跟踪双曲线、跟踪圆周曲线等的测试，证明了运动学模型的

5、可靠性。基于ROS建立了移动机器人的外形与运动学模型，在其上添加了Kinect视觉传感器与碰撞、速度里程计等传感器，并将各个传感器采集到的数据以消息的方式发布到了相应的主题上，通过订阅这些主题可以方便的获取机器人实时采集的环境信息，为之后进行路径规划奠定基础。然后，建立了深度强化学习的模型。本文使用结合了Q-学习与梯度策略算法的A3C算法进行机器人运动决策的训练，针对本文的差速移动机器人的特点，通过Kinect的深度图像作为输入，将机器人速度与角速度的值作为输出，建立了端到端的训练模型。并在Gazebo搭建的环境中进行了

6、实验，验证了算法的有效性。最后，针对强化学习训练时间长的缺点，提出一种基于最小景深信息的训练方式，优化了状态空间的构建过程，以此来提高学习的训练效率，并与普通训练方式进行了对比验证，在相同的训练时间下，本文提出的训练方法学习效率更高。并进行了未知环境与动态环境避障的验证实验。在真实的环境中进行实验，验证了算法对未知环境路径规划的有效性，并实现了未知环境的探索与地图的构建。关键词：深度强化学习；无地图信息；运动学约束；路径规划；未知环境-I-哈尔滨工业大学工学硕士专业学位论文AbstractServicerobotsatt

7、hecompletionofvarioustasksoftenneedtomoveinandoutoftheroom,whichrequiresrobotstoinindoorenvironment,independentaccesstoenvironmentalinformation,andthenforpathplanningandnavigation,navigationforautonomousmobilerobotisveryimportant.Indynamicunknownenvironment,themo

8、bilerobotinalocalenvironment,andsometimescannotobtainaccuratetargetcoffret,sothemobilerobotcanonlyaccordingtothefeedbackfromlocalinformationtoplantheirownpath.