基于深度强化学习的机械臂卷积神经网络控制策略研究.pdf

《基于深度强化学习的机械臂卷积神经网络控制策略研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于深度强化学习的机械臂卷积神经网络控制策略研究RESEARCHONCONVOLUTIONALNEURALNETWORKPOLICYFORMANIPULATORBASEDONDEEPREINFORCEMENTLEARNING王超哈尔滨工业大学2018年6月国内图书分类号：TP242.4学校代码：10213国际图书分类号：621密级：公开工学硕士学位论文基于深度强化学习的机械臂卷积神经网络控制策略研究硕士研究生：王超导师：郭伟教授申请学位：工学硕士学科：机械电子工程所在单位：机电工程学院答辩日期：2018年6

2、月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP242.4U.D.C:621DissertationfortheMasterDegreeinEngineeringRESEARCHONCONVOLUTIONALNEURALNETWORKPOLICYFORMANIPULATORBASEDONDEEPREINFORCEMENTLEARNINGCandidate:WangChaoSupervisor:Prof.GuoWeiAcademicDegreeAppliedfor:MasterofEngineering

3、Speciality:MechatronicsEngineeringAffiliation:SchoolofMechatronicsEngineeringDateofDefence:June,2018Degree-Conferring-Institution:HarbinInstituteofTechnology哈尔滨工业大学工学硕士学位论文摘要家庭服务机器人作为机器人应用领域的重要组成部分，由于其在执行家务劳动时具有任务种类繁多且不可预知等特点，因此对于算法的适应性以及学习能力提出了严格的要求，而如何通过算法使家庭服

4、务机器人满足以上要求并提高机器人的智能化程度，也成为当前该类机器人发展的关键。针对家庭服务机器人提高智能化程度的迫切需求，本文通过基于策略搜索的深度强化学习算法对家庭服务中最为基础的物品放置任务进行了研究，同时针对当前基于最优控制的策略搜索算法参数初始化过程随机以及卷积神经网络策略结构设计困难和训练时间长等问题，重点开展了基于策略搜索的机械臂控制器参数初始化与优化方法研究以及卷积神经网络的结构设计和训练方法研究，并通过仿真与实际实验对以上方法进行了验证。具体开展如下研究：首先，针对机械臂需要具有自主学习能力的要求，研究

5、并编写了策略搜索算法，通过建立代价函数、拟合局部环境动态模型并在该模型基础上使用最优控制方法生成并优化控制器，使机械臂具有了自主学习能力；针对基于最优控制的策略搜索算法控制器参数初始化过程随机的问题，通过引入基于线性卡尔曼滤波位置速度预测模型的思想，减小了控制器优化过程的随机性；同时通过进行仿真实验，验证了以上方法的有效性以及策略搜索算法的学习能力。其次，针对策略搜索算法在目标位姿变化时都需要重新学习的问题，研究并构建了卷积神经网络控制策略，通过设计卷积神经网络视觉层与电机控制层结构，建立训练过程的损失函数、采样方法以

6、及初始化方法并设置神经网络训练方法，使机械臂对于物品放置位姿具有了一定的适应性并完成了对机械臂的端对端控制；针对卷积神经网络训练时间长的问题，提出了有效的预训练方法缩短了神经网络的训练时间；同时通过进行仿真实验，验证了以上方法的有效性以及卷积神经网络策略的端对端控制效果和对目标位姿的泛化能力。最后，通过实际实验对以上策略搜索算法以及机械臂卷积神经网络控制策略进行了进一步验证。通过使机械臂执行不同操作对象以及目标位姿的物品放置任务，进一步验证了策略搜索算法的学习能力；同时通过训练和测试卷积神经网络策略并进行“蒙眼”实验，

7、进一步验证了该控制方法的端对端控制效果以及对于目标位姿的适应性。关键词：机械臂；深度强化学习；策略搜索；卷积神经网络；端对端控制-I-哈尔滨工业大学工学硕士学位论文AbstractAsanimportantpartoftheapplicationsofrobotics,becausethehouseholdrobotalwaysworksincomplexenvironmentandmustdealwithunpredictableandvariouskindsofoperationtasks,therequireme

8、ntsofthealgorithminsidetheserobotsareverystrict,andhowtoimprovetheintelligenceofthehouseholdrobotthroughalgorithmshasalsobecomethekeytothedevelopmentoftheserobots.Inv