基于q学习算法之机械臂轨迹控制概述

《基于q学习算法之机械臂轨迹控制概述》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于Q学习算法之机械臂轨迹控制概述第一章绪论1.1课题的、目的及研究意义随着新技术被不断的发明创造，越来越多繁重而又复杂的生产活动被自动化装置所取代，不仅提高了生产效率也为人类的生活提供了极大的方便。而作为自动化装置的典型代表机器人被应用于如，生产线的装配机器人、传料机器人、焊接机器人，可在具有强辐射环境下工作的核电站检修机器人，具有在轨维护与建设的空间站机械臂可实现空间站与实验舱组装对接任务，用于显微外科手术的定位机械臂，输油管道泄漏检测的管道机器人，以及军事领域中集高空侦察和打击于一体的空中机器人即无人机等一直是世界各国的研究热点等。另外，随着人工智能理论的不断深入研究及其在实践中应用

2、创新，机器人控制方法正向着智能化趋势发展。机器人作为自动化的热门研究方向，其控制算法一直是业内的研究重点。一个具有自主运行能力的机器人在执行给定任务过程中能够自动搜索并获取目标位置；或者从某一地点出发达到事先给定的目标位置。通常情况下，要求给定机器人任务后，机器人能够从初始位置向目标位置前进。在这一过程中，机器人能够自动识别障碍物，并在障碍物之间自动规划出一条能耗时最短、行程最小的行进路线。根据上述的要求，相对于移动机器人而言，规划出的行进路线称为最优路径；而对于连杆型机械臂则称之为轨迹规划。机器人路线寻优方法一直以来被作为机器人控制的重点方向。长期以来，人们通常在获取机械参数等前提下采用

3、建立被控对象数学模型的方式进行路线寻优，这种方式对被控对象的数学模型的精确度依赖程度高。然而，在很多情况下精确的数学模型是不可能被建立的，这必将使控制的鲁棒性降低；同时，由于外部环境经常是动态时变且存在不可预知的扰动因素，这也将是制约控制效果的主要因素。因此，要求机器人具有一定的智能性，能够降低对模型的依赖性或脱离被控对象模型；不仅如此，在动态时变的工作环境中，还要求机器人能够根据所处条件适时调整自身控制器的参数和和结构等。针对本文研究对象，研究轨迹规划的控制算法。讨论在自由环境中，机械臂如何利用强化学习算法使其从一个初始的位置达到目标位置，并且该轨迹最优；另外，控制算法也应该具有一定的泛

4、化能力，即该算法可以扩展到不同自由度的机械臂上。本文所研究的算法具有高度的自学优点，可以实现在线实时轨迹规划；这种学习方式不需要对被控对象进行精确的建模，也无需像神经网络学习一样事先为学习器提供训练数据，所以这种方式较常规的监督学习是无模型依赖学习，从而使控制上更具简单性、稳定性及实时性更具突出优势。因此，将强化学习引入机械臂控制中，无论是对机器人的理论研究还是在具体的工业和生产应用中都具有深远的意义。1.2国内外研究现状1.2.1机器人分类机器人种类繁多，各个国家都有不同的分类方式。因此，国际上没有一个统一的分类标准。根据机器人在不同研究领域所扮演的角色划分，如以机器人的机械加工和制造来

5、讲则以机械结构为分类标准；从机器人的自动控制角度则以控制算法划分等。在我国，科学家总结机器人多年的研究成果，以应用环境为出发点，将机器人按照应用领域不同分为工业机器人，这种机器人主要负责生产制造中流水线上某一环节的装配和加工等。另一类则是以独特的应用环境为前提，以为人类服务为主，如奥运会机器人可自主实现运动员的识别和接待、游客指路以及赛场信息查询等功能；当然，也有一些在特殊环境中用于检测的机器人，如地震等灾害期间用于生命探测及救援的救生机器人等，可以代替人类进入狭小的或危险的空间。另外，根据学术界对机器人的理论研究，按照控制算法以及控制器件的不同也可以分为以下几大类：操作型机器人：这种机器

6、人通常是多自由度的，用于工业生产流水线的某一环节上；人们能以编程的方式对机器人进行功能设计，使其完成一个或一系列的规定动作，实现自动控制的目的。示教再现型机器人：可以细分为两类。其一，首先由设计者按照生产工艺的要求，事先设计一套控制方案，并具体到机器人的每个动作，将动作序列按照先后顺序编程。之后，机器人将按照程序重复的机械运行。其二，示教人员以不同方式如数值顺序，亦或者是语言等教会机器人动作，然后机器人再根据前期学习到的示教信息重复作业。自学习型机器人：这类机器人自身具备一定的自学习性，这主要归功于控制器所采用的先进算法。在控制中，机器人能够根据机器人自身的大量传感器信息，对其进行数据融合

7、后获得自身状态以及过往的学习经历，有利于在以后的控制中将过往的经验作为将来控制的参考量。第二章机械臂控制系统分析本文的研究对象是一个连杆型机械臂，该机械臂具有多自由度并可在二维平面内旋转。研究的目的是在一个无障碍的未知工作环境中，要求机械臂能够从一个随机初始位置以最短的轨迹到达规定的状态，并且根据当前所处状态以及自身学习经验规划出一条最优运动轨迹。2.1机械臂结构分析构成机械臂各部分的机构是多种多样的，在某种意义上是任意