基于强化学习的auv避障研究

《基于强化学习的auv避障研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ｍ硕：ｔ学位论文ＩＢ基于强化学习的歷瓣觀ＲｅｓｅａｒｃｈｏｎＯｂｓｔａｃｌｅＡｖｏｉｄａｎｃｅｆｏｒＡＵＶＢａｓｅｄｏｎＲｅｉｎｈｒｃｅｍｅｎｔＬｅａｒｎｉｎｇＩ研究生：孙魁指导獅吴齡教巧舰自研究员学科专业；模式側与智能系统少ｉ違债建落掌Ｉ声巧本人声明，所星交的学位论文是在导师的指导下独立完成的。论文中取得的研宛成果除加Ｗ标注和致谢的地方外，不包含其他人巴终发表或撰写过的研究成果，也不包括本人为获得其在学位而使用过的材料。与我共同王作过的同志对本研究所做的任何

2、贾献均己在论文中作了明确的说明并表示谢思。作者签《；辦蜂曰期：句学位论文版权使用授权书本学位论文作者和考导教师完全了解沈阳建筑大学有关保留、使用学位论文的规定：即学校有权俱留并向国家有关部口或机构送交论文的复印件和趨盘（或其授权机构）可，允许论文被查阅和借阅。本人授权沈阳建筑大学Ｗ将学位论文的全部或部分内容编入有关数据库并通过网络提供检索、浏览。（如作者和导师同意论文交流，请在下方签名；否则视为不同意。）作者和导师同意网上交流的时间为作者获得学位后；不限□半年—年□一年半□两年□作者签名

3、：导师签名：＂言、：扣＾化曰期：乃皆目曰期作争＾分类号：学校代码：10153UDC：密级：公开硕士学位论文基于强化学习的AUV避障研究作者姓名：孙魁入学年份：2013年9月指导教师：吴成东教授学科专业：模式识别与智能系统申请学位：工学硕士所在单位：信息与控制工程学院论文提交日期：2015年11月论文答辩日期：2015年12月学位授予日期：2016年1月答辩委员会主席：魏颖答辩委员会组成：魏颖李孟歆刘剑片锦香许可张凤张颖论文评阅人：硕士研究生学位论文摘要I摘要21世纪是海洋的世纪，海洋中蕴含着丰富的资源和无穷的奥秘亟待人们前去探索。作为

4、探索海洋的重要工具，自主水下机器人(AutonomousUnderwaterVehicle,AUV)越来越受到海洋开发和研究人员的重视。AUV是具有智能行为的高级水下机器人，它具有活动范围广、机动灵活、隐蔽性好等特点，能够作业于复杂的海洋环境。在具备诸多优势的同时，AUV的应用也面临着一些挑战。由于作业范围较广且常常承担水下探索作业，因此AUV往往需要作业于未知的环境中，复杂且难以预测的水下环境，对AUV的控制提出了极高的要求。其中，在AUV的局部路径规划中，如何使AUV顺利避开障碍物，并顺利到达目标，是AUV控制系统研究中所面临的重要任务之

5、一。在目前研究较多的诸多的避障方法中，人工势场、人工智能、强化学习等方法是应用最为广泛的几种。其中，强化学习的方法不需要先验知识，而且具有很强的自学习能力，所以特别适合应用到在未知环境下的避障，在AUV的避障中具有巨大的应用潜力。强化学习归属于机器学习，是机器学习中非常重要的一个分支。强化学习的过程是对环境进行反复的试探，类似于动物在对未知事物学习过程中经常采用的试错，通过学习来获得一种在该环境下最优的动作策略，从而获得最大的回报。与其他的学习策略相比，强化学习最大的优势就是不需要完备的先验知识甚至完全不需要先验知识，但依然能够保证较好的鲁棒

6、性和自适应性。本文对基于强化学习的AUV二维平面避障方法进行了研究，首先研究了强化学习的系统结构和实现方法，接下来对强化学习中输入模块、输出模块及策略模块的具体实现方法进行了研究。文中研究了Q-学习的基本原理、算法和特点，针对Q-学习收敛速度慢的缺点，提出了改进办法，提高了学习效率。在传统的强化学习方法中，存在着维数灾难的问题，而解决维数灾难的一个方法就是将传统的强化学习方法进行泛化。本文在对Q-学习算法进行研究和改进的基础上，将神经网络应用于强化学习算法中，利用神经网络方法强大的非线性处理能力，来解决维数灾难问题，提出了基于CMAC网络的Q

7、-学习算法，并将其应用于AUV避障问题的研究中。最后，本文以AUV在二维平面中的避障为背景进行了仿真实验，在实验中分别利用常规Q-学习算法与本文所提出的改进算法分别对AUV在二维平面中面对不同障碍时的避障路径进行了规划，实验结果验证了文中所提出改进算法的有效性。关键词：强化学习；Q学习；避障；AUV；局部路径规划；神经网络硕士研究生学位论文AbstractIIIAbstractTwenty-firstCenturyisthecenturyoftheocean,theoceancontainsawealthofresourcesandinfin

8、itemysteriestobeexplored.Asanimportanttooltoexploretheocean,AutonomousUnderwaterVe