多智能体q学习在多auv协调中的应用与仿真

《多智能体q学习在多auv协调中的应用与仿真》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：——UDC：——密级：编号：工学硕士学位论文多智能体Q学习在多AUV协调中的应用与仿真硕士研究生：指导教师：学位级别：学科、专业：所在单位：论文提交日期：论文答辩日期：学位授予单位；李锋严浙平教授工学硕士交通信息工程及控制自动化学院2008年1月2008年3月哈尔滨工程大学多智能体Q学习在多AUV协调中的应用与仿真摘要AUV(AutonomousUnderwaterVehicle，简称AUV)作为一种高技术手段，在海洋环境监测、海底资源调查、科学考察、危险环境作业和打捞救生等方面起到了至关重要的作用。随着执行任务的复杂性日益增加，单AUV在大范围内作业的时效性、鲁棒性和柔性等方面就

2、表现出明显不足。需要多个AUV构成系统来共同完成任务，而多AUV的协调控制成为关键问题，本论文主要讨论了一种新的多AUV协调控制方法、系统设计及仿真。本文首先介绍了多AUV技术的发展动态以及课题研究的意义，然后根据多AUV协调控制系统的需要建立AUV运动模型、多智能体Q学习模型，在此基础上建立了面向任务的多AUV系统结构。对比分析了近几年的几种重要的多智能体强化算法，然后提出了一种新的多智能体Q学习算法，这种算法结构简单，能够大大简化状态空间，加快收敛速度。试验表明，本文提出的多智能体Q学习方法是有效的。然后对多智能体Q学习算法实现多AUV协调的系统进行了设计，用多个仿真实例说明了多智能体

3、Q学习算法在多AUV系统中的应用，试验证明，此本文提出的多智能体Q学习协调算法在满足Nash均衡的同时，避免了研究多个均衡点同时存在的问题，收敛速度快并且非常有效。关键词：多智能体；Q学习；hash均衡；多AUV；仿真哈尔滨T群人学硕十学何论文ABSTRACTAutonomousUnderwaterVehicle(AUV)playsanimportantroleinmarineenvironmentmonitoting，seabedresourcesinvestigating，sciencerespecting，dangerousenvironmentexploring，rescueand

4、salvageandSOon．Alongwiththemissionbecomemorecomplicatedly,thesingleAUVobviouslyshowsinsufficientateffectiveness，robustnessandflexibilityinalarge。scaleoperatingmission-ItISnecessarytocoordinatewiththehelpofMulti—AUVsoperatingtogether，alldcooperationisthekeytechniquesofMulti-AUVs．Inthispaperacoopera

5、tivestrategy,aMulti．AUVscooperativesystem’sdesignandit’Ssimulationarediscussed．Firstly，thetrendofmultipleAUVsdevelopmentandtheresearchmeaningarepresented．ThenaAUVdynamicmodel，multiagentQ·learningmodelisdesignedbasedontheneedofmultipleAUVssystem，andanewarchitecture0tAUVbasedonmissionisproposed．Then

6、，severalsingleagentandmultiagentreinforcementlearningalgorithmsproposedinrecentyearsareinvestigated，comparedandanalyzeddeeplyinthispaper．AndamuliagentQ‘learningalgorithmisproposed．Thisalgorithminvolvessimpleproceduresandeasycomputations，andcanguaranteegoodlearningconvergence·Experimentresultsofmul

7、ti．AUV，scoordinationandcontrolshowthatthisalgorithmiseffective·Then．aMulti．AUVscooperativesystembasedonmuliagentQ。learningalgorithmisdesinged．SeveralsimulationexperimentshowtheapplicationofmuliagentQ．1earningalgo