深度强化学习在图像辅助控制及图像分类中的应用研究

《深度强化学习在图像辅助控制及图像分类中的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文深度强化学习在图像辅助控制及图像分类中的应用研究作者姓名阳赵阳学科专业电路与系统指导教师周伟英副教授金连文教授所在学院电子与信息学院论文提交日期2018年4月ResearchonApplyingDeepReinforcementLearninginImageBasedControlandImageClassificationTasksADissertationSubmittedfortheDegreeofMasterCandidate：ZhaoyangYangSupervisor：A/Prof.WeiyingZhouProf.LianwenJinSou

2、thChinaUniversityofTechnologyGuangzhou,China分类号：TP391.4学校代号：10561学号：201520108287华南理工大学硕士学位论文深度强化学习在图像辅助控制及图像分类中的应用研究作者姓名：阳赵阳指导教师姓名、职称：周伟英副教授；金连文教授申请学位级别：工学硕士学科专业名称：电路与系统研究方向：机器学习与智能系统论文提交日期：2018年4月10日论文答辩日期：2018年5月30日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：郑伟诗教授委员：梁添才教授级高工；孙季丰教授；金连文教授；张鑫副教授

3、摘要近几年，深度学习和强化学习中一些先进方法的出现使得两者的结合成为可能，其产物就是深度强化学习。深度强化学习既有继承于深度学习的强泛化和自特征提取能力，又可以像强化学习方法一样，使智能系统通过自我的试错在给定环境中学习解决特定任务的策略。深度强化学习的诞生在人工智能领域影响重大，相关工作随之涌现，一些成功的深度强化学习算法甚至能够在游戏和机器控制中超过人类的表现。然而，现有的深度强化学习算法仍然存在一些不足和空白。在应用深度方面，现有算法无法在连续动作空间中进行多任务学习，并且大部分算法只能学习简单的任务。在应用广度方面，算法在计算机视觉领域中，特别是图像分类问

4、题中的应用还非常少。本文介绍的就是从这两个方面出发，阐述对深度强化学习在图像辅助控制和图像分类问题中的应用研究。本文共提出三个算法，即multi-DDPG算法、h-DDPG算法和自强化网络算法，前两个用于实现连续动作空间中图像辅助下的多任务学习和层次性学习，后一个则针对图像分类问题。在multi-DDPG算法中有一个值网络和多个策略网络，其中每一个策略网络负责学习一个任务，而值网络则负责训练策略网络。在h-DDPG算法中，这个结构被扩展为一个具有两个值网络和多个策略网络的结构，增加的一个值网络可以通过组合策略网络的方式来进行复杂任务的学习。最后，自强化网络算法尝试

5、将深度强化学习应用于图像分类问题中，算法中有一个特征决策智能系统，它控制着各个输入图像的分类时刻，对于还不能分类的图像，它会选择一种图像变换，并将变换后的图像返回给图像分类网络进行再次分类。实验结果显示，本文中提出的三个算法都在各自的任务中有着不错的性能。其中，multi-DDPG算法能够在多任务学习中学习到与单任务学习算法性能相当的任务解决策略，其性能也不会因为任务数量或条件的增加而受到影响。而h-DDPG算法则可以非常高效地同时学习简单的动作技能以及复杂任务的解决策略，其解决复杂任务的能力甚至超过了一些针对离散动作空间的算法。最后的自强化网络算法则能够通过特征

6、决策智能系统的决策将图像分类网络原本的错误率降低18.82%。关键词：深度学习；强化学习；深度强化学习IAbstractInrecentyears,newadvancesindeeplearningandreinforcementlearninghaveaddressedseveralchallengesincombiningthesetwotechniquesandbroughtdeepreinforcementlearninggreatsuccess.Deepreinforcementlearningalgorithmshavebothstronggenera

7、lizationandfeatureextractionabilitiesandtheabilitytobootstraptask-solvingpolicies.Recentworkshowsthatdeepreinforcementlearningagentscanevenoutperformhumansinseveralcontroltasks.However,limitationsstillexist.Intermsofthedepthperspective,existingalgorithmsgenerallyfailinlearningmultiple

8、tasks