人工智能：一种基于视觉注意力机制的深度循环Q网络模型

《人工智能：一种基于视觉注意力机制的深度循环Q网络模型》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第４０卷第６期计算机学报Ｖｏｌ．４０Ｎｏ．６２０１７年６月ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＪｕｎｅ２０１７一种基于视觉注意力机制的深度循环犙网络模型刘全１），２），３）１）１）１），２）１）１）翟建伟钟珊章宗长周倩章鹏１）（苏州大学计算机科学与技术学院江苏苏州２１５００６）２）（软件新技术与产业化协同创新中心南京２１００００）３）（吉林大学符号计算与知识工程教育部重点实验室长春１３００１２）摘要由现代强化学习和深度学习相结合形成的深度强化学习方法是目前人工智能领域一个新的研究热点，已经在各种需要感知高维度原始输入数据和决策控制的任务中

2、取得了实质性的突破．尤其是一种被称为深度Ｑ网络的模型在处理诸如Ａｔａｒｉ２６００游戏这类趋于真实环境的复杂问题时表现出了和人类玩家相媲美的水平．然而，当存在有延迟的奖赏而导致需要长时间步规划才能优化策略的情形中，深度Ｑ网络的表现就会急剧下降．这说明深度Ｑ网络并不擅长解决战略性深度强化学习任务．针对此问题，文中使用带视觉注意力机制的循环神经网络改进了传统的深度Ｑ网络模型，提出了一种较为完善的深度强化学习模型．新模型的关键思想有两点：一是使用双层门限循环单元构成的循环神经网络模块来记忆较长时间步内的历史信息．这使得Ａｇｅｎｔ能够及时使用有延迟的反馈奖赏来正

3、确地指导下一步的动作选择；二是通过视觉注意力机制自适应地将注意力集中于面积较小但更具价值的图像区域，从而使得Ａｇｅｎｔ能够更加高效地学习近似最优策略．该文通过选取一些经典的Ａｔａｒｉ２６００战略性游戏作为实验对象来评估新模型的有效性．实验结果表明，与传统的深度强化学习模型相比，新模型在一些战略性任务上具有很好的性能表现和较高的稳定性．关键词深度学习；强化学习；深度强化学习；深度Ｑ学习；循环神经网络；视觉注意力机制；人工智能中图法分类号ＴＰ１８犇犗犐号１０．１１８９７／ＳＰ．Ｊ．１０１６．２０１７．０１３５３犃犇犲犲狆犚犲犮狌狉狉犲狀狋犙犖犲狋狑狅狉犽

4、犅犪狊犲犱狅狀犞犻狊狌犪犾犃狋狋犲狀狋犻狅狀犕犲犮犺犪狀犻狊犿１），２），３）１）１）１），２）ＬＩＵＱｕａｎＺＨＡＩＪｉａｎＷｅｉＺＨＯＮＧＳｈａｎＺＨＡＮＧＺｏｎｇＺｈａｎｇ１）１）ＺＨＯＵＱｉａｎＺＨＡＮＧＰｅｎｇ１）（犛犮犺狅狅犾狅犳犆狅犿狆狌狋犲狉犛犮犻犲狀犮犲犪狀犱犜犲犮犺狀狅犾狅犵狔，犛狅狅犮犺狅狑犝狀犻狏犲狉狊犻狋狔，犛狌狕犺狅狌，犑犻犪狀犵狊狌２１５００６）２）（犆狅犾犾犪犫狅狉犪狋犻狏犲犐狀狀狅狏犪狋犻狅狀犆犲狀狋犲狉狅犳犖狅狏犲犾犛狅犳狋狑犪狉犲犜犲犮犺狀狅犾狅犵狔犪狀犱犐狀犱狌狊狋狉犻犪犾犻狕犪狋犻狅狀，犖犪狀犼犻狀犵２１０

5、０００）３）（犓犲狔犔犪犫狅狉犪狋狅狉狔狅犳犛狔犿犫狅犾犻犮犆狅犿狆狌狋犪狋犻狅狀犪狀犱犓狀狅狑犾犲犱犵犲犈狀犵犻狀犲犲狉犻狀犵狅犳犕犻狀犻狊狋狉狔狅犳犈犱狌犮犪狋犻狅狀，犑犻犾犻狀犝狀犻狏犲狉狊犻狋狔，犆犺犪狀犵犮犺狌狀１３００１２）犃犫狊狋狉犪犮狋ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ，ａｓａｓｕｂｊｅｃｔｏｆｓｔｕｄｙｆｏｒｏｖｅｒｍｏｒｅｔｈａｎｆｉｆｔｙｙｅａｒｓ，ｉｎｖｅｓｔｉｇａｔｅｓｈｏｗａｎａｕｔｏｎｏｍｏｕｓａｇｅｎｔｃａｎｌｅａｒｎｗｈａｔｔｏｄｏｔｏｍａｘｉｍｉｚｅａｎｕｍｅｒｉｃａｌｒｅｗａｒｄｓｉｇｎａｌｆｒｏｍｉｎｔｅ

6、ｒａｃｔｉｏｎｗｉｔｈｔｈｅｗｏｒｌｄｂｙｂａｌａｎｃｉｎｇｅｘｐｌｏｒａｔｉｏｎｏｆｔｈｅｅｎｖｉｒｏｎｍｅｎｔｗｉｔｈｅｘｐｌｏｉｔａｔｉｏｎｏｆｋｎｏｗｌｅｄｇｅｇａｉｎｅｄｖｉａｅｖａｌｕａｔｉｖｅｆｅｅｄｂａｃｋ，ｗｉｔｈｏｕｔｒｅｌｙｉｎｇｏｎｅｘｅｍｐｌａｒｙｓｕｐｅｒｖｉｓｉｏｎｏｆａｎｏｍｎｉｓｃｉｅｎｔｔｅａｃｈｅｒｏｒｃｏｍｐｌｅｔｅｍｏｄｅｌｓｏｆｔｈｅｅｎｖｉｒｏｎｍｅｎｔ．Ｄｅｅｐｌｅａｒｎｉｎｇｉｓａｃｕｔｔｉｎｇｅｄｇｅａｐｐｒｏａｃｈｔｏｍａｃｈｉｎｅｌｅａｒｎｉｎｇｔｈａｔｃｏｎｃｅｒｎｓｗｉｔｈｕｓｉｎｇｍｕｌｔ

7、ｉｌａｙｅｒａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｔｏｌｅａｒｎｔｈｅｃｏｍｐｌｉｃａｔｅｄｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｔｈａｔａｒｅｅｘｐｒｅｓｓｅｄｉｎｔｅｒｍｓｏｆｓｉｍｐｌｅｒｏｎｅｓ．Ｃｕｒｒｅｎｔｌｙ，ＤｅｅｐＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇｆｏｒｍｅｄｂｙｃｏｍｂｉｎｉｎｇｍｏｄｅｒｎｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｗｉｔｈｄｅｅｐｌｅａｒｎｉｎｇｉｓｂｅｃｏｍｉｎｇａｎｅｗｒｅｓｅａｒｃｈｈｏｔｓｐｏｔ收稿日期：２０１６０４１７；在线出版日期：２０１６１２０５．本课题得到国家自然科学基金项目（６

8、１２７２００５，６１３０３１０８，６１３７３０９４，６１４７２２６２，６１５０２３２３，６１５