基于遗忘记忆网络的视频问答研究

《基于遗忘记忆网络的视频问答研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于遗忘记忆网络的视频问答研究VideoQuestionAnsweringBasedonaForgetMemoryNetwork学科专业：模式识别与智能系统作者姓名：葛园园指导教师：韩亚洪教授天津大学计算机科学与技术学院二〇一七年十二月独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研宄工作和取得的研宂成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人己经发表或撰写过的研宂成果，也不包含为获得天津大学或其他教育机构的学位或证书而使用过的材料一。与我同工作的同志对本研宂所做的任何贡献均己在论文中作了明确的说明并表示了谢意。学位论文作者签名

2、签字曰期：年月曰ｇ州／２Ｆ学位论文版权使用授权书本学位论文作者完全了解天津大学有关保留。、使用学位论文的规定特授权天津大学可以将学位论文的全部或部分内容编入有关数据库进行检索，。并采用影印、缩印或扫描等复制手段保存、汇编以供査阅和借阅同意学校向国家有关部门或机构送交论文的复印件和磁盘。（保密的学位论文在解密后适用本授权说明）学位论文作者签名：导师签名：綱ｘ月曰签字曰期ｆ签字曰期：年么：＞＾丨７年月￥曰／ｇ摘要摘要近年来，随着深度学习技术的深入研究，计算机视觉和自然语言处理领域取得了非常大的进展。在计算机视觉方面，图像分类、物体检测、动作

3、识别、视频分类等领域在一些公开的数据集上取得了很好的性能；在自然语言处理方面，文本分类、语言模型、语音识别、机器翻译等领域也取得了不错的进展。人工智能时代的真正到来需要机器具有认知能力，具有认知能力的机器不仅仅是单一地在计算机视觉或者自然语言处理领域做到极致，它必须将二者结合起来，使得机器不但能够很好的识别图片或视频中的视觉内容，同时还要具备识别自然语言的能力。近年来，视频问答引起了人们的广泛关注，它将计算机视觉和自然语言处理联系到一起，能够根据视频的视觉内容来回答相关的问题。由于视频数据的复杂性，视频问答的相关研究还比较少，与图像问答相比，视频问答更加具有挑战性。视频问答需要

4、探索一系列的视频帧来回答问题，而且一个视频帧中的大部分区域是与问题不相关的，这部分区域特征相当于是噪声，如何从视频帧中找到与问题相关的区域，对不相关的区域特征进行过滤，同时将视频特征与文本特征进行融合，探索视频的时序信息等都是需要解决的问题。针对这些问题，本文提出了遗忘记忆网络来解决视频问答任务。对于从视频中截取的视频帧序列，本文使用卷积神经网络来提取视频帧特征，然后使用遗忘记忆网络根据视频的相关问题，对视频帧特征进行过滤，选择出与问题相关的区域特征，遗忘掉不相关的区域特征。对于含有相关文本描述的视频片段，分别使用遗忘记忆网络对视频和文本特征进行保留和遗忘，然后再将二者进行融合

5、，再根据融合的视频文本特征来解决视频问答。本文还在遗忘记忆网络的基础上进行了改进，在使用遗忘记忆网络得到视频或视频文本融合特征后，将它们按照视频帧的时间序列输入到一个门控循环单元中，使用最后一个时刻的输出来表示视频特征，进一步来探索视频帧的时序动态信息。本文提出的方法在MovieQA和TACoS数据集上取得了很好的效果。关键词：图像问答，视频问答，卷积神经网络，遗忘记忆网络IABSTRACTABSTRACTInrecentyears,withthein-depthstudyofdeeplearningtechniques,computervisionandnaturallang

6、uageprocessingareashavemadegreatprogress.Incomputervisionarea,imageclassification,objectdetection,actionrecognitionandvideoclassificationhavegotgoodperformanceinsomeopenrelevantdatasets.Innaturallanguageprocessingarea,textclassification,languagemodel,speechrecognitionandmachinetranslationalsoha

7、veachievedgoodperformance.Andtheyhavebeenputintouse.Theadventoftheageofartificialintelligenceneedsthemachinehavethecognitiveability.Themachinewhichhasthecognitiveabilitynotonlyhastohavegoodvisualrecognitionability,butalsotheyhavetorecognizesomenatur