基于图像高级语义与Attention融合的图像描述方法研究

《基于图像高级语义与Attention融合的图像描述方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、：分类号：单位代码１０１４０密级：学号：公开４０３１５３１８８３．◎ＬＩＡＯＮＩＮＧＵＮＩＶＥＲＳＩＴＹ硕士学位论文ＴＨＥＳＩＳＦＯＲＭＡＳＴＥＲＤＥＧＲＥＥ基于图像高级语义与Ａｔｔｅｎｔｉｏｎ融合论文题目：的图像描述方法研究Ｒｅｓｅａｒｃｈ－ｏｎＩｍａｅＣａｔｉｏｎＭｅｔｈｏｄＢａｓｅｄｏｎＨｉｈｌｅｖｅｌｇｐｇ英文题目：ｍａｅＩＳｅｍａｎｔｉｃａｎｄＡｔｔｅｎｔｉｏｎｇ论文作者：房超指导教师：牛斌教授专业：计算机软件与理论完成时

2、间一八年五月：二〇辽宁大学学位论文原创性声明本人郑重声明：所呈交的学位论文是本人在导师的指导下独立完成的。论文中取得的研究成果除加以标注的内容外，不包含其他个人或集体已经发表或撰写过的研究成果，不包含本人为获得其他学位而使用过的成果。对本文的研究做出重要贡献的个人和集体均己在文中进行了标注，并表示谢意。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：叫ｇ年５月曰＾学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家

3、有关部门或机构送交学位论文的原件、复印件和电子版，允许学位论文被查阅和借阅。本人授权辽宁大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编学位论文。学校须按照授权对学位论文进行管理，不得超越授权对学位论文进行任意处理。保密（），在年后解密适用本授权书。（保密：请在括号‘”｜ｗ内戈Ｊ）授权人签名：指导教师签名ｆ务氣：日期：年Ｓ月：ｗｉｔ日日期年｛月日１＾申请辽宁大学硕士学位论文基于图像高层语义与Attention融合的

4、图像描述方法研究ResearchonImageCaptionMethodBasedonHigh-levelImageSemanticandAttention作者：房超指导教师：牛斌教授专业：计算机软件与理论答辩日期：2018年5月24日二○一八年五月·中国辽宁摘要摘要最近几十年来，计算机技术得到了高速的发展，机器学习等技术理论也在不断地完善，神经网络技术已经在多个领域取得了显著的研究成果，计算机自动生成一副图像的描述是当前计算机研究领域的热点和难点，它的本质是利用计算机检测与识别图像中的物体，并且能够感知图像的场景

5、以及场景中的内容。相对于图像检测与图像中的物体分类，该任务涉及到了计算机视觉与自然语言处理两大领域。计算机进行图像描述的时候不仅仅要关注图像中单个的物体，还要更多地关注图像中各物体之间的相互关系，并且要使用逻辑清晰的语言将其描述出来。本文首先对传统的图像描述算法进行了相关研究，对几种类型的图像描述算法进行了简单介绍。传统的图像描述算法只是将图像进行特征提取处理后送入到语言生成模块进行文本生成，而忽略了图像本身的高级语义。本文提出了融合了图像高级语义的图像描述生成算法，利用VGG网络在ImageNet数据集上训练单标

6、签分类模型，在此基础上使用MSCOCO数据集构建一个字典，并对MSCOCOCAPTION数据集进行数据及训练标签预处理；然后修改模型的最后一层并使用MSCOCOCAPTION数据集进行多标签训练；最后使用BING算法选取候选区域后对该区域进行多标签分类，并使用最大池化抑制噪音以得到更好的效果。其次，对Attention机制进行了分析与研究。传统的Attention只关注图像特征图，而没有充分考虑之前生成的词语，而图像描述有时可能根本不需要根据图像来预测下一个单词时什么，所以提出了改进的Attention机制，通过加

7、入一个权重变量自动学习何时关注已经生成的词语，何时关注图像，以及关注度是多少。然后在Attention层的后面加入一个多模态层，对来自循环神经网络的隐藏状态信息、经Attention层处理后的信息以及图像的高级语义进行多模态处理。最后，使用MSCOCO及Flickr30K数据集进行实验，并与之前研究者的相关算法进行对比。实验表明本文提出的基于图像高层语义与Attention融合的图像描述方法能够有效地提高图像描述文本生成的质量。关键词：卷积神经网络，图像高级语义，Attention，图像特征提取，LSTMIAbst

8、ractABSTRACTInrecentdecades,computertechnologyhasdevelopedatahighspeed,machinelearningandothertechnicaltheorieshavealsobeencontinuouslyimproved.Neuralnetworktechnologyhasachievedre