基于决策树哈希的文本和图像跨媒体检索研究

《基于决策树哈希的文本和图像跨媒体检索研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码10530学号201510171787分类号TP391密级公开硕士学位论文基于决策树哈希的文本和图像跨媒体检索研究学位申请人吴海滨指导教师裴廷睿学院名称信息工程学院学科专业信息与通信工程研究方向通信理论与技术二〇一八年六月二日Researchontextandimagecross-mediaretrievalbasedondecisiontreehashCandidateWuHaibinSupervisorPeiTingruiCollegeCollegeofInformationEngineerin

2、gProgramInformationandCommunicationEngineeringDegreeMasterdegreeUniversityXiangtanUniversityDateJune,2nd,2018摘要随着计算机技术、移动互联网和智能化设备的发展，任何场景下的数据都可以被采集、处理和存储，这些数据形式多样，结构各异。怎样在这样的数据中准确而快速的检索出与主题对应的多媒体信息是我们面临的挑战。目前的搜索引擎检索信息的模式存在以下三个方面的缺陷：1）现在的搜索引擎是基于关键字和网页标签来进行

3、检索的，也就是每一个信息源都需要人工标注标签，对于爆发式的海量的数据来说，这样的模式不可持续。2）检索模式和检索内容单一化，即检索主题为关键字，检索到的内容也是基于文本关键字匹配到的结果，不能实现文搜图、图搜文以及音搜图等多样化的跨媒体场景。3）智能化不能满足人的要求，即搜索引擎只能识别关键字，对于大段文字和语句，搜索引擎便不能理解人的语义，因此匹配到的信息往往与人的意思大相径庭。针对以上问题，本文提出一种基于文本和图像的跨媒体检索方法，因为在特征提取中，视频媒体经过场景分割，帧处理等过程最终可以转化成图像

4、，而音频通过语音识别和场景分析等过程后一定程度可以转化为文本，因此基于文本和图像的跨媒体检索是有重大意义的。本文首先介绍了跨媒体检索近年来的发展概况，包括特征提取、单媒体检索方案、跨媒体检索方案和模型。然后介绍本文的模型和主要创新工作——设计了一个跨媒体检索的哈希学习方法，称为基于决策树哈希的跨媒体检索（Cross-MediaRetrievalBasedonDecisionTreeHash，CMDTH），主要内容包括两种基于神经网络的特征提取方法，然后将特征提取的数据用典型相关性降维算法进行维度统一，接下来

5、采用子模算法构建块搜索，最后用基于决策树的哈希函数学习出相应的哈希码。这种先将两个不同的模态数据映射到统一的特征空间然后再转换到哈希空间的方法，保证了不同媒体间的可度量性，可实现图片和文本的互相检索。本文提出的CMDTH跨媒体检索框架解决了以下问题：1）在功能上实现了图像和文本的跨媒体检索；2）采用CCA算法联合降维保留了不同媒体数据间的相关性并有效的解决了异构数据底层特征的“维度灾难”；3）基于决策树哈希的两步量化策略能有效的将共同空间中的特征的主题信息以生成的哈希码保留下来；4）采用类海明距离的哈希内积

6、计算媒体实例间的相关性，有效的降低了检索过程中的时间复杂度。本文采用Wiki、COCO和NUS-wide作为实验数据集，特征提取方法是基于深度学习的开源框架Caffe和自然语言工具NLTK完成的，图像采用Alexnet，I文本采用Skip-gram。后面的CCA（典型相关性分析）降维和决策树算法生成哈希码以及指标的度量是在MATLAB平台上进行的，评价指标采用map（平均精确到）、precision（精确度）、recall（召回率）。通过与目前几种检索方法进行比较，本方法的性能在这三个指标上均优于其它方法，

7、证明了本方法的有效性。关键词：哈希；决策树；深度学习；跨媒体检索；典型相关性分析IIAbstractWiththedevelopmentofcomputertechnology，mobilenetworkandintelligentdevices,datacanbecollected,processedandstoredinanyscene.Thesedataarevariousintypeswithdiversityformofstructure.Howtoaccuratelyandquicklyretr

8、ievethemultimediainformationcorrespondingtothetopicfromsuchdataisachallengetous.Therearethreedefectsinthecurrentretrievalsystem:1.Today’ssearchengineretrievalmodalisbasedonkeywordsandwebpagelabelmatchingtoret