基于深度学习与中心相关性度量算法的跨媒体检索方法研究

《基于深度学习与中心相关性度量算法的跨媒体检索方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：10385分类号：研究生学号：1300416008密级：基于深度学习与中心相关性度量算法的跨媒体检索方法研究ACross-ModalMultimediaRetrievalMethodResearchBasedonDeepLearningandCenteredCorrelation作者姓名：邹辉指导教师：杜吉祥教授合作教师：学科：控制科学与工程研究方向：模式识别、跨媒体检索所在学院：计算机科学与技术学院论文提交日期：二〇一六年五月三十一日摘要摘要在互联网中，多种不同模态信息（如文本、声音、视频和图像等）被用于表达

2、同样的一个语义概念，其数量日益剧增，而如何挖掘不同模态信息间的关联性是跨媒体研究面临的一个巨大挑战。本文以图像与文本为研究对象，对图像与文本的特征提取、深度学习、一致性表达空间学习以及跨媒体信息间的相似度度量方法等方面的内容进行了较为深入和全面的研究，提出一种基于深度学习与一致性表示空间学习的方法来实现跨媒体信息检索，并采用中心相关性算法来提高跨媒体检索准确率。本文工作包括：（1）分析浅层学习与深度学习的差异及深度学习的优势；探讨了文本特征表达方法，包括词向量、词袋模型和潜在狄利克雷分布模型等；探讨了图像特征提取方法，包

3、括颜色直方图、视觉词袋模型、纹理特征、SIFT局部特征以及深度学习特征等。根据特征表达的内容，分析了各种表达方法适用场景及深度学习特征在海量的高维数据表达中的优势。（2）提出将深度学习的思想用于跨媒体检索中，用经调整过的CNNs来学习图像的深度特征、用LDA模型来获取文档主题概率分布，设计一种结合深度神经网络与一致性表达空间学习的跨形态信息间相互检索的框架，借助一个语义概率模型将两个高度异构的特征空间映射到一个一致性表示空间，在此空间中计算图像与文本的关联度，实现图像与文本间的相互检索。（3）针对跨媒体信息的特点，提出用

4、中心相关性算法来计算不同模态信息间的相似性，进一步提高跨媒体检索结果的准确率。图像与文本有着完全不一样的自然形态与表示方法，在一致性表达空间中进行相似度度量时候，应该考虑两者的量纲差异问题，同时两类特征向量的相似度也跟其方向有关系，因此本文采用去中心化的方法来消除量纲差异带来的影响，计算中心化后的图像与文本特征间的向量相似度（即中心相关性）也考虑了两者的方向差异问题。关键词：跨媒体检索深度学习卷积神经网络一致性表示空间中心相关性I华侨大学硕士学位论文AbstractAnincreasingnumberofdifferen

5、tmultimediainformation,includingtext,voices,videosandimages,areusedtodescribethesamesemanticconcepttogetherontheInternet.Thispaperpresentsamoreefficientmethodtocross-modalmultimediaretrieval.Thispapertakesimagesandtextsasresearchobjectandrecommendsfeatureextracti

6、on,deeplearning,sharedpresentationspaceandthemethodofsimilardegreealgorithmbetweencross-mediainformation.Thenputforwardadeeplearningandsharedrepresentationspacelearningbasedapproachtocross-modalmultimediaretrieval.Atlast,weadoptcenteredcorrelationtomeasurethedist

7、ancebetweenimagesandtextstoimprovetheaverageretrievalaccuracy.Theworkofthispapercanbedividedintothreeparts:(1)Weanalysisthedifferencesbetweenshallowlearninganddeeplearningandtheadvantageofdeeplearning;weanalysisrepresentationmethodsoffeaturesoftext,includingwordv

8、ector,thebagofwordmodelandLatent.DirichletAllocation(LDA)model,etc;wesummarizethemethodsoffeatureextractionofimage,includingcolorhistogram,bagofvisualword,text