基于潜在主题融合的跨媒体图像语义标注.pdf

《基于潜在主题融合的跨媒体图像语义标注.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第5期电子学报V01．42No．52014年5月ACTAELECIR0NICASINICAM．dv2014基f潜在主题融合的跨媒体图像语义标注刘杰一，杜军平(1．北京邮电大学计算机学院，北京100876；2．中国电子科技集团公司第三十研究所，四川成都610041)摘要：图像语义标注是图像语义分析研究中的一个重要问题．在主题模型的基础上，本文提出一种新颖的跨媒体图像标注方法来进行像间语义的传播．首先，对训练图像使用主题模型，抽取视觉模态和文本模态信息的潜在语义主题．然后，通过使用一·个权重参数来融合两种模态信息的主题分布，从而学习到一种融合主题分布．最后，在融合主题分布的基础上训练·个标注模型

2、来给目标图像赋予合适的语义信息．在标准的MSRC和CorelSK数据集上将提出的方法与最近著名的标方法进行比较实验．标注性能的详细评价结果表明提出方法的有效性．关键词：图像语义标注；跨媒体；主题模型；加权融合中图分类号：TP37；TP391．4文献标识码：A文章编号：0372—2112(2014)05—0987—05电子学报URL：http：／／www．ejourna1．org．cnDOI：10．3969／j．issn．0372-2112．2014．05．1324LatentTopicFusion--BasedCross--MediaImageSemanticAnnotationLIUjie

3、1,2,DUJun—ping(1．SchoolofComputer，Be~ingUniversityofPostsandTelecommunications，Beijing100876，China；2．No．30h~stituteofChinaElectronicsTechnologyGroupCorporation，Chengdu，Sichuan610041，China)Abstract：Imagesemanticannotationisallimportantissueinimagesemanticanalysisresearch．Basedonthetopicmodel，thispap

4、erproposesanovelcross-mediaimageannotationapproachforpropagatingthesemanticsamongimages．First，thetopicmodelisusedtocapturethelatentsemantictopicsfromthevisualandtextualmodalinformationinthetrainingimages．Then，afusedtopicdistributionislearnedbymergingthetopicdislribufionofeachmodalityusingaweightpar

5、ameter．Finally，anannotationmodelbasedonthefusedtopicdistributionistrainedtoassignthetargetimagesusingappropriatesemantics．Acomparisonoftheproposedapproachwiththerecentstate-of-the-artannotationapproachesonthestandardMSRCandCorel5Kdatasetsispresented，andadetailedevaluationoftheperfonnanceshowstheval

6、idityofourapproach．Keywords：imagesemanticannotation；crossmedia；topicmodel；topic—weightedfusiontinuous．spacerelevancemodel，CRM)．后来，出现了著名的1引言多伯努利相关模型(MultipleBernoullirelevallcemodel，在图像语义分析研究中图像语义标注是一种重要MBRM)_5J．近期，又出现了结合空间马尔科夫核的统一的手段．其中，一个关键的问题1J是通过建立视觉特征相关模型(GeneralizedrelevancemodelwithspatialMar

7、kov和语义关键词的某种关联关系来决定图像属于某个语kernel，GRM．SMK)E6]．以上工作逐步提高了图像语义标义概念．因此，一个有效的语义标注模型，应该将目标语注的性能．义空间与图像特征空间关联起来，在训练和测试数据之主题模型是从文档语义分析中衍生出来的一种流间有效地传播语义信息，帮助跨越“语义鸿沟”l2j．行的机器学习技术_7J，并被广泛的用于图像标注领基于相关模型的方法_3J是目前图像语义标注领域