浅谈基于内容检索的媒体语义特征分析平台

《浅谈基于内容检索的媒体语义特征分析平台》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、浅谈基于内容检索的媒体语义特征分析平台　摘要:以媒体信息服务的应用需求为牵引,研制开发了支持基于内容检索的媒体语义特征分析平台。该平台重点研究数字媒体语义对象的提取与检索、分类与标注和语义关联分析等关键技术,对平台的实施方案及其涉及到的关键技术进行了详细阐述,并对平台进行了具体实现。　　　　关键词:基于内容检索;媒体语义;特征分析;平台　　　　　Mediasemanticfeatureanalysisplatformsupportingcontent-basedretrieval　　　　XIEYu-xiang1,LUANXi-dao1,2,anagement,NationalU

2、niversityofDefenseTechnology,Changsha410073,China;2.Dept.ofInformationputingScience,ChangshaUniversity,Changsha410003,China)　　　　Abstract:Onthedemandofcontent-basedretrieval,thispaperintroducedamediasemanticfeatureanalysisplatformsupportingcontent-basedretrieval.Itinvestigatedsomekeytechniques,s

3、uchasdigitalmediasemanticobjectextractionandretrieval,classificationandannotation,andsemanticassociationanalysis,etc.Italsoillustratedtheimplementationschemeabouttheplatformindetail,andthenrealizedtheplatform.　　Keyediasemantic;featureanalysis;platform　　0引言　　随着信息技术的发展和应用,图像、音频、视频等数字媒体信息呈现出海量增长的趋

4、势。如何根据用户的应用需求,从海量信息中快速找到用户感兴趣的信息,是目前信息领域迫切需要解决的重要问题之一。解决这类问题的基本方法是:根据用户的应用需求从海量数字媒体信息中提取出相应的媒体特征,并对这些特征进行合理有效的组织和管理,进而根据特征实现对用户感兴趣信息的基于内容检索,其中媒体特征的有效提取和组织是实现基于内容检索的关键问题之一。目前媒体特征的提取和组织,研究较多且相对成熟的是对媒体底层特征(如图像的颜色、形状等)的提取和利用。媒体特征提取和组织的新的研究前沿是,关注媒体的高层特征(如事件、人物、时间、地点等语义信息),通过分析提取媒体语义特征,同时通过建立不同类型媒体之间

5、的语义关联,实现相对快速、高效的基于内容的检索。　　目前,国外经典的多媒体信息处理系统包括:美国加州大学圣迭戈分校研究开发的信息透镜Infoscope项目、IBM艾玛登(Almaden)研究中心开发的QBIC系统、美国哥伦比亚大学电子工程系和电信研究中心研究的VisualSEEk与L系统、MIT媒体实验室研究的PhotoBook系统、意大利巴勒莫大学研究的Jacob系统等。这些系统都具备依据媒体底层物理特征进行基于内容检索的能力[1]。近年来,国内外研究机构对于多媒体信息处理技术的研究已经由底层特征向高层语义转变,研究重心开始集中于多媒体语义对象提取与检索、多媒体数据自动分类与标注

6、、关联分析、组织与表现等方面。　　卡内基梅隆大学在数字图书馆项目第二阶段Informedia-Ⅱ[2,3]研究中,将单个视频文件的摘要技术扩展到多个视频文件的摘要及视频数据库信息可视化研究。主要研究能够自动探测和识别特定语义实体和视觉特性的技术,例如:视频中出现的特定人物、特定事件的具体场景镜头等,通过语义实体与视觉特性的分析,能够有效提取并分类信息,更加易于分析和发现有内在联系的个体动作、群组活动与事件。此外,爱尔兰都柏林城市大学开发的Fishclar系统[4]也具有重要的影响力,该系统通过对新闻视频进行镜头探测、故事单元分割等处理,结合闭路字幕信息,实现了对新闻视频的管理和检索等

7、应用。　　国内清华大学、微软亚洲研究院、北京大学、国防科技大学、中国科学院等著名高校和科研院所[5~7]都开展了多媒体语义分析相关研究。其研究范围非常宽广,涉及到卫星云图、医学图像、指纹识别等多个应用领域。　　从2001年起,TREC新增了对视频的评测——VideoTrack。由于视频数据的重要性日益突出,2003年起,视频检索评测正式成为一个独立的系列——TRECVID,用以推动基于内容的视频检索方面的研究。评测任务从早期的镜头分割,逐渐发展到场景类型、