多媒体信息检索模式研究

《多媒体信息检索模式研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、多媒体信息检索模式研究【摘要】现今从众多的多媒休信息中找到所需要的信息，就必须有高效、准确的多媒体检索技术。本文通过对从基丁元数据（文本）的多媒体检索发展到基于内容的多媒体检索•再发展到基于语义和内容相结合的混合多媒体检索，最后发展到跨媒体检索的多媒休检索模式历程的研究，介绍了多媒休检索技术的发展。［关键词］多媒体:信息检索:检索模式中图分类号:TP18文献标识码:A文章编号:1009-8283（2009）03-0101-010引言随着多媒体和网络技术的迅猛发展，每时每刻都会产生大量的多媒体信息。面对庞犬的多媒

2、体信息海洋•如何快速而准确地从这些浩瀚的多媒体信息资源中获得用户需要的信息是一个非常重要的研究课题。多媒体信息检索就是根据用户的要求，对图形、图像、文本、声音、动画等多媒体信息进行检索,得到用户所需的信息。1多媒体信息检索多媒体数据图像、声音、视频等作为一种非结构化数据，每天都呈现在我们的生活当屮，已经成为每个人生活屮的重要部分。近年来，数字图书馆和互联网等信息资源库飞速发展已逐渐成为人们日常生活中信息的重要来源,从中查找自己感兴趣的新闻和资料已经成为人们生活屮不可缺少的部分。多媒体检索技术经历了多年的发展，从

3、其检索模式來看，经历了从基丁•元数据（文本）的多媒体检索发展到基于内容的多輕检索,再发展到基于语义和内容相结合的混合多媒体检索,最后发展到口前正在研究的跨媒体检索。其屮前两者是针对单一类型的媒体对彖的检索，后两者则针对多种类型媒体对彖的综合检索。2基于元数据（文本）的检索模式基丁元数据（文木）的多媒体检索方式将成熟的信息检索技术应用于多媒体信息的检索。文本信息检索技术在过去的几十年中得到了充分的研究•并已成功运用于诸如Google,Baidu等商用搜索引擎屮。基于关键字（元数据）的图像检索,首先是人工对图像用关

4、键字进行注释,然后通过匹配用户查询关键字和图像的注释来搜索相关图像。该方法的优点在于基于关键字匹配的多媒体检索的杳询效率耍远远优于基于内容的检索模式。然而这种方法也存在缺陷:首先随着多媒体信息数据量的增加，人工注释需耍大量劳动力和时间，因此这种方法不适用于大规模的数据集合;其次,由于不同的人对于同样的图像视频有不同的理解，甚至可能出现错误理解。这些理解上的偏差和错误会导致图像注释的不精确性，从而引起检索过程中的错误匹配。3基于内容的多媒体检索模式基于内容的多媒体检索具基本思想來源于基于内容的图片检索。这种技术从

5、图像屮自动提取了底层的视觉特征，比如颜色、纹理、形状等，作为图像的底层视觉特征。在检索中，用户提交一幅“例子图像”给系统作为查询，系统会返冋与此图像在视觉特征上相似的其他图像作为其检索结果，这种技术后来也被运用到基于内容的视频检索。一般来说,基于内容的检索方法的局限性在于，它所用來描述图像或其他多媒体数据的特征是一些底层的视觉/听觉特征，而人们则习惯于在语义层次上衡量检索结果的相关与否。以目前的计算机视觉技术，我们还很难从多竝内容的底层特征屮对应到高层语义,因此基于内容的检索方法的准确性是比较差的。4基于语义和

6、内容结合的混合检索模式混合多业检索模式是一种结合了基于语义和基于内容的检索模式各自优点而提出的一种改进的检索方式。不同于以上两种检索模式，混合检索模式通过对基于语义和基于内容两种检索方式得到的查询结果进行融合分析，使得到的查询结果既能反映语义层次上的相似性，而能体现底层特征上的相似性，从而可以大幅提高检索效率，包括杳全率和杳准率。混合检索模式在视频检索领域也得到了广泛的应用，这是因为原始视频数据包含多种类型的信息，如语义信息可以通过声咅识别或提取字幕信息等方式得到,视觉的底层信息可以通过视频关键帧获得，听觉信息

7、则可通过提取视频中伴随的音频信息获得。实验结果表明混合的垄媒体检索方式确实能大大捉高查询结果的杳全率和杳准率，是一种非常有希望的检索技术。5跨媒体检索模式近年来•随着互联网与多媒体技术的发展•多媒体数据呈现爆炸性增长的趋势.多种杲构的多媒体数据（如图像、视频、文档等）在Web、数字图书馆以及其他的多媒体应用屮大量涌现，它们彼此存在相似的语义表达。但是，几乎所冇现冇的检索系统或方法都只是针对某种特定媒体对象的检索比如图像搜索工具，它们在上述这些应用屮的局限性很大;一•方面，它们局限于某种单一类型的媒体(如单纯的图

8、像检索方法);另一方面，它们仅依赖多軽数据的某种特定的特征(如关键字的TF*IDF或图像的颜色直方图、小波纹理特征，等)，因此难以捉供在语义层而上相关的杳询结果。现有的基于单一类型媒体对象的检索技术无法满足大量应用中人们对多媒休信息查询的新霊要。所谓“跨媒体”主要体现在三个方面:⑴这种检索机制能够“兼容"属于各种不同模态类型的多媒体数据上匕如文本、图像、视频等;(2)它能够表达并利用多