镜头内容分析及其在视频检索中的应用

《镜头内容分析及其在视频检索中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、1000-9825/2002/13(04)0000-00©2002JournalofSoftware软件学报Vol.13,No.4镜头内容分析及其在视频检索中的应用Ã1211林通,张宏江,封举富,石青云1(北京大学视觉与听觉信息处理国家重点实验室,北京100871);2(微软中国研究院,北京100080)E-mail:jos@iscas.ac.cn;jos@admin.iscas.ac.cnhttp://www.jos.org.cn摘要:本文提出了一种新的镜头内容分析方法,及其在视频检索中的两个应用:镜头检索与场景结构提取.为了刻画一个镜头的内容变化,首先引入两个新的内容描述

2、子:主色直方图和空间结构直方图.主色直方图能够捕捉那些持续时间最长的颜色,而这些颜色是这段视频所关注的对象或背景的主要颜色.从颜色块图提取的空间结构直方图是描述图像空间信息的一组特征.一个变化较大的镜头可以划分为几个内容一致的子镜头,两个镜头的相似性可以从对应子镜头的相似性计算得到.镜头相似性度量可以直接用于镜头检索,还可用于场景结构提取.本文提出分裂与合并力量竞争的场景结构提取方法.在大容量视频数据库上所进行的实验证实了本文方法在镜头检索和场景提取的优异表现.关键词:基于内容的视频检索;镜头内容分析;镜头相似性度量;场景结构提取1引言随着在多媒体数据制造,存储,与传播方面取

3、得的重大技术进步,数字视频已经成为人们的日常生活中不可或缺的一部分.数字视频也是数字图书馆计划中的核心内容.如何管理和检索海量的视频数据已经成为近十年来全球学术界和工业界一个富有挑战性的热门话题之一.因此,基于内容的视频检索(CBVR,Content-basedVideoRetrieval)方面的研究和被称为多媒体内容描述接口的国际标准MPEG-7的制定也就引起了人们广泛的关注.通常一段视频数据可以划分为几个场景(也叫做故事单元),每个场景又包含一个到多个镜头.一个镜头是指一系列连续纪录的图像帧,用于表示一个时间段或相同地点连续的动作.镜头由摄像机一次摄像的开始和结束所决定.

4、一个视频场景结构指一连串语义相关的镜头,它们一般发生在相同的时间和地点,出现相同的人物或事件.所以视频数据可以按照由粗到细的顺序划分为四个层次结构:视频(video),场景(Scene),镜头(Shot),和图像帧(Frame).目前大多数研究主要集中于镜头边界检测和关键帧选取,对镜头的内容分析才刚刚开始.镜头是视频的自然结构单元,镜头内容分析将是基于内容的视频检索的核心技术之一.在当前文献中,视频镜头通常用几个关键帧来表示[1],颜色,纹理,和形状等低级特征直接从关键帧提取出来用于索引与检索.一般采用聚类算法进行关键帧选取,也可以根据不同的镜头类型进行关键帧构造.比如,一个

5、变焦(zoom)镜头可以简单表示为变焦之前和之后的两个关键帧[2],一个扫描(pan)镜头可以通过构造一个全景图(panoramic)来表示[3].最近,文献[4]提出一种基于最近特征线(NFL,nearestfeatureline)的端点检测算法用于选取关键帧.由于计算方面的Ã收稿日期:2001-01-08;修改日期:2001-05-09基金项目:作者简介:林通(1974－),男,四川南充人,博士生,主要研究领域为视频处理;张宏江(1960－),男,河南郑州人,博士,研究员,主要研究领域为多媒体技术;封举富(1967－),男,湖南长沙人,博士,副教授,主要研究领域为模式识别

6、;石青云(1936－),女,四川合川人,中科院院士,教授,博士生导师,主要研究领域为模式识别,生物度量学.2JournalofSoftware软件学报2002,13(4)考虑,视频检索方面的技术通常类似于图像检索.但是,上述基于关键帧的镜头表示方法最大的问题是,不能对存在于视频中的时间信息进行充分利用.场景结构提取方面的工作包括文献[2][5][6][7][8][10].文献[5]通过匹配关键帧图像块计算镜头相似度,然后分三种情况检测场景边界:(1)当前镜头与后面的某个镜头相似;(2)当前镜头与前面的镜头相似;(3)当前镜头与其它镜头都不相似,但是它前面的镜头与它后面的镜头相

7、似.文献[6]通过比较关键帧的累积颜色直方图而计算镜头相似度.文献[7]比较两个镜头关键帧的颜色直方图和累积的活动量,然后构造一个中间结构叫镜头组(group),再把那些相似的但不相邻的镜头组合并为一个场景.文献[8]对两个镜头中的所有图像帧两两比较,然后计算镜头前后相似度的大小以确定场景边界.本文提出一种新的镜头内容分析方法.首先,一个镜头内的内容变化被分解为几个内容一致的子单元,称为子镜头(subshot).要描述那些视觉内容有重大变化的镜头,比如一个镜头从室内转移到窗外,子镜头是必不可少的.文献[