资源描述：
《基于流形特征镜头边界检测后处理算法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、基于流形特征的镜头边界检测后处理算法镜头是视频分析和检索的基础,为了有效检测镜头边界,并对镜头边界进行分类,提出一种新的镜头边界描述子:镜头边界流形?视频流可以看做一个高维空间,镜头边界流形是隐含在该空间中的局部结构,它能够有效区分镜头边界和非镜头边界,以及区分不同类型的镜头边界?采用这种特征,提出一种后处理算法,一方面去除预检测镜头边界的虚警,另一方面将真正的镜头边界分类?实验结果证实了镜头边界流行的有效性以及后处理算法的优异性能?关键词?镜头边界检测;镜头边界检测后处理;镜头边界分类;拉普拉斯特征映射中图法分类号?TP181;TP37??随着多媒体技术的发展,对海量的视频数据进
2、行索引和检索已成为一个重要的研究课题?视频通常是无结构的流,为了方便对视频内容进行分析处理,Rui等人[1]提出将视频流按内容进行层次划分,从高层到低层分别为视频(video)、场景(scene)、镜头组(group)、镜头(shot)和关键帧(keyframe)?镜头是指摄像机从打开到关闭的过程中记录下来的一组连续的帧图像,它是组成视频的基本物理单位,视频索引和检索就建立在镜头边界检测的基础上?由于视频后期剪辑制作不同,镜头边界大致分为两类:切变(cut)和渐变(gradual)?渐变镜头边界又分很多种,主要包括淡入淡出(fadein?out)、溶解(dissolve)和擦变(w
3、ipe)?镜头边界的类型能提供更多高层语义,比如,一段排球比赛中,直播镜头与回放镜头之间的切换常常使用擦变?检索回放镜头时可以在擦变镜头中寻找,大大缩小了检索范围?因此,镜头边界分类对于视频分析与检索有重要价值?文献[2?3]对多种镜头边界检测算法进行了比较?以往检测算法的要点包括两个方面:一是特征(feature)及度量(metric);二是针对度量的决策算法?特征用来刻画视频流中每一帧的视觉内容特性,可以是颜色[4]、边缘[5]或者压缩域上的参数[6];度量用来刻画视频流中帧与帧之间的特征变化,文献[7]对多种度量进行介绍并比较了它们的性能?决策算法的任务则是根据度量采取一定策
4、略和算法检测出镜头边界?在现有的镜头边界检测算法中,采用的特征有像素值(灰度值或颜色值)、直方图以及MPEG压缩域上的参数?衡量帧间差异最简单的度量方法是计算两帧基于像素点的距离,但该方法对运动敏感,容易造成误检?直方图描述的是图像的全局信息,一定程度上可以减小运动对检测的影响?由于目前多数视频采用MPEG压缩标准,直接在压缩域上提取特征可以提高检测速度,常用的压缩域特征包括DC图[8]、运动向量、预测宏块数、宏块的类型信息[6]等?现有的针对度量的决策算法包括全局阈值法、自适应阈值法、双阈值比较法[9]、基于统计的决策算法?全局阈值法对整段视频序列采用一个全局阈值,这种方法最简单
5、直接,但鲁棒性差,对于不同类型的视频片段或同类型视频的不同时间片段需要设置不同的阈值?自适应阈值法利用一个滑动窗口,统计该窗口内视频的局部特性,根据统计特性设定动态阈值?以上两种方法适用于检测突变镜头,不能对渐变镜头进行准确定位?文献[9]提出的双阈值比较法能够检测出渐变镜头的起始和终止位置,但不能区分缓变镜头边界的具体类型?本文把视频看做图像在时间轴上展开的一个高维空间,空间中的各点在时间轴上是局部相关的?镜头发生切换时,高维空间的点呈现特有分布,这种相关性分布可以看做一个低维的流形嵌入在高维空间中?我们采用流形学习的方法[10]把它提取出来刻画不同类型的镜头边界,以这种特征为基
6、础,提出一种基于学习的镜头边界检测后处理方法?1?镜头边界类型分析镜头边界的编辑效果有很多种,主要包括切变和渐变,渐变镜头边界又可以分为溶解、淡入淡出和擦变?以下给出它们的数学模型?公式中,S?(x,y,t)表示镜头发生切换时镜头边界的各帧,?表示镜头边界的类型,S1(x,y,t)和S2(x,y,t)分别表示切换前的镜头和切换后的镜头?1)切变:两_L___謃个镜头直接拼接在一起,对于边界处两帧,所有像素值发生突然变化?Scut(x,y,t)=S1(x,y,t),t!t1,S2(x,y,t),t>t1???2)溶解:镜头S1逐渐变弱,镜头S2逐渐变强,两个镜头交叠在一起直至变换结束
7、?Sdissolve(x,y,t)=S1(x,y)(t-t1T)+S2(x,y)(t2-tT),式中,t1和t2分别表示溶解变换开始和结束的时间,T表示镜头变换持续的时间?3)淡入淡出:淡入是镜头从无到有的过程,淡出反之?Sfadein(x,y,t)=S(x,y)(t-t1T),Sfadeout(x,y,t)=S(x,y)(t2-tT),式中,t1表示淡入开始的时间,t2表示淡出结束的时间,T表示淡入淡出持续的时间?4)擦变:镜头S2按某个方向将镜头S1逐渐擦除?处于
