基于多模态特征融合的新闻故事单元分割

《基于多模态特征融合的新闻故事单元分割》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第38卷第24期计算机工程2012年12月Vol.38No.24ComputerEngineeringDecember2012·人工智能及识别技术·文章编号：1000—3428(2012)24—0161—05文献标识码：A中图分类号：TP391基于多模态特征融合的新闻故事单元分割11,21刘嘉琦，封化民，闫建鹏(1.西安电子科技大学通信工程学院，西安710071；2.北京电子科技学院，北京100070)摘要：对新闻视频进行结构分析，提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流，选

2、择静音区间为音频候选点，将镜头边界切变点作为视频候选点，做主持人镜头和主题字幕的探测，挑选主持人镜头为候选区间，并记录主题字幕的起始位置和结束位置，利用时间轴融合音频候选点、视频候选点、主持人镜头和主题字幕，对新闻视频进行故事单元分割。实验结果表明，该方法的查全率为83.18%，查准率为83.92%。关键词：新闻视频；多模态特征；字幕；音频；故事单元分割NewsStoryUnitSegmentationBasedonMulti-modalFeatureFusion11,21LIUJia-qi,FENGHua-min

3、,YANJian-peng(1.SchoolofTelecommunicationEngineering,XidianUniversity,Xi’an710071,China;2.BeijingElectronicScienceandTechnologyInstitution,Beijing100070,China)【Abstract】Newsstoryunitsegmentationmethodbasedonmulti-modalfeaturefusionisproposedinthispaperbyanalyz

4、ingnewsvideostructure.Newsvideoisdividedintoaudiostreamandvideostream.Muteintervalsaredetectedasaudiocandidatepoints,andtheshotsegmentationsfornewsvideoaredetectedandshotboundarypointsarechosenasvideocandidatepoints,anchorpersonshotandtopiccaptionaredetected.S

5、toryunitsaredetectedbyfusingaudiocandidatepoints,videocandidatepoints,anchorpersonshotandtopiccaptionbasedontimeaxis.Experimentalresultsshowthatthismethodcanget83.18%inrecalland83.92%inprecision.【Keywords】newsvideo;multi-modalfeature;caption;audio;storyunitseg

6、mentationDOI:10.3969/j.issn.1000-3428.2012.24.038事单元能够表达同一主题，这样更便于人们的理解。故事1概述近年来随着数据压缩、通信、存储技术的飞速发展，单元反映的是视频流的高层语义，更符合人们的思维方以及计算机性能的不断提高和网络的广泛普及，多媒体视式，是建立视频索引的最佳层次。因此，基于内容的故事频的应用得到了极大的发展。尤其是新闻视频已成为人们单元层的正确分割是视频内容结构分析的主要工作，对建获取新闻信息的重要信息来源。面对如此海量的信息，如立视频数据库系统，实现

7、视频分类和基于内容的检索具有[3]何快速有效地查询到人们所需要的新闻信息成为多媒体重要意义。技术的研究热点。视频摘要和视频检索是解决这些问题的对于新闻故事单元分割，文献[4]提出一种基于主持人主要方法，而其中一个重要的基础工作就是视频结构分识别的新闻故事单元分割方法，该方法针对一个主持人镜割。视频是一种非结构化的媒体，视频结构分割是数字视头对应一个新闻故事单元的新闻视频可以取得较好的效频内容管理的前提环节。视频结构分割的目的是将视频分果，但是对于一个主持人播报2条或2条以上新闻故事的解为一系列有意义可管理的片段，作

8、为进一步分析和处理情况，该方法容易造成新闻故事单元分割的漏检。文献[5]的基本元素。通常按照视频内容粒度可以把视频分为2层使用支持向量机对新闻节目中音频进行分割和分类，将音[1]基本单元：镜头层和故事单元层。镜头是指由一个摄像频流分为语音、音乐、静音。这种基于音频信息的方法从机镜头连续拍摄的一组内在相关的连续帧，它用来表现在音频的角度进行故事单元分割，虽然对