故事视频的语义分析与提取

《故事视频的语义分析与提取》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、北京邮电大学博士学位论文故事视频的语义分析与提取姓名：赵志诚申请学位级别：博士专业：通信与信息系统指导教师：蔡安妮20080729北京邮电大学博士论文提取算法。基于对象的语义提取是视频分析中的一个难点，对象的有效提取能够明显提高语义概念检测的准确性。对象的提取面临颜色的量化、图像的分割、语义对象的确定等诸多困难。针对这些问题，本文首先提出一个颜色的矢量量化算法完成彩色图像的量化；其次综合考虑图像的颜色和空间分布特性，提出一种基于图模型和区域组合的方法来分割图像；随后建立一个视觉注意模型来确定图像的视觉注意中心和转移顺序；接着在Gestalt准则下融合颜色、纹理以及边界特征来

2、描述图像的同质特性；最后根据注意中心的转移顺序来提取图像的多个视觉显著对象。实验表明，在Corel图像库和TREC等视频上提取的显著对象获得了较高的主观评价。在视频摘要方面，提出了一个基于电影结构模型和感知线索的分层视频摘要产生框架，以及一套完整的模型算法。现有的视频摘要算法主要针对新闻、体育等非故事性结构而且时长较短的视频类型，不适用于全长度的电影。为此，首先提出一个故事结构模型珈模型，将电影分解成幕、情节和场景三个层次，同时给出了场景的分割与分类算法；随后，构造一个基于情感刺激量的场景“重要性”函数来计算每个场景、情节、幕的重要性，以此来分配提取的关键帧和缩略的数目和长

3、度；此外建立一个注意力模型来将重要的电影元素量化并融合成一条注意力曲线；最后将电影结构模型、情感模型和注意力模型有机地融合起来，提出了一个多层次的视频摘要框架，分别产生静态关键帧和动态视频缩略。七部好莱坞影片验证了框架的有效性和通用性，实验结果在信息量和愉悦度上都优于代表性的Ma提出的算法。在视频语义的提取方面，提出了一个基于社会网络分析(SNA)和电影本体(0ntology)的影片内容理解框架和一套语义提取算法。目前语义的研究主要集中在新闻、体育、医学等场景较为简单的视频类型，电影的自动理解则缺乏系统的研究。电影远比新闻等复杂，传统的语义分析方法难以缩小影片的语义鸿沟。本

4、文从一个全新的视角提出通过SNA和建立电影本体来分析影片的故事内容。将电影看成一个特殊的社会网络，利用SNA来确定角色的社区结构和角色间的关系，并结合电影结构模型分析出故事的发展线索；其次，构造了一个电影本体，根据本体建立起角色的身份、职业以及政府各机构之间的联系；第三，提出一个分层的基于时间线索的高层动作事件检测方法，以及一个基于语义图的对话事件的摘要算法完成影片的语义分析。两部好莱坞电影验证了提出框架的可行性，其结果基本上满足语义视频检索的需求。关键词：语义提取结构分析视频摘要视频检索语义对象注意力模型北京邮电大学博士论文EXTRACTIONOFSEML气NTICSIN

5、FILMSABSTRACTWiththetecllIlologydeVelopmentofcomputer’i11temet，telecommunication，锄dcompfessionofVide0andaudio，di百talVideoiss仃eamingintothecommonlife．However'sincethediVersityofVideocontentandthehi曲-dimensionallyspatiotemporalstmCtureofVideodata，itbecomescmcialfore确cient0玛anization，manageme

6、nt，storing，rapidfetrieValandbrowsingofVideodata，whilethetraditionaldatamanagementaIldretrieValmethodbecomeunsucCessful．Asaresult，thecontent-basedVideoretrieVal(cBVR)emerges．Recently，CBVRhasmadegreatachieVementsinmanyaspects，sotheextractionofsemanticinf0肌ationhasbecometheresearchfbcus卸dseVe

7、ralprototypesystemsbasedonsemanticVideoretrievalappear．HoweVer，sincesomeimportantproblemsremainunresolvedinsuchfieldastheextractionofsemanticobject，theunderstandingOfvideocontent，etc．，la略e—scaleapplicationshaVenotcometme．Asaresult，inthisp印er，wepfoposesOmenewfr