基于时空上下文视频人物关系挖掘

《基于时空上下文视频人物关系挖掘》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、国内图书分类号：TP391.41学校代码：10213国际图书分类号：681.39密级：公开工学硕士学位论文基于时空上下文的视频人物关系挖掘硕士研究生：原琨导师：姚鸿勋教授申请学位级别：工学硕士学科、专业：计算机科学与技术所在单位：计算机科学与技术学院答辩时间：2010年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP391.41U.D.C.:681.39DissertationfortheMasterDegreeinEngineeringACTORCORRELATIONMININGINVIDEOSBASEDONSPATIOTEMPORALCONTEXTC

2、andidate:YuanKunSupervisor:Prof.YaoHongxunAcademicDegreeAppliedfor:MasterofEngineeringSpecialty:ComputerScienceandTechnologyAffiliation:SchoolofComputerScienceandTechnologyDateofDefence:June,2010Degree-Conferring-Institution:HarbinInstituteofTechnology哈尔滨工业大学工学硕士学位论文摘要随着信息技术的发展，越来越多的图像和视频出

3、现在人们的生活中和互联网上。如何有效的管理和组织这些多媒体数据成为一个亟待解决的问题。对多媒体内容进行分析与理解，进而对多媒体数据进行基于内容的分类，为有效的管理和组织这些数据提供了新途径。在大量的视频中，人物关系是帮助用户理解视频故事情节的重要线索。尤其是在连续剧和电影这种故事性强的视频中，人物关系包含能够揭示关于视频故事内容的更高层的语义信息。在过去的研究中，基于人物的视频分析主要集中在主要演员列表、人物索引、会议视频分析等几个方面。但是，这些研究只是停留在把每个人物看做独立个体，忽略了他们之间客观存在的社会联系的层面上。随着用户需求的不断提高，用户关心的不仅仅是关于某

4、个特定人物的视频内容，还包括能够有效地反应视频中故事情节发展的人物关系网络。挖掘视频中人物共生关系目的是根据视频内容，把人物作为研究中心，通过视频分析技术来获得视频中的高层语义信息。本文通过建立视频人物关系的分析模型，量化人物关系矩阵并提出通用的局部人物关系描述子，为视频分析和视频检索提供了一种新颖而有效的方法。本文主要研究工作如下：首先，提出一种基于时序上下文的人物关系挖掘的方法。通过对视频数据进行预处理，包括进行视频镜头和场景的切分、人物特征提取和索引，建立了人物关系分析的基础。进一步的，采用一种基于上下文高斯加权的方法来计算人物在每个视频镜头上的共生关系，同时考虑到空

5、间位置对视频人物关系的贡献，融合时空上下文来建立人物关系模型。其次，以基于时空上下文人物关系的挖掘方法为基础，本文提出了基于人物共生性语义的人物关系表达方法，通过对视频进行语义的局部区域划分，自动确定每个描述子的时序数据描述范围，并结合本文已经提出的挖掘方法构成局部人物关系描述子。最后，本章将基于上下文的人物关系挖掘方法和局部人物关系描述子应用-I-哈尔滨工业大学工学硕士学位论文到连续剧的视频分析和索引中。在实验中，本文使用了20小时的视频(电视剧“Friends”)作为数据，结合视频层次结构修正的方法构成全局人物关系网络，利用倒排索引建立基于人物关系的语义索引结构。实验结

6、果表明，本文提出的方法能够准确地计算和量化人物共生关系，提取出的局部人物关系描述子能够有效表达视频中的人物关系语义。关键词：视频索引；人物关系；时空上下文；基于内容的视频分析-II-哈尔滨工业大学工学硕士学位论文AbstractWiththedevelopmentofinformationtechnology,moreandmoreimagesandvideosappearinourlivesandtheInternet.Itisachallengingproblemhowtoeffectivelymanageandstorethem.Analysisandclassifi

7、cationofthemultimediadatabasedontheircontentssupplyapromisingapproachforsolvingthisproblem.Inmostvideos,actorcorrelationsareessentialcuestohelpaudiencesinunderstandingvideoscenario.ThisissueisespeciallyforfilmsandTVseries,inwhichactorcorrelationscanalwaysinclu