基于镜头及场景上下文的短视频标注方法研究

《基于镜头及场景上下文的短视频标注方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、１的８０中围分类号：ＴＦ３９１．４单位代号：０７密级；１１８２０１：公开学号上洛大掌馨博±学位论文ＳＨＡＮＧＨＡＩＵＮＩＶＥＲＳＩＴＹＤＯＣＴＯＲＡＬＤＩＳＳＥＲＴＡＴＩＯＮ题基于镜头及场景上下文的短视频Ｉ目标注方法研究ＩＩＩｉＬ作著彭太乐学科专业数字雛技术与应用ＩＩＩＩｍ导师张文俊完成日期２０１５年１２月Ｉ，ｍｍｍｍＭ讯跳ｎ：為鑑，’ＳＵＳｌｉＫ节ｊ識：：：ｗ贼驅；！上海大学本论文经答辩委员会全体委员审查，确认符合上

2、海大学博±学位论文扇量要求。答辩委员会签名；？主任？郝疹瞬委员：难＾告為若ｆ拷與导答辩日期：原创性声明本人声明。；所呈交的论文是本人在导师指导下进行的研究工作除了文中特别加Ｗ标注和致谢的地方外，论文中不包含其他人已发表或撰写过的研究成果一工作的其他同志对本研究所做的任何。参与同贡献均己在论文中作了明确的说明并表示了谢意。签名；袭式真三日期；本论文使用授权说明本人完全了解上海大学有关保留，目Ｐ：学、使用学位论文的规定校有权保留论文及送交论文复印件，允许论文被查阅

3、和借阅；学校可＾＾１公布论文的全部或部分内容。（保密的论文在解密后应递守此规定）人厂．：．签名：得师签日期７上海大学工学博士学位论文基于镜头及场景上下文的短视频标注方法研究姓名：彭太乐导师：张文俊学科专业：数字媒体技术与应用上海大学上海电影学院2015年12月IIIADissertationSubmittedtoShanghaiUniversityfortheDegreeofDoctorinEngineeringResearchonShortVideoAnnotationBasedonShotandSce

4、neContextCandidate：PengTaileSupervisor：ZhangWenjunMajor：DigitalMediaTechnologyandApplicationSchoolofFilmandTVArt&Technology,ShanghaiUniversityDecember,2015IV上海大学博士论文摘要随着数字媒体技术、通信技术及网络技术的飞速发展，以视频为代表的数字媒体信息的数量急剧膨胀。短视频是一类内容庞杂的视频数据，如何在海量短视频数据中寻找到有效信息一直是用户关注的问题，由此产生了视

5、频索引、视频检索等相关应用。视频标注就是解决这些应用的核心环节。目前视频标注已成为数字媒体应用和计算机视觉领域中的一个热点研究课题。从语义的角度，视频可以分割成若干种语义单位。不同的语义单位具有不同的语义内涵，在每个语义层次上均可实现语义标注。本文在对视频结构进行深入分析的基础上，对视频片段进行分割，形成不同的语义单位，并在镜头语义层、场景语义层对短视频进行标注。本文的研究成果与创新点主要有：（1）结合视频帧的全局特征和局部特征，提出了一种新的结合视频动态纹理和SIFT特征的镜头边缘检测方法。该方法首先对相邻两帧图像进行

6、均匀分块，在RGB颜色空间下，计算帧中每个图像块的平均梯度。由所有图像块的平均梯度形成视频动态纹理，比较相邻帧图像的动态纹理，并结合相邻帧SIFT特征的匹配情况来判断镜头的变化。该算法对不同类型的视频数据进行镜头边缘检测，均能取得较高的检测准确率。（2）提出一种基于镜头事件的视频语义标注模型。在分析视频结构的基础上，提取镜头中的运动目标和镜头关键帧的背景颜色特征来表达一个镜头的事件，进一步延伸到场景事件的表达，最终由所有事件的集合来作为视频片段的主题。该模型以结合时序上下文的镜头运动对象和环境背景组成的事件组作为标注结果

7、。该标注模型较好地代表了镜头的语义内涵，提高了视频语义表达的准确度。（3）提出一种基于半监督聚类的视频标注新方法。以镜头事件为单位，用事件组来标注视频。为了降低视频标注对已标注样本的依赖，利用半监督学习思想构造半监督K-means聚类算法，优化目标函数，使得最终的聚类结果既体现类间的低耦合及类内的高聚合，又体现类内局部的数据分布密度。该算法实现了诸如视频等多属性异构数据的聚类，提高了视频标注的准确度。I上海大学博士论文（4）提出一种基于上下文的多核学习视频分类新方法。以传统的词袋模型为基础，根据相邻镜头关键帧之间具有相关

8、性的特点提出了一种用于视频场景分类的模型。首先将视频片段进行分割，提取关键帧，对关键帧图像归一化。接着将关键帧图像作为图像块以时序关系合成新图像，提取新图像的SIFT特征及HSV颜色特征，并将图像的SIFT特征及HSV颜色特征数据映射到希尔伯特空间。通过多核学习，选取合适的核函数组对每个图像进行训练，最终得到分类模型