基于内容的视频情感提取算法研究

《基于内容的视频情感提取算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、山东建筑大学硕士学位论文摘要随着通信技术、宽带网络技术、音视频压缩技术以及计算机技术的发展，数字视频也越来越广泛地融入于人们的生活空间中。多媒体人机交互界面(HCI)中的图像／视频不仅携带了大量的图像信息，还携带了大量的情感信息。如何在图像／视频检索系统中引进情感计算技术，使计算机能够识别图像／视频中的情感信息，并利用这些情感信息进行视频的检索，已成为目前人们倍加关注的课题。本文主要针对故事片这类视频，根据其拍摄的风格和特点，对其情感提取算法进行了研究，分别从音频和视频两方面提取出某些片段的情感特征，并根据这些

2、情感特征对该视频段进行情感分类。主要内容如下：在音频方面，本文提出了运用比例因子等特征利用支持向量机进行音频情感分类方法，通过提取MPEG音频流比例因子等特征，首先把音频分为语音、音乐、混音和静音四类，然后对语音、音乐、混音的音频段进行情感分类，将音频包含的情感分为：高兴、悲伤、生气、厌恶、惊奇和平静六类，并通过实验证明了该方法的可靠性和有效性。为从视频图像中提取情感信息，首先要对视频进行镜头分割，并提取镜头的关键帧。本文提出了一个基于支持向量机核函数重构的镜头边界检测算法。该算法利用视频压缩域中特征，如宏块类

3、型，帧间对应宏块DC系数差和帧类型将视频帧分为发生切变的帧、发生渐变的帧和非镜头变换帧三类，实现视频的镜头分割。与常用的核函数进行了比较实验，结果显示当构造的核函数为径向基函数与高斯核函数叠加时镜头边界检测的准确率最高，其综合性能指标SUMF1}=t2001TREC评估中获得SUMFI最佳指标的算法高约14％。根据故事片的特点，还提出了一种抽取镜头关键帧的方法。在镜头分割和提取关键帧后，利用支持向量机对故事片的关键帧进行情感的识别和分类，采用的特征是彩色直方图和MPEG一7的边缘直方图。用径向基函数构成SVM，

4、进行训练和测试，分类后得到视频关键帧粗略的情感语义。关键词：情感提取，镜头边界检测，比例因子，核函数，关键帧，支持向量机山东建筑大学硕士学位论文ResearchonContent—basedAlgorithmofVideoAffectiveExtractionTanWenting(ControlTheoryandControlEngineering)DirectedbyCaoJianrongABSTRACTWiththeadvanceoftechnologyofcomputer,telecommunicatio

5、n,wide—bandnetworkandcompressionofvideoandaudio，digitalvideoiswidelycomingintothelifeofpeople．theimages／videoinmultimediaHuman-ComputerInterface(Hcl)notonlyCalTyalargeamountofimageinformation，butalsocalTyalotofemotionalinformation．Ithasbecomeanissueinthespot

6、lighttoresearchonhowtoapplythetechnologyofaffectivecomputingintheimage／videoretrievalsysteminordertomakecomputersrecognizetheemotionalinformationinimages／videoandmakeuseoftheemotionalinformationtoconductvideoretrieval．Thispaperwhichisaimingatthevideooffeatur

7、efilmsmainlystudiesthealgorithmofaffectiveextractionbasedonitsstylesandcharacteristics．Weanalyzeboththefieldsofaudioandvideoandextracttheemotionfeaturesinsomeclips．Wealsocategorizedthevideoclipsaccordingtotheemotionfeatures．Themaincontentsofthispaperareasfol

8、lowing：WeproposetheemotionclassificationmethodbasedonSVM(SupportVectorMachine)withthefeaturesofscalefactors．Firstofallweclassifytheaudioinformationintofourgroupswhicharespeech，music，mixedaudioan