基于CNN-RNN的视频事件分类

《基于CNN-RNN的视频事件分类》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、：：密级分类号ＵＤＣ：编号：工学硕士学位论文基于ＣＮＮ－ＲＮＮ的视频事件分类硕士研究生：肖廷汉指导教师：张磊教授学科、专业：信息与通信工程论文主审人：项学智副教授哈尔滨工程大学２０１８年３月分类号：密级：UDC：编号：工学硕士学位论文基于CNN-RNN的视频事件分类硕士研究生：肖廷汉指导教师：张磊教授学位级别：工学硕士学科、专业：信息与通信工程所在单位：信息与通信工程学院论文提交日期：2017年12月论文答辩日期：2018年3月学位授予单位：哈尔滨工程大学ClassifiedIndex:U.D.C:ADissertation

2、fortheDegreeofM.EngVideoEventClassificationBasedonCNN-RNNNeuralNetworkCandidate:XiaoTinghanSupervisor:Prof.ZhangLeiAcademicDegreeAppliedfor:MasterofEngineeringSpecialty:InformationandCommunicationEngineeringDateofSubmission:Dec.2017DateofOralExamination:Mar.2018University:HarbinEngineer

3、ingUniversity基于CNN-RNN的视频事件分类摘要长期以来机器学习领域主要集中在图像领域，以CNN为代表的深度学习网络模型在图像领域取得了很好的成果。然而在视频领域，视频中除了帧内的图像信息还存在着帧间的时序信息。由于传统的模型不能很好地处理时序信息，视频事件分类一直未能取得大的突破。近年来RNN在语音方面取得了很好了成果，证明了其处理时序信息的能力。本文将CNN与RNN结合来解决视频事件分类问题。本文的主要工作和贡献如下：首先，通过实际测试验证了CNN能够提取出本文需要的帧特征，之后对CNN提取的特征进行调整以使其更适用于本文模型。通过实际测试，经过网络

4、调整后提取的特征向量拥有更低的冗余以及更好的时序信息。然后，本文讨论了传统RNN结构在实际应用中的问题，阐述了两种改进方案的内部结构。通过实际测试，使用RNN改进结构可以提升视频分类准确率，两层收敛型的网络结构拥有更好的性能。最后，将CNN与RNN结合验证本文方案可行性。结果证明相较于单一使用CNN或RNN，将二者结合可以极大地提升网络性能。同时对RNN的两种改进结构LSTM与GRU性能进行对比。在本文方案中，GRU性能优于LSTM。本文方案在三个权威视频数据库上进行测试。通过与最新的研究成果对比，证明本文方案性能达到行业内尖端水平，相较于传统的关键帧特征提取分类方法

5、性能有巨大提升，且拥有很好的适用性和鲁棒性。关键词：视频事件分类；CNN；RNN基于CNN-RNN的视频事件分类ABSTRACTForalongtimemachinelearninghasbeenconcentratedinimagefield.ThedeeplearningmodelrepresentedbyCNNhasachievedgoodresultsinimagefield,butinthevideofield,thereisthetimeinformationbetweenframesexcepttheimageinformationintheframe.

6、Becausetheoldmodelcan'thandlethetimeinformationverywell,videoeventclassificationhasnotbeenabletoachieveamajorbreakthrough.Inrecentyears,theRNNhasachievedgoodresultsinspeechprocessing,whichprovesitsabilitytoprocesstimeinformation.ThispapercombineCNNandRNNtosolvevideoeventclassificationpr

7、oblem.Themaincontributionsofthispaperworkareasfollows:First,throughactualtest,itisprovedthatCNNcanextracttheframefeaturesneededinthispaper,thefeaturesextractedbyCNNareadjustedtomakethemmoresuitableforthemodelinthispaper.Throughtheactualtest,thefeaturevectorsextractedfromtheadju