基于卷积神经网络的人体动作识别

《基于卷积神经网络的人体动作识别》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于卷积神经网络的人体动作识别ActionRecognitionBasedonConvolutionalNeuralNetwork学科专业：信息与通信工程作者姓名：王爽指导教师：侯永宏副教授天津大学电气自动化与信息工程学院二零一七年十一月摘要人体动作识别是计算机视觉研究中的热点之一，其目的是从视频中检测并识别目标的动作，使得计算机系统能理解人的动作，对场景进行语义描述，并且在多领域中应用广泛，如智能监控，人机交互等，具有较大的研究意义。虽然现有的许多研究方法都在一定程度上提高了行为识别的准确性，但是由于人体动作的类间差异、类内差异、背

2、景干扰等影响因素，使得对于人体动作特征的提取和识别的仍是一项需要深入研究的课题。本文提出了一个基于对RGB-D视频压缩来建立特征，深度学习作为识别手段的动作识别方案。通过建立三维数据类型的骨骼数据与深度图像数据的联系，将深度序列解析表达为三个层次的结构图序列，分别是整体人形图序列、部分人形图序列和关节点图序列，随后通过双向池化排序算法提取三种图序列中的动作特征，压缩生成相应图序列的三类结构化图像，这三类结构化图像作为该视频的特征表达。在构建三个层次的结构图序列时，本文的创新点在于，将提取出的关键单元图像块进行拼接，得到基于三种关键单元

3、拼接的三种层次的结构化运动图像，使得该图像不仅保留了时间-空间信息，也加强了深度图像的结构信息，同时降低了计算量。最后将三类结构化图像分别输入到卷积神经网络当中，将得到的判断识别结果做乘法融合获得到该动作最终的识别率。本文提出的方法不仅保留动作序列的局部和全局的时间-空间-结构信息，也利用卷积神经网络提取特征的优势，加速了动作识别的处理速度，为动作识别提供了新的思路。该方法在五个国际上通用的动作数据集，分别是微软研究院的MSRAction3D数据集,G3D数据集,MSRDailyActivity3D数据集，中山大学的SYSU3DHOI

4、数据集和佛罗里达大学UTD-MHAD数据集上进行了验证，并取得了较好的实验结果。关键词：结构化运动图像，三维动作识别，卷积神经网络，深度数据，骨骼数据IABSTRACTHumanactionrecognitionhasbeenaveryimportanttopicincomputervision.Itspurposeistodetectandclarifytheactionofthesubjectfromthevideos,sothatthecomputercanunderstandthehumanactionsaswellasthe

5、deepmeaningofthescene.Humanactionrecognitioniswidelyusedinmanyfieldsandofgreatresearchsignificance,asintelligentcontrolandhuman-computerinteraction.TherearemanyexistingmethodstoimprovetheaccuracyofHumanactions,butthedifferencesbetweenactionclasses,thedifferencewithincla

6、sses,andthebackgroundinterferencewhichallleadtothedifficultyofextractionandrecognitionofmotionfeatures.Inthispaper,aneffectiveyetsimplevideorepresentationisproposedforRGB-Dbasedactionrecognition.Thedepthmapsequenceisrepresentedintothreestructureddynamicimagesatbody,part

7、andjointlevelofgranularitiesthroughhierarchicalbidirectionalrankpooling.DifferentfrompreviousworksthatappliedoneConvolutionalNeuralNetwork(ConvNet)foreachpart/jointseparately,inthispaperthedepthsequenceateachgranularitylevelisorganizedintoonestructuredmotionimageasthein

8、putofaConvNet,basedontheproposedeffectiveMask-basedresizingmethod.Thestructuredmotionimagesnotonlypreservethes