基于视觉的多模态动态手势识别算法研究

《基于视觉的多模态动态手势识别算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于视觉的多模态动态手势识别算法研究作者姓名罗阳星学科专业信号与信息处理指导教师青春美副教授所在学院电子与信息学院论文提交日期2018年4月10日ResearchonVisionBasedMultimodalDynamicGestureRecognitionAlgorithmADissertationSubmittedfortheDegreeofMasterCandidate：LuoYangxingSupervisor：Prof.QingChunmeiSouthChinaUniversityofTechnolog

2、yGuangzhou,China分类号：TP391学校代号：10561学号：201520109383华南理工大学硕士学位论文基于视觉的多模态动态手势识别算法研究作者姓名：罗阳星指导教师姓名、职称：青春美副教授申请学位级别：学术型硕士学科专业名称：信号与信息处理研究方向：图像处理与视频信号处理论文提交日期：2018年4月10日论文答辩日期：2018年5月31日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：徐向民委员：殷瑞祥、田翔、姜小波、钟海波摘要手势识别算法是手势交互的主要技术，在聋哑人辅助、无人机控制

3、、虚拟增强现实等领域都有着广泛的应用。动态手势在时间和空间维度上同时存在变化，具有更加自然的操作体验和丰富的手势类别，因而在实际应用中更广泛。目前，基于视觉的动态手势识别主要面临复杂背景干扰、多模态数据融合和手势动作多样性等难点。基于上述背景和难点，本文对基于RGB-D图像的视觉动态手势识别做了以下的研究工作：1）针对视觉动态手势的多模态数据融合和识别问题，本文提出了一种基于三通路卷积神经网络的识别方法。该网络的输入为多模态数据，包括RGB-D序列生成的两种像素变化概率图（PixelChangeProbabilityMap,

4、PCPM）和Depth序列生成的增强静态姿势图（enhancedStaticPoseMap,eSPM）。PCPM和eSPM分别表示动态手势的帧间运动信息和空间姿势信息。该网络使用了3D卷积和3D池化，可以提取动态手势视频中丰富的时空特征，代替了传统手工设计特征的复杂环节。另外，该网络通过特征维度拼接和分类概率融合的方式融合三个不同的子网络通路，使得不同模态的数据得到有效利用。最后，该方法在大型动态手势数据集IsoGD（249类）上的取得了52.09%的验证集识别率和58.22%的测试集识别率，在数据集SKIG（10类）上取得

5、了96.88%的识别率，从而验证了该方法的有效性。2）针对视觉动态手势识别，本文还提出了一种基于长短期记忆的多尺度卷积神经网络的识别方法。该网络的输入为RGB-D序列生成的两种PCPM，网络主要由多尺度卷积结构和长短期记忆单元组成。其中多尺度卷积结构可以学习到动态手势多层次的表观特征，而结构中的卷积核分解和11卷积则可以减少网络参数数量。网络中的长短期记忆单元主要是从前面层提取到的表观特征中，学习动态手势长周期的高层时空特征。最后，该网络在数据集IsoGD上取得了56.21%的验证集识别率和60.58%的测试集识别率，在数

6、据集SKIG上取得了98.02%的识别率。该方法不仅取得了更好的识别结果，还使用了更少的网络参数，具有更广泛的应用前景。关键词：动态手势识别；三维卷积神经网络；长短期记忆；多尺度卷积神经网络IAbstractAsthekeytechnologyforgestureinteraction,gesturerecognitionalgorithmhasawiderangeofapplications,suchasdeafandmuteassistance,dronecontrol,virtualreality,augmentedr

7、eality,andsoon.Dynamicgestureshavemorefreedominoperationandarichvarietyofmovementbecauseofthechangesinboththetemporaldimensionandthespatialdimension,andsotheyarewidelyusedinreality.Atpresent,vision-baseddynamicgesturerecognitionmainlyfacesthefollowingdifficultiessu

8、chasinterferenceofcomplexbackground,fusionofmulti-modaldata,anddiversityofgesturemovement.Basedontheaboveapplicationbackgroundanddifficulties,thi