基于视频相似性的动态手势识别技术研究

《基于视频相似性的动态手势识别技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201671907学校代码10487密级硕士学位论文基于视频相似性的动态手势识别技术研究学位申请人：罗慧芬学科专业：电子与通信工程导师：冯镔副教授兼职导师：张成兴答辩日期：2018.05.25AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreefortheMasterofEngineeringTheResearchonDynamicHandGestureRecognitionBasedonVideoSiameseCandidate:HuifenLuoMajor:ElectronicsandCommunic

2、ationEngineeringSupervisor:Asso.Prof.BinFengHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaMay,2018华中科技大学硕士学位论文摘要手势是信息传递的一种媒介。手势识别技术是指识别由人手，包括手臂组成的行为和动作，在人机交互、手语语言识别、体感游戏、智能设备操控等方面都有着重要的应用。研究动态手势识别技术能提高人们的生活质量、推动图像识别领域的发展。动态手势指的是手部的表观形状或空间位置随着时间推移产生变化的手势序列。为了解决传统视频处理采样方式和关键帧选取的不足之处，本文提出了

3、基于视频相似性的动态手势识别技术。主要贡献总结如下：（1）提出了基于孪生网络的相似性度量模型。衡量动态手势视频内部帧与帧之间的相似性，减少背景帧和冗余帧在动态手势序列中的影响，尽可能增加对手势类别识别有帮助的帧在输入帧中的占比。由于孪生网络的训练需要大量具有标签的正负样本对，本文设计了简单有效的图像正负样本选取方法和基于弱监督的代价函数，利用图像表观相似性和图像类别信息提高模型对动态手势的表达能力。（2）提出了基于相似性度量模型的关键帧提取算法，包括在线的基于手势序列分解的关键帧提取算法和离线的基于kmeans时间聚类的关键提取算法。在相似性度量模型的基础上，基于手势序列分解的关键帧提取算法是

4、指，划分当前帧和已有内容簇的相似性。基于kmeans时间聚类的关键提取算法是指，在相邻时间窗口进行相似性搜索，由此将一个视频的所有帧划分为K个内容簇，在同一个内容簇的视频帧表达的信息相近，不同内容簇的视频帧表达的信息各异。本文研究的基于视频相似性的动态手势识别技术，具体地，为了解决传统视频处理采样方法的缺点，利用基于孪生网络的相似性度量模型衡量动态手势视频内部帧与帧之间的相似性，并设计了基于相似性度量模型的关键帧提取算法。由此对动态手势的变化精准建模，增加系统的鲁棒性。本文提出的方法在NVIDIA数据集的识别精度为72.4%，相较于基准2DCNN方法提高了4个百分点，在SKIG数据集的识别精度

5、为98.1%。关键词：视频处理，动态手势识别，相似性度量模型，关键帧提取，卷积神经网络I华中科技大学硕士学位论文ABSTRACTHandgestureisnotonlyakindofhumanbodylanguage,butalsoamediumofinformationtransmission.Handgesturerecognitiontechnologyreferstorecognizetheinformationconveyedbyhandgesture,includingarmandpalm,playinganimportantroleinhumanmachinesystem,han

6、dsignlanguagerecognition,virtualgameandintelligentequipmentmanipulation.It’svitaltostudyhandgesturerecognitionsoastoimprovepeople’slifequalityandpromotethedevelopmentofimagerecognition.Dynamichandgesturereferstothegesturesequenceofthehand’sappearanceorspatiallocationchangingovertime.Inordertosolveth

7、eshortcomingoftraditionalvideoprocessingofsamplingmethodandkeyframeselectionmethod,wepresentadynamicgesturerecognitionsystembasedonvideosimilarity.Themaincontributionsareasfollows:(1)ASiameseNeuralNet