基于kinect的动态手语翻译系统的研究论文北京交通大学

《基于kinect的动态手语翻译系统的研究论文北京交通大学》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Kinect的动态手语翻译系统的研究*吉林大学夏涛，邵晶雅，刘怀宾(仪器科学与电气工程学院，吉林省长春市130000)指导老师：千承辉高级工程师中文摘要:为实现基于Kinect的手语识别，提出了一种利用有限状态机及动态时间规整（DTW）的动态手语识别方法。首先，利用Kinect技术得到人体深度图像和骨骼特征信息；然后利用手部分割算法得到手部深度图像，再选取识别正确率高的HOG特征算子来提取手部特征；最后加入有限状态机及DTW算法实现动态手语识别。实验结果表明，该方法能够实现对常用手语单词、句子的识别，识别准确率可达95％。英文摘要:Inordertorealizesignlang

2、uagerecognitionbasedonKinect,adynamicsignrecognitionmethodusingfinitestatemachinesanddynamictimewarping(DTW)isproposed.First,theKinecttechnologyisusedtogetthedepthimageandskeletonfeatureinformation;Thenthehanddepthimageisobtainedbyusingthehandsegmentationalgorithm,andthenthecharacteristicsofthe

3、handareextractedbyusingtheHOGfeatureoperatorwithhighaccuracy.Finally,thefinitestatemachineandDTWalgorithmareaddedtorealizedynamicsignlanguagerecognition.Theexperimentalresultsshowthatthemethodcanachievetherecognitionofnormalsignwordsandsentences,andtheaccuracycanbeupto95%.关键词:手语识别；Kinect；动态时间规整

4、算法；HOG特征；有限状态机引言手语作为最原始的信息交流方式，在虚拟环境和人机交互等领域广泛应用，它可以使听力障碍者获得有用信息，且可以在特殊工作环境中实现工作平台的非接触式操作[1]。手语识别一直是计算机视觉领域的研究热点，Hyeon-KyuLee的研究团队使用自创的PowerGesture系统，通过手势控制幻灯片的放映[2]；富士康实验室完成对常用手势进行匹配[3],利用传统摄像头采集彩色图像进行处理，但因摄像头本身的技术参数易受环境影响，只能实现简单手语的识别；2010年微软研发了Kinect技术，具有识别人体骨骼图像、3D动态轨迹等技术优势，使手语动态识别领域有了新的飞跃[4

5、-5]；2012年香港中文大学基于SVM的方法设计了一种手势翻译系统,其采用对特征关节坐标进行学习分类的方式，较好的完成了对于手语单词的识别[6]；2013年X.chai等人利用Kinect对手势轨迹进行三维重构完成日常手语识别[7]。本文通过对四种手部特征提取算法的比较和实验结果分析，得出HOG特征算子具有较高的准确率，并在此基础上加入有限状态机及DTW算法来实现手语识别。一、手部特征数据的提取（一）Kinect多传感器图像数据的获取Kinect中部的RGB摄像头和两侧的深度传感器通过空间建模、骨骼信息追踪技术可得到RGB彩色图像、深度图像、人体骨骼图像，如图1所示[8]。利用Ki

6、nect得到三种图像，引入手部分割算法得到精确的手部区域，通过加入手语识别算法对手部特征信息进行处理，完成手语识别系统的建立。图1手部信息采集系统框图（二）手部形态信息及运动轨迹的提取常见的动态手语可以通过两方面来表征，一是动态手语所经过的3D轨迹，二是其标志性静态手语形态数据[9]。手部截取是静态手势识别的第一步，首先利用Kinect得到人体骨骼特征与深度图像，然后通过手部分割算法进行手掌轮廓截取，最后通过肤色识别、边缘检测等算法滤除服饰等非手部因素干扰，得到手部形态信息；动态手部运动轨迹可以通过识别手掌关节相对于脊椎中部骨骼关节的矢量变化，判断其变化速度是否大于设定阈值来决定手势

7、的提取。提取到的手型区域受到环境背景噪声的影响，所以需要利用彩色图像中的人体肤色提取完成精准的手部形态提取。常用的肤色识别方式有以下五种：（1）RGB特征数进行阈值分割（2）归一化后的RG特征进行阈值分割（3）YCrCb空间Cr数值利用otsu算法取阈值并将图像二值化（4）在YCrCb空间中的色度参数Cr和Cb针对肤色特征数进行阈值分割（5）在HSV空间中对色调参数H针对肤色特征数进行阈值分割[10]（6）opencv提供的基于皮肤阈值分割和运动检测的肤色