基于kinect的静态数字手语识别研究及系统实现

《基于kinect的静态数字手语识别研究及系统实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ｒａ．ｍｉ皆為义聲胃硕±论义．．省誦３义；＾＾辟乂＇暴．输渥＾基于Ｋｉｎｅｃｔ的静态数字手语识别研究及系统实现Ｗ１■宁．乂义＾ｊ為．ｆ悉ｖＣ－．Ｓ象垂．眉齡入＾专业学位领域：计算机技术。专业学位类别：工程硕±．．ｆｙ為，，Ｊ申请人；刘伟康，：＾＞１指导教师＾：宋相法副教授．．－．．，．二。六年六月．－＇隸．伊替．轉；：．兴瓣撫；急＼＼ｙ＼THESYSTEMIMPLEMENTATIONANDRESEARCHOFSTATICDIGITALSIGNLANGUAGERECOGNITIONBASEDONK

2、INECTADissertationSubmittedtotheGraduateSchoolofHenanUniversityinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringByLiuWeikangSupervisor:Asso.Prof.SongXiangfaJune2016摘要随着信息科技的飞速发展，人机间的交互也从初始的命令行界面、图形用户界面朝着更加智能化的自然用户界面发展。用户以自然的方式与计算机进行的如手势、语音、触控等方面的交互称为自然用户界面。Kinect是微软推出的一款体感摄像机，

3、它能实时的捕捉人体的深度图像、彩色图像、语音等信息。本文通过利用kinect进行单手的静态数字手语识别，提供了人机的无接触式交互。本文的研究工作主要包含以下几个方面。1、本文提出了一种通过寻找最大连通域对静态数字手语二值图像进行去噪的方法。该方法能够去除手部二值图像周围、内部及边缘区域的噪声。对于采用高度函数算法进行特征提取的图像，去噪后比去噪前识别率提高了2.38%。对于采用内距离形状上下文算法进行特征提取的图像，去噪后比去噪前识别率提高了1.68%。2、利用高度函数算法与内距离形状上下文算法提取图像特征。将去噪前与去噪后的数字手语二值图像分别采用高度函数算法与内距离形状上下文算法进行特

4、征向量的提取，发现前者具有较高的识别率。3、基于支持向量机进行静态数字手语二值图像分类。利用支持向量机对提取的图像特征向量进行10次两倍交叉验证实验，对同一种特征提取算法下的去噪前后的图像识别率进行对比分析,得出结论为对去噪后的二值图像采用高度函数进行特征提取，图像识别率最高。4、建立了包含500张静态数字手语的二值图像库。征集10名志愿者进行图像信息采集。每名志愿者对于0~9这10个手语的每个手语根据不同的情况采集5张图像。5、设计与开发了静态数字手语识别系统。该系统通过比较手部骨骼节点与肘部骨骼节点的纵坐标值来决定是否开始读取手语图像。对经过去噪处理的手部二值图像利用高度函数进行特征提

5、取，将特征向量放入训练好的SVM模型进行识别，并对结果进行了输出。关键词：Kinect，静态数字手语识别，图像去噪，高度函数，内距离形状上下文，支持向量机ABSTRACTWiththerapiddevelopmentofscienceandtechnology,theinteractionbetweenmanandcomputerisdevelopingfromtheinitialcommandlineinterface,graphicaluserinterfacetowardsmoreintelligentnaturaluserinterface.Usersinteractwiththe

6、computerinanaturalwaysuchasgestures,voice,touch,iscallednaturaluserinterface.Kinectisamotion-sensingcameralaunchedbyMicrosoft,itcanreal-timecapturethedepthimage,colorimage,voiceandotherinformationofthehumanbody.Inthispaper,byusingkinectforsingle-handedstaticsigndigitallanguagerecognition,providing

7、anon-contacthuman-computerinteraction.Theresearchworkofthisarticlemainlyincludesthefollowingseveralaspects.Firstly,thispaperproposesabinaryimagedenoisingmethodofstaticdigitalsignlanguagebylookingforthebiggestconn