基于Kinect的手语识别技术在聋哑教学中的应用研究

《基于Kinect的手语识别技术在聋哑教学中的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、国内图书分类号：G40-057国际图书分类号：378西南交通大学研究生学位论文基王K鱼鱼．丛的壬适迟另丛撞苤查聋堕教堂圭的座用壁究密级：公开年级三Q二二级姓名塞明莶申请学位级别亟±专业熬直董苤堂指导老师基红教援二。一四年四月十九日ClassifiedIndex：G40．057U．D．C：378SouthwestJiaotongUniversityMasterDegreeThesisTHERESEARCHONAPPLYINGTHESIGNLANGUAGERECOGNITIONTECHNOLOGYFORDEAFEDUCATIONBASEDONKINECTGr

2、ade：2011Candidate：ZhuMingmingAcademicDegreeAppliedfor：MasterDegreeSpeciality：EducationalTechnologySupervisor：Prof．JingHongApr．19，2014西南交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权西南交通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位

3、论文。本学位论文属于1．保密口，在年解密后适用本授权书；2．不保密囱，使用本授权书。(请在以上方框内打“4”)学位论文作者签名：牢d时戈指导老师签名：／凯，／、，一日期：沙I中．c·2乙日期：2．-oJ，≯。厂、≥z，西南交通大学硕士学位论文主要工作(贡献)声明本人在学位论文中所做的主要工作或贡献如下：(1)分析了手语对聋哑儿童的重要性，为了促进聋哑儿童与健全人之间的互动及改善人机交互方式，提出了手语识别系统。(2)学习了相关的教学理论，并研究了手语识别系统对教学理论的支持。(3)阐述了手语识别的流程和目前常用的算法，在此基础上提出了将Kinect应用于

4、手语识别系统的优势与可行性。(4)研究了使用Kinect和OpenNI／NITE进行手部跟踪的流程，及手部特征提取方法。本文针对手语的不同形式分三种情况进行了研究。对于手掌动态手语，使用了针对手掌运动方向角来提取特征向量的方法；针对手掌运动较小的情况，提出了根据手指运动，提取深度变化直方图的一阶差分的办法；对于静态手语，使用其轮廓的Freeman链码做为特征向量，同时对Freeman链码进行归一化和旋转不变性的处理。(5)在识别阶段，本文针对手掌运动识别提出了改进的HMM模型，即分别提取手掌运动的平面和深度特征向量来训练HMM模型。针对手指动态手语识别，

5、本文使用的是SVM／HMM模型。对于静态手语的识别，本文使用的是SVM模型，并对识别结果进行分析和统计。(6)最后针对上述研究进行系统设计，实现了基于Kinect的手语识别系统。本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确说明。本人完全了解违反上述声明所引起的一切法律责任将由本人承担。学位论文作者签名：木日目龙日期：2c7／啦；、z)西南交通大学硕士研究生学位论文第1页摘要手语是聋哑人与其

6、他人沟通的主要工具，应用手语识别技术使计算机能够理解并翻译读取的手语，帮助聋哑人与健全人沟通更加方便快捷。并且，随着体感技术的发展，使计算机更加容易理解人们动作，为手语识别技术的研究提供了新的方法与途径。由于传统的输入设备不能很好的满足人们对人机交互的要求。因此研究手语识别技术，不仅使聋哑人更加容易与健全人进行交流，同时有助于人机交互技术的发展。本课题以聋哑学校教学需求为背景，在对传统的手语识别方法进行了深入研究的基础上，基于Kinect体感摄像机，对手语的特征提取方法和识别算法进行了改进，并实现了手语识别系统。本系统包含动态手语识别和静态手语识别部分，

7、其中，动态手语识别包含手掌运动的手语识别和手指运动的手语识别。通过手语识别系统将手语进行翻译，并用人们理解的词语表达出来，提供聋哑学生与不懂手语的健全人沟通的途径，获得更多的学习资源，从而提高聋哑学生的教学质量。同时为改进教师与电脑的交互方式等研究奠定了很好的基础。．本文首先介绍了手语识别的背景和意义，并阐述了国内外的研究现状。接下来介绍了常用的特征提取和手语识别算法及与本文相关的技术和平台，同时阐释了将手语识别系统应用于聋哑儿童教育的理论支持。然后对手部特征提取和检测方法做了详细的描述。在动态手语的特征提取部分，针对Kinect独有的特点提出了手掌运动

8、二次特征提取、手指运动变化深度直方图的方法。在静态手语特征提取部分，使用了手部的