基于运动轨迹和手型特征的手语识别研究

《基于运动轨迹和手型特征的手语识别研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、．－。—■下：’一：－；．可‘ｖ巧．＾ｖｖｔ：．＾；非巧／；存Ｔｖ夺因钟＾省若大赛ＵｎｉｖｅｒｓｉｔｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｏｆＣｈｉｎａｙｇｙ硕±学位论文戀基子运动轨邊和子型特征论文题目的手语识别研完张鍵海作者姓名信息与遺信工程学科专业导师姓名寺厚强軟投二年五月完麵间■＾夺函种每省水大赛硕±学位论义Ｉ應基于运动轨迹和手型特征的丰语识如研究作者姓名：张继海学科专业：信息与通信工程导师姓名：李厚强教授二〇—完成时间：六年五月

2、■、．ＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙｏｆＣｈｉｎａＡ’ｄｉｓｓｅｒｔａｔｉｏｎｆｏ「ｍａｓｔｅｒｓｄｅｒｅｅｇ幽ＲｅｓｅａｒｃｈｏｎＳｉｎＬａｎｕａｅｇｇｇＲｅｃｏｎｉｔｉｏｎｂａｓｅｄｏｎＴｒａｅｃｔｏｒｇｊｙＭｏｖｅｍｅｎｔａｎｄＨａｎｄＳｈａｐｅＦｅａｔｕｒｅｓＡｕｔｈｏｒＪｉｈａｉＺｈａｎ：ｇＳｅｃｉａｌｉｔ：Ｉｎｆｏ．＆Ｃｏｍｍ．ＥｎｉｎｅｅｒｉｎｐｙｇｇＳｕｅｒｖｉｓｏｒ：Ｐｒｏｆ．ＨｏｕｉａｎＬｉｐｑｇ

3、ＦｉｎｉｓｈｅｄＴｉｍｅ：Ｍａｙ，２０１６ｈ中国科学技术大学学位论文原创性声明本人声明所呈交的学位论文，是本人在导师指导下进行研巧工作所取得的成果，。除己特别加Ｗ标注和致谢的地方外论文中不包含任何他人己经发表或撰写过的研巧成果一。与我同工作的同志对本研巧所做的贡献均己在论文中作了明确的说明。作者签名：絶為签字日期；中国科学技术大学学位论文授权使用声明一作为申请学位的条件之，学位论文著作权拥有者授权中国科学技术大学拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部口或机构送交论文的复印件和电子版

4、，允许论文被査阅和借阅，可Ｗ将学位论文编入《中国学位论文全文数据库》等有关数据库进行检索，可Ｗ采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的一内容相致。保密的学位论文在解密后也进守此规定。囚么开□保密年作者签名：：导师签名＾签字日期：：签字日期摘要摘要手语是聋哑人日常生活的主要语言，同时也是他们和正常人交流的主要方一式之。而大多数正常人并未经过专业的手语培训，使得聋哑人无法同其进行无障碍地交流。为了解决这个问题，从上世纪９０年代开始便有许多学者开始从事手语识别的研巧，

5、旨在将手语动作通过计算机编程实现将其转换为便于正常人理解的文本或者语音信息。。因此手语识别具有极大的社会意义一在手语识别领域，有两个至关重要的问题。是如何获取并设计鲁棒髙效一，二是如何对手语动作特征建立鲁棒的识别模型的手语动作特征。对于第个问题，从昂贵复杂的数据手套到颜色手套再到体感设备，数据获取越来越方便可行，．特征设计主要从运动轨迹和手型变化上进行描述。对于第二个问题对一手语动作进行建模识别主要是借鉴于语音识别．利用机器学习理论中的些模型＾。例如利用可Ｗ计算不等长序列相关性的动态时间规整算法文及机器学习模型支持向童机、高斯混合

6、模型、隐马尔科夫模型、条件随机场、人工神经网络等等。基于此两个出发点本文的主要工作可归纳如下：。首先，手语动作特征包括手语动作的轨迹特征和手型特征轨迹特征包括Ｊ。运动的方向，运动轨迹的形状，ｙｌ及运动轨迹的位置手语动作的运动方向利用方向位移直方图刻画，将空间分成多个二维平面考虑手部在平面中各个方向的位移量，组合所有方向的直方困最终对方向信息进行表达。运动轨迹的形状本文提出采样形状上下文描述子进行刻画，在提取轨迹特征的形状上下文信息时需要对轨迹进行预处理，即基于密度的上采样处理，使得轨迹形状看起来更一加的均匀平滑？，最后再对每个采样

7、点进行形状上下文描述子的提取对于轨。迹的位置信息．本文采用非手骨骼点相对于手部骨骼点的位置进行刻画在手、屯，型描述中，经过对视频信息的预处理，获取手部骨骼点为中的局部区域区域中包含了手型，最终将手，再对其提取ＨＯＧ特征语序列的手型特征利用ＨＯＧ特征巧列描述，其次，我们提出的自动确定隐状态数目的ＦＨＭＭ模型可Ｗ根据手语动作本身持性自动确定建模所巧参数。我们利用手型之间的特征差异将视频中的手分一，成若干段，其中相似的手型归为同段？由于在特征描述中的不同不同的特征适用于不同的识别模型，因此还巧要对多个特征的识别结果进行巧合。本文一一

8、，提出了两种曲合方法，种