基于N-gram模型和句法模型的连续中国手语识别方法研究

《基于N-gram模型和句法模型的连续中国手语识别方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要摘要近年来，智能人机交互在人们的日常生活中占据了越来越重要的地位。随着人机交互的不断发展，要求人们使用更加直观快捷的交流方式。手语作为一种特殊的语言，不仅可以帮助聋哑人与其他人进行正常的交流，而且手语手势也可以作为一种新的交流方法应用在人机交互中。手语包含了手的形状、位置、运动、朝向和面部表情等丰富的信息，进行手语识别研究可以促进计算语言学、空间几何学、模式识别学、计算机视觉、图像图形学、机器人学等多个学科的发展。因此，手语手势识别对提高计算机的人类语言理解水平和发展人机交互技术具有重要意义。表面肌电(Sur

2、faceElectromyography,SEMG)传感器和加速计(Accelerometer,ACC)由于其结构简单、成本较低、便于携带的特点，成为了目前手势识别研究中两种常用的传感器设备。SEMG和ACC信息分别从不同的角度对手语动作的特征进行描述。SEMG反映了手的形态、关节的伸屈、手部肌肉的收缩放松等信息，在精细手指动作识别上有着独特优势，但它本身是一种微弱的电生理信号，对传感器安放位置比较敏感，其信号采集时受外界影响较大。加速计可以对手势的大尺度运动信息进行检测，但其无法精确检测出静态手势和小幅度运动手

3、势。本文一方面结合表面肌电（surfaceelectromyography，SEMG）传感器和加速计（accelerometer，ACC）在手势信息检测上的不同优势，提出了基于两种传感器信息融合的手语手势识别方法。另一方面针对SEMG等信号受个体动作差异影响较大的问题，将统计语言模型和句法模型引入到手语识别中，利用语言学的知识对手语识别结果进行检测，提高多类手语手势动作的识别率,扩展可识别词汇量。本文主要研究内容和研究成果如下：(1)将手语词拆分成词根的组合形式，以“词根”作为手语识别基本单元。用词根代替整个手语

4、词进行多流隐马尔科夫（HiddenMarkovModel，HMM）建模识别，并使用多级决策树方法降低识别复杂度，有效缩短了训练和识别所消耗的时间，提高了识别率。(2)针对中国手语识别中出现的错误，将统计语言模型引入了识别过程，提出了基于N-gram模型的中国手语词根识别纠错方法。该方法首先通过对常见的手语语料库进行统计，得到相应的词根接续概率，然后利用互信息，转移概率等对相邻的词根组进行判定，从中检查出识别错误的词根。这种方法的优点在于用来进行词根接续判断的互信息等参数来源于语料库的概率信息，不会受到信号本I摘要

5、身差异性的影响。使用此方法，得到的手语词根识别率达到90%以上，句子的识别率相比纠错前也有了很大的提高。(3)将句法结构引入到手语识别中，提出了一种利用句法分析对手语句子识别结果进行整体合理性分析的方法。该方法首先将手语词根序列转化为手语词序列并进行相应的词性标注，然后对常见的手语例句进行句法规则总结，使用分层句法规则匹配方法，对句子进行多级判定。实验表明，使用句法规则可以有效的检测出句子中的识别错误问题。关键词：手语识别；传感器融合；词根；N-gram模型；句法规则IIAbstractAbstractSignl

6、anguage,whichexpressesspecificinformationsuchashandshape,position,motion,orientation,facialexpressionetc,couldnotonlyhelpthedeaftocommunicatewithothersbutalsoprovideanewapproachforhuman-computerinterface(HCI)applications.Researchonsignlanguageandgesturerecogn

7、itionhasimportantsignificanceinimprovinghumanlanguagecomprehensionlevelofcomputeranddevelopingmultimodehuman-computerinteraction.Thesurfaceelectromyography(SEMG)sensorandaccelerometer(ACC)providetwopotentialtechnologiesforgesturesensing.SEMGsignalscontainrich

8、informationabouthandgestures,suchashandshape,knuckleflexionandextension,muscularactivitiesetc.,andSEMGinformationiscapableofdistinguishingsubtlefingermovements.However,asakindofweakelectr