基于多传感器信息检测和融合的中国手语识别研究[1]

《基于多传感器信息检测和融合的中国手语识别研究[1]》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、29卷5期中国生物医学工程学报Vol.29No.52010年10月ChineseJournalofBiomedicalEngineeringOctober2010基于多传感器信息检测和融合的中国手语识别研究王文会陈香*阳平李云杨基海(中国科学技术大学电子科学与技术系，合肥230027)摘要:有效融合加速计、摄像头和表面肌电3种低成本传感器在手势动作信息捕获上的优势，是提高手语手势识别率和种类的重要研究内容。提出一种基于多传感器信息检测和融合的中国手语识别方法:先利用表面肌电的幅值信息，对3类传感器信号进行手势分割，并实现单双手词的划分;然后借助视觉信号，完

2、成有遮挡和无遮挡双手词的划分;最后利用Sugeno模糊积分，实现不同特征匹配结果的决策融合。结果表明，对4位受试者、201个高频手语词开展手势识别实验，其识别率均在99%以上，证明该基于多传感器信息检测和融合的手势识别方法在中国手语识别上的有效性。关键词:手语识别;多传感器融合;隐马尔科夫;模糊积分中图分类号TP391.4文献标识码A文章编号0258-8021(2010)05-0665-07ChineseSignLanguageRecognitionBasedonMultipleSensorsInformationDetectionandFusionWAN

3、GWen-HuiCHENXiang*YANGPingLIYunYANGJi-Hai(DepartmentofElectronicScienceandTechnology，UniversityofScience＆TechnologyofChina，Hefei230027，China)Abstract:Theefficientfusionofhandgestureinformationcapturedbyathree-axisaccelerometer，awebcamandfoursurfaceelectromyographysensorsisanimport

4、antresearchfieldforimprovingtheperformanceofsignlanguagerecognitionsystem.Inthispaper，amulti-sensorinformationdetectionandfusionmethodwasproposed.Firstly，theamplitudeinformationofmyoelectricsignalwasutilizedtoextractactivesegmentsofhandgesturesanddividesigngesturesintosingle-handt

5、ypeanddouble-handtype.Thendouble-handsignwordswerefurtherclassifiedintoocclusionornon-occlusionclassbyvisionsignal.Lastly，decision-levelfusionapproachwithSugenofuzzyintegralwasappliedonlocalmatchingresultsofmultipleclassifiersforimprovingclassificationperformance.Experimentalresul

6、tsfor201high-frequencysignwordsfrom4signersobtainedtheclassificationaccuracyofmorethan99%，indicatingtheeffectivenessoftheproposedmethodforChinesesignlanguagerecognition.Keywords:signlanguagerecognition;multi-sensorfusion;hiddenMarkovmodel;fuzzyintegral引言手语识别研究的目的，是使计算机能够正确理解手语，并将手

7、语转换成容易理解的语音或者文本信息，以增进聋哑人与健听人之间的无障碍交流［1］。同时，手语手势识别研究有助于促进智能人机交互技术、虚拟现实和机器学习等研究的发展［2］。doi:10.3969/j.issn.0258-8021.2010.05.005收稿日期:2010-05-18，修回日期:2010-08-24根据输入设备的不同，手语识别主要分为基于穿戴式输入设备和基于计算机视觉两个方面。基于穿戴式输入设备的手语识别使用的输入设备，主要有数据手套、加速计和表面肌电传感器等［3－4，7］。由于手势运动伴随着肌肉活动，表面肌电信号(surfaceelectrom

8、yography，SEMG)可用于检测手势运动引起的肌肉活动状态变