基于多传感器信息检测和融合的手语手势识别研究

《基于多传感器信息检测和融合的手语手势识别研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要摘要手语是聋哑人之间进行日常交流的主要方式之一。手语识别研究能够使聋哑人与外界交流更为便捷。随着计算机性能的逐步提高，近年来自然的人机交互逐渐成为一个研究热点。通过自然的人机交互系统，人们可以利用卢音、表情、手势等人类自然浯言与计算机进行交且，实现类似于人类之间的自然交且方式。手语手势识别研究对提高计算机的人类语言理解水半利发展多模』I=人机接口技术具有蕈要意义。手语通过手的形状、位置、运动、朝I∞和面部表情等通道表达特定的信息。表面肌电(surfaceelectromyography，SEMG)电极、加速计(ac

2、celerometer，ACC)和摄像头能够从1i同角度捕获这些信息。比如视觉雨IACC信号可以从不同侧面刻画手势的空问运动轨迹，SEMG可以通过榆测肌肉收缩获得精细手指运动信息。冈此，我们相信多传感器信息检测和融合技术能够提高识别精度币l可识别手势动作种类。为了检测手语中包含的丰富信息，本文提出了一种基于多传感器信息柃测和融合的手语手势识别方法，以提高多类手语手势动作的识别率和扩展可识别词汇量。本文主要的研究内容和研究成果有：(1)多传感器信号的活动段分割。提出了基于64点移动半均衡的包括SEMG、ACC雨I视觉二种

3、传感器信号的同步活动段柃测方法。仅利用SEMG信号的幅值变化信息就能同步提取出二种信号的活动段，减少了榆测的工作量。(2)基于动静态要素的动态手势识别研究。从手势的空间形态上对手势进行了分析研究。将动态手势拆分为动态要素和静态要素识别单元，分别利用ACC与视觉轨迹信号利SEMG信号进行描述，采用多流隐马尔可夫(HiddenMarkovModels，HMM)建模识别并进行整合。实验结果表明所提方法缩短了训练和识别时间，提高了识别率。(3)提出了一种基于多级分类融合策略的中国手语识别方法。茸先利用SEMG信号的幅值信息实现

4、单双手词的划分，然后借助视觉信号实现双手词中有遮挡币l无遮挡的划分，最后利用Sugeno模糊积分对SEMG、ACC矛II视觉二种信号摘受提供的局部决策进行融合，得到识别结果。该方法充分利用／1i同类型传感器在手语信息柃测方面的优势，从而提高手语的识别率，增加识别种类。针对201个高频手语词，三个受试者的识别率均在99％以上。(4)基于VisualC++雨lOpenCV技术，构建了一个能够同步获取SEMG、ACC雨l视觉二种信号的数据采集跟踪系统。采用多线程技术，实现采集、显示和保存的同步进行；利用系统内部嵌入的Cams

5、hift运动跟踪算法模块，能够实时的跟踪手，并记录手势跟踪轨迹。关键词：手语识别；多传感器融合；隐马尔可夫；Sugeno模糊积分nAbstractSignlanguageisoneofthemainwaysofdailycommunicationbetweendeafpeople，andsignlanguagerecognitionresearchCallprovidefacilitiesforthedeaftocommunicatewithoutsideworld．Astheadvanceofcomputertech

6、nology,naturalhuman—computerinteractionbecomesaresearchfocusinrecentyears．Throughnaturalhuman—computerinteractionsystems，usercaninteractwithcomputerusingvoice，facialexpression,gestureandotherhumannaturallanguage，whichissimilartonaturalinteractionmannerbetweenhum

7、an．Researchonsignlanguageandgesturerecognitionhasimportantsignificanceinimprovinghumanlanguagecomprehensionlevelofcomputeranddevelopingmultimodehuman-computerinteraction．Signlanguageexpressesspecificinformationthroughhandshape，position，motion,orientationandfacia

8、lexpressionandotherchannels．Surfaceelectromyographyelectrodes，accelerometerandcameracanacquiretheseinformationfromdifferentangles．Forinstance，visionandaccelerationsig