基于视觉的中国手语识别的研究与实现

《基于视觉的中国手语识别的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、哈尔滨工业大学工学硕士学位论文摘要手语作为一种高度结构化的手势，是聋人进行日常交流必不可少的手段。手语识别作为人机交互领域中的一个重要组成部分，它的研究和实现具有重要的学术价值和广泛的应用前景。由于基于视觉的手语识别能够提供比较自然、方便的人机交互性能，因而正得到越来越多的研究者的关注，也取得了一定的进展。但是对其研究现状的分析表明，目前的视觉手语识别还存在较多的问题，比如:识别词汇规模小、环境要求限制较高、手势特征描述粗糙等。为了解决这些问题，本文针对常规背景下的手语特征提取算法，中国手语的439个

2、高频动态手势词和由其上的136个手势词组成的60个连续手势句子的识别算法进行了研究。具体而言，本文的主要研究工作包括:1.提出并实现了一个具有更佳的自然交互性能的视觉手语识别系统框架。在此系统框架中，利用改进的背景去除技术来降低常规背景对特征检测的干扰作用，运用瞳孔检测技术提供特征定位信息，提出融合颜色信息和人手形状的几何模型约束信息的由粗到精的双手检测算法来实现基于常规背景、普通日光灯照明条件下的较为鲁棒的手势特征检测.2.提出了一种新的基于层次型的特征描述方案。借助于简单的棉质染色手套对双手特征作

3、较为准确的刻画，同时运用主成分分析法对主手的手指区域分布特征进行刻画，使得对手势的特征描述分层次逐步精细，从而有效地提高了识别率，尤其很好地实现了对相似手势词的区分识别。3.提出了基于半连续隐马尔可夫模型的动态词根手势词识别。对439个高频单/双手动态词根手势词进行识别，识别率92.5%左右。从而首次实现了常规背景下、中等规模词汇量上:词汇童可扩展并对相似手势词具有较好区分识别性能的基于视觉的中国手语手势词识别。4研究了利用Fiterbi-beam算法对由136个手势词构成的60个句子进行连续识别。为

4、了解决连续句子识别中的“运动插入”问题和利用句子的句法约束来提高识别率，分别引入了嵌入式训练算法和统计学语言模型，从而实现了基于视觉的中国手语连续句子识别，识别率92.9%左右。在上述工作基础上，实现了一个常规背景下，融合中国手语手势词识别和连续句子识别功能为一体的基于特定人的视觉手语识别系统。关键词人机交互;手势识别;手语识别;隐马尔可夫模型;计算机视觉哈尔滨工业大学工学硕士学位论文AbstractSignlanguage,asakindofmoststructuredgesture,isregar

5、dedasanindispensablemeansofeverydaycommunicationfordeafpeople.Asoneofthemostimportantpartsofhuman-computerinteraction(HCI),theresearchandimplementationofsignlanguagerecognition(SLR)hasimportantacademicvalueaswellasbroadapplicationprospect.Sincevision-ba

6、sedSLRleadstoamorenaturalinterface,therehasbeenagrowinginterestinthisresearchtopic.Someprogresshavebeenmade,manyproblems,however,stillexistinthecurrentresearches.Forinstance,mostresearchesarerestrictedwiththesmallrecognitionvocabulary,highrequirementoft

7、heenvironmentsetingandcoarsedescriptionofsignfeatures.Tosolvetheseproblems,thisdissertationaimsatstudyonthealgorithmoffeatureextractionagainstnormalbackground,therecognitionalgorithmsfor439Chinesesignlanguage(CSL)signsmostfrequentlyusedand60sentencesbas

8、edonalexiconof136signs.Indetail,themainresearchescanbedescribedasfollows:1.Asystemstructureforvision-basedCSLrecognitionwithmoreuser-friendlinessisproposedandimplemented.First,animprovedalgorithmofbackgroundsubtractionisemployedt