基于手势识别人机交互及其在3d魔方游戏中应用

《基于手势识别人机交互及其在3d魔方游戏中应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、杭州电子科技大学硕士学位论文杭州电子科技大学硕士学位论文基于手势识别的人机交互及其在3D魔方游戏中的应用研究生：何一娜指导教师：陈临强教授2012年12月杭州电子科技大学硕士学位论文DissertationSubmittedtoHangzhouDianziUniversityfortheDegreeofMasterHuman-computerinteractionbasedongesturerecognitionand3DCubegameCandidate:HeYinaSupervisor:Prof.ChenLinqiangDecember,2012杭州电子科技大学硕士学位论

2、文杭州电子科技大学学位论文原创性声明和使用授权说明原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。申请学位论文与资料若有不实之处，本人承担一切相关责任。论文作者签名：日期：年月日学位论文使用授权说明本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属杭州电子科技大学。本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为

3、杭州电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。（保密论文在解密后遵守此规定）论文作者签名：日期：年月日指导教师签名：日期：年月日杭州电子科技大学硕士学位论文摘要人机交互是指人与计算机之间相互交互和影响的方式。从第一台计算机诞生到现在，人机交互方式也发生了翻天覆地的变化。如今，人机交互正向着“以人为中心”的多模式方式发展。美国将人机交互列为21世纪信息技术计划中的四大基础研究之一。基于手势识别的人机交互方式将用户的手势作为人机交互的输入，因此需要获取用户手势的静态数据与动态信息

4、。获取信息的方式有三种，分别是基于数据手套的方法、基于手持装置的方法和基于计算机视觉的方法。其中基于计算机视觉的方法是指通过视频采集设备将用户手势的手势拍摄下来，通过计算机图像处理等方法提取视频中手势的数据与信息。该方法需要借助计算机图像处理的相关算法对视频数据信息进行分析处理来实现对手势的识别。本课题面向人机交互应用，通过对手势视频的实时处理，先后经过提取手势、计算手势特征、静态手势特征匹配、动态手势匹配四个步骤来完成对动态手势的语义识别。尤其是针对复杂背景下手势前景的提取、基于多特征的静态手势特征描述与匹配方法和基于多特征的动态手势描述与匹配方法做了深入研究，并在此基础上

5、设计了一个3D魔方游戏作为应用背景。该应用以用户的手势作为3D魔方游戏的输入，实现了人机之间的友好交互。在手势提取方面，本文针对3D魔方游戏中背景复杂的特点，将采样视频转换到YCbCr空间，以贝叶斯肤色模型为基础进行手势分割。并在该模型的基础上提出了两种优化方法，使手势前景的提取效果更具有自适应性。该方法根据视频信息中有大量时间冗余与空间冗余的特点，对分割结果不断地修改，并反馈在贝叶斯肤色模型中，有效地解除了复杂背景对手势提取的制约，在一定程度上改善了手势前景的提取效果。在手势特征描述方面，本文使用了三种方法来描述静态手势的特征，分别是轮廓特征、指尖特征和掌心特征。其中轮廓特

6、征应LCS描述方法来表。本文同样使用了三种方法来描述动态手势的特征，分别是静态手势序列、指尖运动特征和掌心运动特征，其中静态手势序列是指一组有序的静态手势编号。在手势匹配方面，静态手势匹配是指提取到的当前的LCS序列与定义的标准静态手势的LCS序列依次匹配，选择最匹配的标准静态手势。而动态手势匹配是对连续几帧的静态手势的匹配结果进行匹配。最终确定这几帧图像表达的动态语义本文分别对静态手势和动态手势分别使用了以一种特征匹配为主，另外两种特征为辅的方式。最后在上述研究基础上，将手势描述与匹配算法与具体应用相结合，实现了对输入手势的自动识别，并选取虚拟现实环境为应用背景，在VS20

7、08环境下设计了一个3D魔方游戏。实验表明该应用在样本图像与实时图像之间的静态匹配、动态匹配精确度较I杭州电子科技大学硕士学位论文高，在人机交互效果、实时效果方面都表现出了优异的性能。关键词：人机交互，计算机视觉，静态手势，动态手势，手势特征描述、手势匹配II杭州电子科技大学硕士学位论文ABSTRACTWiththerapiddevelopmentofthetechnologyofvirtualreality,human-computerinteraction,keyboard,mouse-basedi