计算机手势输入及其在人机交互技术中的应用

《计算机手势输入及其在人机交互技术中的应用》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、计算机手势输入及其在人机交互技术中的应用*方志刚摘　要　本文简介计算机手势识别技术的基本手段、方法和技术,讨论手势作为人机交互通道所具有的特点，并介绍作者在多通道用户界面的研究中实现的对手势的整合技术.关键词　人机交互　多通道用户界面　多通道整合　手势　姿势分类号　TP311COMPUTERGESTUREINPUTANDITSAPPLICATIONINHUMANCOMPUTERINTERACTIONFANG　Zhigang(StateKeyLaboratoryofCAD&CG，ZhejiangUniversity　Hangzhou310027)(Departme

2、ntofElectronicEngineering,ZhejiangUniversity　Hangzhou310028)Abstract　Thispaperrewiewsthemeansandmethodsofcomputergesturerecognitiontechnology,discussesthefeaturesofgestureasamodalityinhumancomputerintegration,anddiscribesthetechnologyofmultimodalintegrationofgestureintomultimodaluser

3、interface.Keywords　Humancomputerinteraction　Multimodaluserinterface　Multimodalintegration　Gesture　Posture1　引言　　当前在人机交互技术领域，多媒体技术的相对成熟极大地改善了计算机信息表现能力，同时也更显出交互输入手段的严重不足，呈现出人与计算机输入输出通信带宽的严重脱节〔11〕.多通道人机交互技术研究打破常规，突破传统交互设备(键盘和鼠标器)的限制，力图使人在人机交互过程中综合运用手势、语音、姿势甚至视线等多种通道，使用相应的交互设备全方位地与计算机进行通信

4、，彻底解决计算机处理高维信息所要求的双向高通信带宽.近年来虚拟现实技术的迅猛发展，大大促进了人们在人脸识别、表情解释、口形(唇读)识别、头部方位检测、视线跟踪、三维定位、手势解释和人体姿势解释等方面研究工作的积极性和动力.　　不论在日常交际活动中，还是在人机交互活动中，手势都理应具有十分重要的作用.遗憾的是，传统用户界面只利用了手势中极少的信息.例如用户使用二维鼠标器时,计算机仅能获得二个维度的移动信息和少数手指的点击,除此之外，计算机不能识别任何别的动作，不但缺少按键的力度,甚至连第三维空间信息都不能提供，将人的手和眼局限在狭小的桌面上.从手势以及更多的输入通

5、道获得用户更丰富的交互意图是当前人机交互技术发展的新动向、新课题.2　手势的定义和分类　　人体语言包括对肢体的状态和动作的运用，其中我们有必要区分手势(gesture)和姿势(posture)的区别.手势当然只能由手产生，而姿势则既可由手产生，也可由整个身体产生.两者的区别似乎在于手势更为强调手的运动，而姿势则更为强调手或身体的形状和状态.不过，只有当我们说明问题需要时才作这种区分，在多数情况下我们笼统地定义为：手势是人的上肢(包括手臂、手和手指)的运动状态.表1　手的运动分类(HandMotionTaxonomy)〔5〕　HandPosition&Orient

6、edFingerFlexAnglesdon'tcaremotionlessfingersmovingfingersdon'tcareXfingerposturee.g.fistfingergesturemotionlesshandhandpostureorientedposturee.g.thumbstdownorientedgesturee.g.bye-byevs.comeheremovinghandhandgesturemovingposturee.g.bangingfistorasalutemovinggestureeg.strongcomehere人们对

7、手势做了不同的分类〔1〕：　　①交互性手势与操作性手势，前者手的运动表示特定的信息(如乐队指挥)，靠视觉来感知;后者不表达任何信息(如弹琴).　　②自主性手势和非自主性手势,后者与语音配合用来加强或补充某些信息(如演讲者用手势描述动作、空间结构等信息).　　③离心手势和向心手势,前者直接针对说话人，有明确的交流意图，后者只是反应说话人的情绪和内心的愿望.另一种分类方法〔5〕是将手的运动分解为两个可测量分量：①手掌位置和方向；②手势弯曲度，并根据这两个分量的不同组合对手势做了表1所示的完备的分类.　　可见手势的各种组合相当复杂，因此，在实际的手势识别系统中通常需要

8、对手势做适当的分割、假设