资源描述：
《一种交互输入新技术_三维手势识别》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第14卷第6期华东船舶工业学院学报Vol114No162000年12月JournalofEastChinaShipbuildingInstituteDec.2000文章编号:1006-1088(2000)06-0038-07一种交互输入新技术———三维手势识别曾芬芳,苏勇,陈洁(华东船舶工业学院电子与信息系,江苏镇江212003)摘要:结合文献资料及笔者的科研成果,综合介绍了基于数据手套和基于视觉(摄象机)输入手势的新的三维交互输入技术。这种技术利用计算机进行图象分析,并采用神经网络和几何方法对输入三维图象进行识别,从而实现三维的交互输出。这是一种具有广阔运用前景的新技术。
2、关键词:虚拟现实;手势识别;三维交互;神经网络中图分类号:TP39114文献标识码:A0引言[1,2]在虚拟现实中,手是用户模型中十分重要的动作与感知关系模型,人的行为特征是人机交互的重要研究内容。在虚拟环境中用手实现抓取、释放物体以及飞行、漫游、导航等三维交互任务和技术,以往是利用人的触摸行为和计算机的反应来获得基于人机交互的手段,一般采用硬设备如空间球、6D操纵杆、6D鼠标等来实现。但也可用人们的自然技能,通过计算机非接触式地(如数据手套和摄象机等)观察用户的动作,实现人机交互,这是一种通过手势识别来了解用户意图的、有前途的三维交互新技术。因为在VR环境中抓握该环境中的
3、物体,应与用户手在生活中的动作一致,这一切的研究都是基于运动学、动力学以及反运动学;这一切还与使用手掌、拇指和每个手指的位置在抓握物体时运用自然、可信的几何和物理特征有关;同时还要使用户能感知手抓握的作用力。显然这是一项十分艰巨的研究工作,但它在人机交互困难的领域(如虚拟现实环境、遥控机器人和电信会议、哑语手势等)使用户不需要训练就可用人类自然技能,充分发挥手在交互过程中的自然性、灵活性和适应性。国内外科学家对手势识别进行了大量研究。1994年,RamonMS和DannilT研制了一种基于物理[3]约束的手抓取过程的手动作合成的控制与抓取系统。1995年,LeeJintae
4、和KuniiTosiyasvL研究用[4]摄像机获得手的运动图像数据来自动分析三维手势,实现三维手势重构。1997年,加拿大多伦多大[5,6]学的SidneySF研究的GloveTalkII系统是目前最有影响的手势接口系统,他采用神经网络将用户手势转换成手势语言参数,通过语言合成器合成为语言输出。我国高文等人,也进行了基于手势和人的行为动作识别的手语合成技术的研究。1手势识别的原理1.1手势的概念手势是指在人的意识支配下,人手作出的各类动作,如手指弯曲、伸展和手在空间的运动等,可以是收稿日期:2000-05-15基金项目:行业基金项目(院编96311)作者简介:曾芬芳(19
5、40-),女,湖南益阳人,华东船舶工业学院教授。第6期曾芬芳等:一种交互输入新技术———三维手势识别39执行某项任务,也可以是与人的交流,以表达某种含义或意图。基于手势识别的三维交互输入技术,常用的有基于数据手套的和基于视觉(如摄象机)的手势识别。人手有20多个关节,其手势十分复杂,在VR(VirtualReality)中的交互过程,需分析手势的形成并识别其含义。如用户以自然方式抓取环境中的物体,同时还可以对用户产生相关的感知反馈,如对具有力反馈的手套,就能使人感知到抓取的物体的重量,对有触觉反馈的手套,能感知到用户所碰到的物体的质感,如毛毯有多粗糙等。所以计算机要能对人手
6、运动的灵活、复杂的手势进行识别是一项艰难而又十分有意义的任务。[7][8]手势的分类早在40年代,心理学家Quek.,Pavlovic等人从人机接口的角度对手势进行研究,按其功能分为:无意识的手运动表动作手的运动交流手势引用手语(如表示数字)表符号(手语)有意识的手运动(手势情态手势执行任务(如抓握锤)1.2手势识别的原理手势不但由骨胳肌肉驱动,而且还受人的信念、意识的驱使,它涉及到人的思维活动的高级行为。[9]人机交互的研究目的之一是使机器对人类用户更方便,从用户产生手势到系统“感知”手势的过程如图1所示。手的运动,是手势的表现形式。用户的操作意图是用户要完成任务的内容,
7、即用户心理活动(概念手势)G,经过运动控制(变换),用手势运动H表达。由经感受设备(变换Thi)将手的图1系统“感知”手势的过程运动H变换为系统的输入信息I,所以从G到IFig.1Processofsensinggesturebythesystem的映射过程为:Tgh:G→H,即H>Tgh(G)Thi:H→I,即I>Thi(H)Tgi:G→I,即I>Thi(Tgh(G))>Tgi(G)其中,Tgh为人体运动控制传送函数;Thi为输入设备传送函数。手势识别的任务就是从系统输入I推断、确定用户意图G,显然是以上映射的逆
