基于表观的手势识别及人机交互研究

《基于表观的手势识别及人机交互研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要基于表观的手势识别及人机交互研究摘要具有与用户自然交互的能力是仿人机器人能够融入人类社会的关键，从机器人方面来说，交互涉及到感知通道和效应通道，感知通道接受环境的信息，效应通道是机器人作用于环境，控制交互过程中的信息接收。手势作为一个自然、直观的交互通道，在人机交互过程中起着重要的作用，不仅是一个交流信息和意图的通道，更是示范学习过程中一个必不可少的载体，可以使得普通的用户通过自然的方式与机器人沟通。在人机交互过程中，头眼协调运动控制有助于机器人有选择地获取外界信息，获得感兴趣的焦点，增强人机交

2、互过程中的自然性。本文从自然人机交互的角度出发，研究了独立于用户和视角的手势识别以及交互过程中机器人的头眼协调运动控制，在自主开发的通用仿人机器人头部系统平台基础上，构造了一个基于自然手势的人机交互系统，为后续的示范学习等研究奠定了平台基础。具体研究工作包括以下几个方面：(1)在静态手势识别方面，考虑到现有正向手势识别系统中所采用的特征不足以充分地表征自然手势，提出了使用完备特征集米等价地描述手势特性，根据提取Zemike矩的重构效果，来确定能够充分地表征手势的特征集，在计算矩的过程中提出了最小方形

3、边界的概念，以获得在相同阶次下Zernike矩最大的图像表征能力；另外等价特征的个数也揭示了手势集的复杂度，客观地反映出某种手势被识别的难易度。在特征降维方面，从分类的角度，提出了基于类别邻域的Isomap降维方法(CategoryNeighbor-Isomap，CN．1somap)，在特征降维过程中利用样本的类别信息来保持原样本之间固有的几何结构关系，实现准确降维。(2)关于动态手势识别，通过分析现有识别算法的特点和自然人机交互过程中的动态手势特性，提出了基于时间轴压缩的手势时空建模方法，以消除手

4、势的时空差异性，同时也是为了能够在此建模的基础一卜识别由不同用户在不同视角下作}n的手势。根据动态手势的运动特性，提出了速率边沿检测算法来分割手势的起止过程，通过跟踪图像平面内的手势运动，得到表征手势的一系列离散轨迹点。基于格式塔心理学的知觉定律，采用3次B样条拟合出手势的表观轨迹。引入曲线矩和仿射不变矩作为手势表观轨迹特征。针对特征空间中手势样本的不规则分布，提出了多变上海交i鑫大学{毒士学缀论文量分段线性决策树分类器，与通常的多变量决策树相比，树的规模更小，泛化性能更好。(3)研究了基于手势交互

5、过程中的机器人头眼协调运动问题。人机交互是一个双向的过程，机器人需要对用户的手势作出反应，在多自由度的头眼系统上，为了保证交互的连续性和成像的清晰性，需要有效地协调头和眼的运动。通过使机器人双眼聚焦在同一个注视点，得到注视点的空间坐标和头眼的期望运动转角；研究了机器入头部转动时双目的宰}偿运动模型及相应的控制算法。建立了一个6自由度的仿人机器人头部系统平台，从仿生学角度来说，这6个自由度的运动最具有代表性，并且最精篱地模拟出入类头部的主要运动形式。在多自由度机器入头部的注视实验表明，该模型能实现精确

6、的三维头眼协调运动控制。关键词：入机交互，手势识掰，完备特征集，特征降维，时溯轴压缩，多变量分段线性决策树，头眼协调，仿人机器人头部，示范学习Appearance··BasedHandGestureRecognitionandStudyonHuman——RobotInteractionAbstractTocoexistwithhumaninthesociety,itiscriticalforhumanoidrobottobecapableofinteractingwithhumannaturally

7、。Fromtherobotaspect，interactioninvolvesperceptionmodalityandeffectivemodality．Perceptionmodalityreceivesenvironmentinformationandeffectivemodalityoperatesontheenvironmentandcontrolsinformationreceivingduringhuman-robotinteraction．Asanaturalandintuitive

8、interactionmodality,gestureplaysanimportantroleinhuman—robotinteraction．Itisnotonlyamodalityfortransferringinformationintentbutalsoanecessarymediaduringthetaskoflearningfromdemonstration．Gesturehelpscommonuserstoeasilycommunicateandcont