基于kinect深度检测手势的方法

《基于kinect深度检测手势的方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、一种使用深度传感器检测手势的方法摘要深度传感器，包括Kinect和Xtion，为未来的人机交互开创了可能性，即使现在已经有使用深度传感器检测人体骨骼和姿势的成熟技术，但是在检测手和识别复杂手势方面仍然存在没有解决的问题，因为手仅仅占据深度传感器形成图像的一小部分，因此，手的细节比较难提取出来。在这篇文章中，我们提出了一种检测手势的新的方法，它能够实现如下功能：1，通过肤色分割和K均值聚类来分割手；2，找出形成手形状的凸包点和轮廓；3.检测每个手指的位置；4.用一套已检测出的收数据来代表手势。一系列应用证明，我们提出的方法具有鲁棒性和有效性。介绍

2、在人机交互（HCI）中，确定无疑，手和手指的识别是一个有前途的部分，特别是在某些方面。比如，在医疗系统中，手势能够确保更有效的手术[1]；在计算机游戏中，通过指尖控制将会不可避免的多触摸设备[2]；在人机器人交互中，手势也是指导机器人的一个重要部分[3]。作为一种经济实惠的选择，深入细致的研究普遍流行且廉价的摄像头（如Kinect和Xtion等），然而，基于这种传感器的研究大都是全身运动研究（比如步行，跳跃）[4][5]。比如JamieShotton,etal.在[4]中所陈述那样，他们把整个骨骼分成几部分，然后将计算部分因子映射到骨骼关节点上

3、，以此来实现骨骼追踪。但是对于小规模的识别，比如手和手指，仍然没有解决。基本上说这是一个低分辨率的深度传感器设备（传感器[6]的分辨率是640*480），使得检测我们的手和手指比较困难，进而导致识别的不准确性。为了更精确，需要一些相当严格的条件（比如照明和杂乱背景）来捕获一副图像，否则，不能够保证手检测的稳健性，并且这些限制会极大的影响最终的结果。在虚拟现实中，解决这种问题的传统方法是使用一个数据手套[7]或其他可穿戴的触觉传感器。正如ValentinoFrati在[8]中所提及那样，可穿戴触觉能够和Kinect协调工作来获得手指位置，但是附属

4、装置比较昂贵，可能会引起手势的不自然，这会为这个研究的实际应用造成障碍。在我们的研究中，我们采用微软的深度感受摄像头，但是必须注意到，任何深度感应相机都是可以接受的，比如ASUSXtionPro。作为一款游戏控制器，微软的Kinect在2010年推出，包括RGB彩色摄像头和深度传感器。Kinect不仅应用于计算机游戏，还可以应用于其他领域，比如物体追踪和手势识别。据我们所知，尽管先前工作中的手势识别已经取得了很大的进步，但是仍然不能令人满意。比如，大部分传统的方法需要一个训练过程和一个数字图像分析[9][10]，这将需要很长的阶段，并且结果将会

5、被直接限制在数据组中。尽管ZhouRen,etal.在[11]中所提的基于手势识别实现的EarthMover’sDistance(EMD)方法相当新颖，但是事先收集数据的要求是一个不能忽视的缺陷。而且[11]中的结果对手指深度参数比较敏感，前提条件是，使用者必须事先在演示手的腕部系一条黑色带子。其他捕捉手势的更好办法也有涉及，在[12]中只是用了RGB信息，MatthewTang在[13]中同时考虑了RGB和深度信息，然而，他的方法只能识别抓和放的手势，并且他不能够得到手指的某种位置和方向，这两种缺点将会明显的影响这种方法的使用范围。XiaLi

6、u,etal.在[14]中介绍了一种使用深度数据的手势识别的新方法，但是不是使用普遍使用的Kinect传感器，他们使用的装置仅仅局限于他们的实验。这篇文章中所提到的方法和以上方法不同，结合RGB和深度数据，我们的方法能够检测到手的位置，不用像在[8][11]中使用额外的工具。但是，不是简单地从预处理数据库中匹配大规模数据，我们的方法能够检测手指的位置，这位进一步的姿势项目和界定开创了可能性。借助于这种方法的优势，我们这种方法的最终实现将会为开发者提供开放式APIs，它能够模拟各种手势。在这篇文章中，我们介绍了一种识别手和手指姿势的新的方法，和其

7、他相关工作相比，我们的工作主要如下：1）识别手掌和指尖位置；2）识别手指方向；3）识别多个手的姿势；4）将会为未来的研究者提供手数据来获得手势的信息，这对于进一步研究特定手势应用的发展将会是一个关键；5）实现这个方法不需要额外的工具，这将会保证使用者的灵活性，并且增加这些方法对于某些领域的使用；6）和其他方法不同，我们的识别方法不基于任何数据库和机械训练。II手分割A：通过肤色分割发现手先前工作中基于深度传感器来检测手势的方法不能够把它输出的RGB图像考虑在内，然而，比深度阶深度帧包含更多的信息，RGB帧能够保证我们找到传感器前方肤色物体的大概

8、位置。在大部分情况下，人类皮肤，比如手，肘和脸的皮肤和周围物体（墙和衣服等）的颜色大不相同。考虑到这种不同，如果我们能够从RGB图像中的颜色特征来分辨