基于kinect骨骼信息和改进重心距离法的指尖识别

《基于kinect骨骼信息和改进重心距离法的指尖识别》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于Kinect骨骼信息和改进重心距离法的指尖识别摘要：针对肤色识别易受环境影响问题，提出了一种基于Kinect骨骼信息和改进重心距离法的手指指尖识别方法。首先采用微软Kinect摄像头获取人体骨骼信息，并将双手坐标点的三维信息转换成彩色图上的二维信息进行手掌区域的提取。然后利用OpenCV基于肤色检测算法将手掌轮廓从背景图像中分割出来。最后针对重心距离法鲁棒性差的特点提出一个改进因子。实验结果证明，该方法可以高效地检测出手指的指尖位置，识别出人体的手指。实验结果表明该方法能有效排除类肤色区域和手指轮廓不足对指尖检测造成的影响，具有较

2、高的检测精度。关键词：骨骼跟踪；指尖识别；Kinect中图分类号:TP18文献标识码：A文章编号:1009-3044(2014)22-5287-04在与计算机、手机等智能设备进行人机交互过程中，手都起到了非常重要的作用。随着计算机技术的飞速进步，但是鼠标、键盘作为传统的人机交互设备从第一台计算机应用以来仍然占据着主导地位。最近，一些革命性的控制器和传感器被发明，用于实现更自然的人机交互，例如数据手套，触摸显示屏、语音合成器、位置跟踪器等等。用户为了获得较高的精度不得不与设备的不便和束缚想妥协。手部的方位、运动、姿势都包含了重要的人机交

3、互信息[1-6],因此手部识别提供了一种非常诱人的人机交互方法，由于其具有不依赖复杂的硬件设备的有点，拥有广泛的应用前景和研究价值。为了让计算机能理解我们手的行为，首先必须让计算机能够“看到”它，国内很多学者展开了基于单目机器视觉的手势识别研究[7-14]o随着微软体感周边外设Kinect的推出，让我们有机会采用比较低的成本实现三维空间中用户及手的识别，从而让大众都有可能享受到便捷的人机交互方式。该文利用Kinect传感器的骨骼跟踪技术，从复杂背景下首先提取出手部图像，然后利用手部肤色一致这一特征提取出手部的外围轮廓，最后通过改进重心

4、距离法来提取出指尖位置。1算法描述本文采用了微软公司的Kinect外设作为用户信息采集手段。程序分为三个模块，分别是手掌提取、轮廓提取和指尖识别。三个功能模块顺序执行来完成指尖的最终识别。1.1手掌区域提取指尖识别的第一步是获取用户手掌所在的图像区域，基于机器视觉的获取方法首先要消除背景信息和自身其他肤色如脸部和手臂的干扰。Kinect传感器可以同时获取RGB彩色图像和深度数据，使用微软提供的KinectSDK程序可以从Kinect骨骼数据流中获取骨骼三维坐标信息。将坐标信息映射到获取的彩色图像上，对于关节点用圆形显示，各个关节之间用

5、直线连接。将用户的骨骼信息绘制到彩色图像上以判断获取的骨骼信息是否正确。边界提取算法如下：从深度图像中提取出人体的双手的三维坐标信息，以投射到彩色图像平面的坐标点（x,y）为中心，设定一个初始最大正方形边长乘以一个距离系数来获取手部区域。距离系数=1-Duser/Dmaxo其中Duser是测试者手部与Kinect探头之间的距离，Dmax是Kinect的最大有效探测距离。根据该公式，获取的用户手部区域会根据用户的远近进行动态变化以有效提取手部。图1是测试者距离Kinect探头的距离在1.3m的骨骼信息和手掌提取测试截图,经过实验验证设定

6、的矩形区域边长为80像素可以完整包围手部。1.2轮廓提取手部提取获取的是一个包含手掌轮廓的矩形区域，指尖识别的第二步就是从该区域中提取中手掌的外部轮廓，为指尖识别做准备。考虑到手部特征Kinect彩色摄像头提取到的主要特征有颜色和形状这两种最明显的特征［15］。形状是指手部特有的形状手指从手掌向外延伸，但是手势人体最灵活的部分，它具有高度自由，从而导致手型有多重变化，因此很难找到一个特征提取的规律，而颜色也就是肤色，不但容易识别而且非常均匀，容易识别。肤色提取仅仅需要对检测图像中符合的颜色进行提取。基于肤色的手部提取是利用人体的肤色特

7、征，该方法不受目标位置、角度和大小的影响，具有较强的稳定性。在手部识别中，由于手部肤色在背景中突出且颜色均匀，肤色作为手部的重要特征可以作为检测手部的识别条件。在肤色判定之前，需要确定使用的颜色空间，并且在颜色空间中建立肤色模型。在得到手部图像后使用OpenCV的canny算子得到手部的外轮廓边缘，并将轮廓的重心作为掌心。图2中所示是将提取的手掌区域经过肤色提取、canny算子和重心提取的过程截图。1.3指尖识别指尖识别使用的是如图3所示的重心距离法[16],红色点是手的重心，那么手的边缘的所有点与重心点的距离按顺时针方向或者逆时针方

8、向遍历，将出现峰值的轮廓点作为指尖的候选点。根据手指特点正常情况下，手指的y坐标应该高于掌心坐标，因此遍历完外围轮廓之后，将候选点的坐标与掌心坐标进行比对，低于掌心坐标的候选点将予以剔除。图4测试者双手的变化手型的和指尖