手势识别在自然交互中的应用

《手势识别在自然交互中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、《智能机器人》课程实验报告手势识别在自然交互中的应用学院计算机科学与工程学院专业计算机应用技术组员徐庸辉学号201120112011学生导师罗荣华指导教师肖南峰教授提交日期2012年7月1日智能机器人课程实验报告目录1.实验要求-1-2.设计平台-1-3.实验原理-1-3.1.手势识别现状及分类-1-3.1.1.静态手势识别-1-3.1.2.动态手势识别-1-3.2.场景建模方法-2-3.3.自然交互与虚拟键盘-3-4.朴素手势识别分析-4-4.1.轮廓关键点-4-4.2.手势区域同心圆定位-4-5.实验设计-5-5.1.背景消除流程设计-5-5

2、.2.手势识别流程设计-6-5.3.虚拟键盘设计-7-6.实验结果-7-6.1.手指数目识别结果-7-6.2.虚拟键盘输入结果-9-7.实验心得-10--10-智能机器人课程实验报告-10-智能机器人课程实验报告1.实验要求与自然语言相同，手势语言也能表达复杂信息，这样手势识别就可以进行人机交互，而不存在信息传达的困难，本文的目的是设计一个朴素的，无需分类的手势识别方法，并利用手势识别来实现基于自然交互原则的虚拟键盘。这样可以讲手势语言转换为自然语言。2.设计平台操作系统为WindowsXP，用VS2010+QT+opencv作为开发平台。3.实

3、验原理3.1.手势识别现状及分类手势识别根据不同的识别对象，识别方法可分为静态手势识别和动态手势识别。目前流行算法的大致流程分为手势分割，手势建模，特征匹配。图3-1手势识别处理流程图3.1.1.静态手势识别静态手势识别是针对单帧的手势图片做识别。在手势分割的过程中主要使用肤色模型（色彩聚类特征），轮廓边缘（canny检测）等；在做手势建模时主要使用一些图像属性（轮廓，图像矩，特征，直方图）；特征匹配时使用模板匹配法，神经网络法等。3.1.2.动态手势识别相比与静态手势识别，动态手势识别是针对手势图片序列来分析手势的含义。所以动态手势识别的手势分

4、割涉及到运动区域检测，场景建模等。在做手势分割时经常用到的运动跟踪方法有差值图像分割,camshaft,卡尔曼跟踪预测,背景剪除法。-10-智能机器人课程实验报告在做手势建模时主要使用一些运动序列（计算运动光流,抽取运动轨迹）来估算。特征匹配时使用类似隐马尔科夫模型法、动态时间规划法等的一些方法。1.1.场景建模方法运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下，目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域，因此运动目标的正确检测与分割对于后期处理非常重要然而，由于场景的动态变

5、化，如天气、光照、阴影及杂乱背景干扰等的影响，使得运动目标的检测与分割变得相当困难。图3-2帧差分处理效果对比图根据摄像头是否保持静止，运动检测分为静态背景和运运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下，目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域，因此运动目标的正确检测与分割对于后期处理非常重要然而，由于场景的动态变化，如天气、光照、阴影及杂乱背景干扰等的影响，使得运动目标的检测与分割变得相当困难。根据摄像头是否保持静止，运动检测分为静态背景和运动背景两类。大多数视频监控

6、系统是摄像头固定的，因此静态背景下运动目标检测算法受到广泛关注，常用的方法有帧差法、光流法、背景减除法，高斯背景模型等。其中高斯背景模型效果比较好，但是由于我们的目的是利用朴素手势识别方法来完成虚拟键盘的设计，为了保证流畅的用户体验，减少图像分割在背景消除中的开销，这里我们选取最简单的帧差法。图3-3改进的背景消除方法效果图-10-智能机器人课程实验报告 帧差法是最为常用的运动目标检测和分割方法之一，基本原理就是在图像序列相邻两帧或三帧间采用基于像素的时间差分通过闭值化来提取出图像中的运动区域。首先，将相邻帧图像对应像素值相减得到差分图像，然后对

7、差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于事先确定的阂值时，可以认为此处为背景像素:如果图像区域的像素值变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。由于相邻两帧间的时间间隔非常短，用前一帧图像作为当前帧的背景模型具有较好的实时性，其背景不积累，且更新速度快、算法简单、计算量小。算法的不足在于对环境噪声较为敏感，闽值的选择相当关键，选择过低不足以抑制图像中的噪声，过高则忽略了图像中有用的变化。对于比较大的、颜色一致的运动目标，有可能在目标内部产生

8、空洞，无法完整地提取运动目标。1.1.自然交互与虚拟键盘人机交互、人机互动（英文：Human–ComputerInteraction[1