基于视觉实时手势识别和其在演示控制中应用

《基于视觉实时手势识别和其在演示控制中应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于视觉实时手势识别和其在演示控制中应用　　作者简介：孙靖（1987—），男，山西忻州人，硕士研究生，研究方向：模式识别与智能控制，计算机视觉（E-mail：wjsunjing@163.com）；艾矫燕（1970—），女，湖南株洲人，教授，博士，研究方向：模式识别与智能控制、智能信息处理。摘要：研究基于计算机视觉的实时动态手势识别技术，并利用OpenCV计算机视觉库在VS2010平台上设计一个基于该技术在多媒体教学中PPT演示控制方面的应用。首先，利用背景差分法进行手势检测，在背景更新的基础上，通过背景差分图和颜色直方图的反投影图来检测运动手势区域，可以达

2、到较为满意的实时运动手势检测效果；其次，采用基于颜色直方图的粒子跟踪算法进行手势跟踪，基本能满足跟踪的实时性；最后，在手势识别阶段，采用基于Hu不变矩的轮廓匹配算法，得到较好的手势识别效果；使用六种手势，来实现演示文稿中的控制应用。关键词：计算机视觉；背景差分；粒子跟踪；手势识别；Hu矩中图分类号：TP391.41文献标识码：A1引言10随着计算机软硬件技术的发展，人机交互已经由过去的鼠标、键盘方式逐渐向更加灵活生动的语音、姿势等新颖交互方式发展。由于基于视觉方式具有便捷和开销低等优点，因此，利用计算机视觉技术来使计算机理解用户的命令，从而做出控制动作，这

3、一领域的研究得到越来越多的重视。其中，人的手势作为日常生活中最为广泛使用的一种交流方式；因此，国内外许多研究机构开始对手势识别技术进行研究，并已经取得了一些阶段性的成果。较早的有：Freeman和Roth等人提出的基于方向直方图的手势识别系统；国内的高文教授等人于1994年提出了一种静态复杂背景手势目标的捕获与识别。经过二三十年的发展，人们对运动目标检测及跟踪进行了大量深入的研究：美国MIT实验室通过提取左右手质心的运动轨迹以及手势形状特征参数，结合语法规则识别40个美国手语，准确率达到97%；另外，MicrosoftKorea的HyeonKyuLee，采

4、用HMM的阈值模型，识别9种动态手势命令，平均识别率高达98.19%；国内的任海兵提出了基于DTW的手势识别算法，该算法能准确识别12种手势。10现在，基于视觉的手势识别技术更多的是应用在娱乐、游戏方面，比如微软前段时间推出的Xbox360游戏机体的体感外设Kinect及多款相配套的体感游戏，玩家可以通过手势在游戏中进行操作和互动，使得人机互动娱乐进入了一个新纪元。与此同时，还没有比较成熟的手势识别技术应用在现代教学系统中。因此，本文的研究重点是基于视觉的实时手势识别技术在多媒体教学演示控制中的应用。在基于视觉的手势识别研究中，需要解决的问题主要有两个：一

5、是实时检测运动手势的信息，二是识别运动手势的信息并做出响应。对运动手势检测，本文采用背景差分结合改进颜色直方图特征的运动检测方法[1]；对运动手势跟踪，本文采用粒子滤波算法[2]结合改进颜色直方图信息的方法；手势识别阶段，本文采用了基于Hu不变矩特征[3]的轮廓匹配算法[4]；本文研究基于计算机视觉的手势识别系统，实现了在播放控制中运用手势进行开始、翻页、退出等功能，极大的提高了课堂教学的灵活性。2手势检测实时视频图像中的运动手势检测所需要完成的任务是：能够快且准的检测出手势在实时图像中的主要位置，并且能将位置所在的特定区域作为后续跟踪、识别的感兴趣区域。

6、手势检测算法的好坏，直接影响整个系统的跟踪以及识别的效果。目前，运动目标检测[5]的算法比较常用的有三种方法：光流法、帧间差分法和背景差分法。本文考虑实现环境为固定摄像头采集实时视频图像，背景基本不动，因此采用背景差分结合改进颜色直方图信息的运动检测方法。102.1背景差分法本文研究中，选取摄像头启动后的前10帧图像的平均作为最初的背景图像，把以后的实时序列图像当前帧和背景图像相减，进行背景消去。可以得到，运动手势区域的像素点的差分值比较大，背景区域的像素点的差分值比较小。另外，由于真实场景中的背景会因光线等外部条件产生微小的变化，长期的误差积累会造成最后

7、得不到理想的手势区域，因此背景需要进行实时更新，从而能及时反映当前帧的背景图像，背景更新[6]的公式如下：背景更新操作以后，对当前帧进行背景差分，大于阈值th1的图像点即为运动手势区域的点，并将得到的运动手势区域图像进行二值化操作，公式如下：3手势跟踪现在常用的一些跟踪算法主要有：卡尔曼预测算法、粒子滤波算法、均值偏移算法以及Camshift跟踪算法等。考虑到卡尔曼预测算法和均值偏移算法等都是线性跟踪算法，不能很好的应对目标运动的随机性，本文采用了粒子滤波算法。3.1粒子滤波算法原理10粒子滤波法是指通过用一组带有权值的随机样本，以及基于这些样本的估算来表

8、示动态系统的后验概率密度。当样本很大的时候，这种估计就等同于后验概