人机交互读书笔记.doc

《人机交互读书笔记.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《基于视频的人机交互技术》读书笔记07级计科2班书名：《基于视频的人机交互技术》摘要：人机交互（Human-ComuterInteracton）是研究人、计算机以及它们之间相互影响的技术，人机交互技术是当前信息产业竞争的一个焦点，世界各国都将人机交互技术作为重点研究的一项关键技术。本文设计了一个基于视觉的人机交互系统，该系统能够实时地对从摄像头中输入的3种静态手势进行识别，并通过识别结果控制鼠标的操作，主要有鼠标移动、鼠标左键单击和鼠标左键双击。主要内容：绪论部分，主要阐述了论文的研究目的、背景以及相关领域国内外研究的现状。基于视觉的手势识别技术基础部分，

2、主要从手势建模、手势分析、手势识别三个方面介绍了基于视觉的手势识别技术。方案设计部分，详细介绍了本文从手势图像输入到人机交互实施的详细流程。方案实现和结果分析部分，介绍实际的程序执行效果，并试图从理论上分析和说明。最后，简要总结了本文所做的工作，分析所用方法的优势和缺陷，并简单介绍了改进的方法。读书体会：★绪论章节人机交互（Human-ComputerInteraction）主要研究人、计算机以及彼此之间互相影响的有关技术。视觉语言（包括手势和面部表情）作为一种自然的人-人信息交互的辅助方式，具有所见即所得、自然方便等优点，因此在新一代“以人为中心”的智能

3、人机交互中得到了广泛的关注。人机交互是随着计算机的出现应运而生的，它的发展经历着几个阶段：(1)手工作业阶段。(2)作业控制语言和交互控制语言阶段。(3)图形用户界面(GUI)阶段。(4)网络用户界面阶段。(5)多通道、多媒体的智能人机交互阶段。★基于视觉的手势识别技术基础章节一个基于视觉的手势识别系统的总体构成下图所示。首先，通过一个或多个摄像机获取视频数据流。接着，系统根据手势输入的交互模型检测数据流里是否有手势出现。如果有，则把该手势从视频信号中切分出来。然后，根据手势模型进行手势分析，分析过程包括特征检测和模型参数估计。识别阶段，根据模型参数对手势

4、进行分类并根据需要生成手势描述。最后，系统根据生成的描述去驱动具体应用。连续动态手势识别系统组图手势模型对于手势识别系统至关重要，特别是对确定识别范围起关键性作用。几乎所有的手势建模方法都可以归结为两大类：基于表观的手势建模和基于3D模型的手势建模。基于表观的手势模型是建立在手(臂)图像的表观之上，它通过手势在图像(序列)里的表观特征去给手势建模。基于3D模型的手势建模方法考虑了手势产生的中间媒体(手和臂)，一般遵循两步建模过程：首先给手和臂的运动以及姿态建模，然后从运动和姿态模型参数估计手势模型参数。手势分割又可以分为静态手势分割和动态手势分割。静态手势

5、分割主要有：(1)基于阈值的方法。(2)基于区域的方法，它主要利用了空间的局部特征，一般手势部分的特征比较相似，和背景有很大不同，可以将相似性质像素分离出来形成一个区域，该区域就是分割的目标，如肤色检测就是属于这种方法。(3)基于边缘检测的方法，通过分析图像的变化情况找出手势边缘，整个边缘形成的闭合区域就是分割的手势了。动态手势分割主要有：(1)差分图像法，利用当前图像(含有手势)差分背景图像(不含手势)，可以得到手势，这也被称作背景减除。(2)时间差分，在连续的两帧或三帧间采用基于像素的时间差分并且阈值化来提取图像总的运动区域，是对差分图像的变相利用。(

6、3)光流法，一般运动物体随时间变化在图像中表现为速度场的特性，根据一定的约束条件可以估算出运动所对应的光流。手势分析阶段的任务就是估计选定的手势模型的参数。分析阶段一般由特征检测和特征参数估计两个串行任务组成。在特征检测的过程中，必须首先定位手势，根据所用线索的不同，可以将定位技术分为基于颜色定位、基于运动定位、以及多模式定位等三种。手势识别就是把模型参数空间里的轨迹(或点)分类到该空间里某个子集的过程。静态手势对应着模型参数空间里一个点,而动态手势则对应着模型参数空间里的一条轨迹,因此它们的识别方法有所不同。★方案设计章节实现基于视频的人机交互的总体步骤

7、是：(一)读入视频流，利用DirectShow获取视频，同时也需要对视频进行必要的分析，获取信息，如视频帧率。图像格式和大小等。(二)图像预处理，主要有图像灰度化、图像平滑、图像二值化等步骤。(三)手势提取，利用边缘检测的方法，得到手势轮廓。(四)特征提取，计算轮廓的面积，轮廓矩形的长宽等。(五)窗口控制模块，即根据手势识别结果控制鼠标的行为。(一)是否继续识别，程序默认是一个while()循环结构，不断对视频图像进行分析，设置了一个循环结束条件(如按键结束)以控制程序结束。总体框架图如下：一．图像获取及预处理图像在采集和传输过程中会受到各种噪声的干扰和影

8、响，不可避免会出现失真。图像预处理的目的就是去除图像中的噪声，加强