手势识别跟踪ppt课件.ppt

《手势识别跟踪ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于单目视觉手势识别跟踪算法重建与研究基于单目视觉手势识别跟踪算法重建与研究研究背景关键技术基于几何特征手势识别基于距离串的轮廓描述手势识别重建及跟踪设计实验结果分析1.研究背景1.1介绍：手势交互是一种简单的、直观的交互方式人机交互在当今计算机技术猛烈发展的今天逐渐人们日常生活中的一部分增强现实发展，基于手势增强现实发展成为必要1.1研究现状识别分类：基于数据手套（数据量小、速度快、不方便、昂贵）基于计算机视觉（摄像头、前景光明）算法分类：人工神经网络（自主学习、抗噪、处理时序能力差，用于静态手势识别）HMM（时空能力强，用于动态手势识别，速度慢）几何特征（边缘和

2、区域特征）基于视觉问题：识别率低实时性低手势变化不能太快2.关键技术预处理轮廓提取特征提取识别2.1预处理与轮廓提取色彩平衡平滑处理肤色提取（YCbCr、Otsu）轮廓提取Otsu（自适应阈值）对于Image,记T为阈值。前景点占比例为w0，平均灰度为u0，背景为w1，平均灰度为u1。图像的总平均灰度为u=w0*u0+w1*u1。从最小灰度到最大灰度遍历t，当t使得g=w0*(u0-u)^2+w1*(u1-u)^2达到最大时t即为分割的最大阈值。2.2特征提取常用特征：幅度特征：灰度值、三色值等等统计特征：直方图特征、统计性特征（均值、方差、熵等等）几何特征：特征点

3、、面积、周长、分散度（面积/周长）、伸长度（面积/宽度）等等Hu矩描述子（面积、重心、外接椭圆、投影峰度）傅立叶描述子3.基于几何特征手势识别3.1几何特征选取：手势面积手势重心最小外接矩形（长宽比例、手势大致方向）指尖指根候选点3.1.1指尖指根候选点提取1.轮廓凸性缺陷结构体CvConvexityDefect：typedefstructCvConvexityDefect{CvPoint*start;//凹陷开始点CvPoint*end;//凹陷结束点CvPoint*depth_point;//谷底floatdepth;//深度}CvConvexityDefect

4、;3.1.1指尖指根候选点提取去掉深度过小的凹陷从将轮廓起始点加入到指尖候选点将轮廓终点与已有的指尖候选点比较，符合的假如指尖集合凹陷最深点即为指根候选点3.1.2特征效果图蓝点为指根候选点黄蓝点为指尖候选点白点为手势重心黄点为指尖平均点白色矩形为最小外接矩形浅绿色为凸包线3.13手势模板系统识别1—10十个手势。3.14几何特征识别算法无手势输入：当手势面积过大或者过小；外接矩长宽比例过小轮廓个数过多手势面积与外接矩形面积比值过小按指尖个数将手势分类没有指尖：7和10的手势4个指尖：4的手势5个指尖：5的手势2个指尖：1、6、9手势3个指尖：2、3、8手势分辨出7

5、和10按外接矩形长宽比例box_leng7手势（1.6,2.2）10手势（1.0，1.6）分辨出1、6、9计算出两个指尖的距离记作绝对dis将绝对dis与外接矩形长轴做比值得到相对dis1手势（0.42，0.69）6手势（0.69，∞）9手势（-∞，0.42）分辨出2、3、8算出指尖平均点求出指尖平均点与指尖间最短距离将最短距离与外接矩形短轴做比值处理按距离比值分离出3手势（-∞，0.15）按外接矩形长宽比例分离出2、8按手势面积与外接矩形面积比例分离2、84基于距离串轮廓描述手势识别《一种基于轮廓线的形状描述与匹配方法》电子与信息报,2008,30(4):945-

6、952.王斌：博士后舒华忠：博士生导师施朝健：博士生导师罗立民：博士生导师东南大学、复旦大学4.1介绍将待匹配的两个目标轮廓等弧长分割成相同弧段用直线连接相邻割点构成多边形多边形顶点到轮廓几何中心的距离与两个后继顶点的距离构成3个距离串来描述形状满足唯一性、紧致性和不变性。计算简单对形状全局和局部特性能很好描述图形说明找出重心Pc计算直径DPc到Si距离αiSi到Si+1距离βiSi+1到Si+2距离γi对距离串归一化证明引理设A，B，C为平面上不共线的三点，已知点D到这三点的三个距离串α，β，γ，那么点D被唯一确定。证明证明证明描述能力距离串能唯一刻画形状，满足唯

7、一性利用几何重心，具有全局特征若干弦长刻画弧段，具有局部特征平移旋转并不影响弧段划分对距离串用直径做比值，具有缩放不变性匹配方法实验1234567891011原始100.097.097.092.990.087.982.877.878.863.645.690%&400%100.097.097.090.088.085.984.983.871.765.740.49*11个图像125*125像素局部变形，局部遮挡全局相似性匹配99*99次求出第N个最好匹配准确率4.2基于距离串轮廓描述手势识别10个手势作为模板，K=10每个手势轮廓采用50点，M=50系统初始化时计算1