基于双目视觉的地面投影互动系统研究

《基于双目视觉的地面投影互动系统研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于双目视觉的地面投影互动系统研究作者姓名何伶珍学科专业控制理论与控制工程指导教师谢巍教授所在学院自动化科学与工程论文提交日期2018年5月14日TheResearchofProjection-floorInteractiveSystemBasedonBinocularVisionADissertationSubmittedfortheDegreeofMasterCandidate：HeLingzhenSupervisor：Prof.XieWeiSouthChinaUniversityofTechnologyGuangzhou,China分类号：T

2、P391.41学校代号：10561学号：201520112710华南理工大学硕士学位论文基于双目视觉的地面投影互动系统研究作者姓名：何伶珍指导教师姓名、职称：谢巍教授申请学位级别：学术型硕士学科专业名称：控制理论与控制工程研究方向：图像处理及模式识别论文提交日期：2018年5月14日论文答辩日期：2018年6月5日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：胥布工委员：谢巍、乔宇鹏、祁恬摘要随着人机交互技术、虚拟现实技术的发展，人类对人机交互方式的需求越来越多样化，一种基于摄像与投影的互动系统在人机交互中的应用研究越来越广泛。目前的摄像

3、投影交互系统主要采用红外摄像头加红外激光辅助定位的方案实现，这种方案虽然实现原理较为简单，但是系统容易受到环境光线的干扰，需在屏蔽自然光的条件下使用。针对这个问题，本文设计并实现了一套基于双目视觉的地面投影互动系统，采用双目摄像头检测代替红外激光辅助定位方案。论文主要研究工作包括三个部分：（1）脚部实时检测算法的研究与实现。投影交互系统实现的最大难点在于投影场景中的交互对象的定位与识别。而深度卷积神经网络应用于物体识别领域，具有明显的实时性高和准确度高等优点。本文在重点阐述YOLO(YouLookOnlyOnce,YOLO)这一基于卷积神经网络的目标检测算法的

4、基础上，分析了其不足之处，如训练速度较慢、对细节区分度较差等，并针对这些不足提出了相应的改进方法，如对数据进行批规范化处理、对网络结构加入Inception模型以及改进梯度函数等，最后利用改进YOLO算法实现了对脚部的识别与定位。（2）脚尖坐标的估计及脚尖在图像的坐标到PC机鼠标坐标的映射。在实现脚部检测的基础上，结合脚部相对摄像头的方向信息设计了一种脚尖坐标的估计方法，并基于线性插值的原理设计一种坐标映射法实现脚尖在图像的坐标映射到PC机鼠标的坐标，从而调用鼠标API(ApplicationProgrammingInterface,API)，触发鼠标事件，实

5、现用户与系统的交互。（3）地面投影互动系统的实现。在Windows+Qt开发环境下，采用C++结合OpenCV编程，通过多线程技术实现双目摄像头的同步采集，结合脚尖的位置和深度信息基于双目视觉原理实现脚部动作的识别，并作为鼠标事件的逻辑对应，实现了一套功能完备的地面投影互动系统。实验结果表明，本文设计的地面投影互动系统能够实时检测用户脚部和识别定义的脚部动作，并有效减少环境光线的干扰，系统具有良好的实时性和鲁棒性。关键词：地面互动；投影系统；双目视觉；卷积神经网络；目标检测IABSTRACTWiththedevelopmentofHumanComputerIn

6、teractionTechniquesandVirtualRealityTechnology,thedemandforpatternsofhuman-computerinteractionhasbecomemorediverse,andtheresearchandapplicationofaninteractivesystembasedoncamera-projectioninhuman-computerinteractionhasbecomemoreandmoreextensive.Theimplementationofcurrentcamera-proje

7、ctioninteractionsystemisusinginfraredcameraandinfraredlasertoassistlocation.Althoughtheprincipleofthisplanissimple,itissusceptibletotheinterferenceofenvironmentallights.Tosolvethisproblem,thispaperdesignsandimplementsaninteractivefloorprojectionsystembasedonbinocularvision,usingbino

8、cularcameratoachiev