基于表观和头部姿态的视线估计系统设计与实现

《基于表观和头部姿态的视线估计系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于表观和头部姿态的视线估计系统设计与实现THEDESIGNANDIMPLEMENTATIONOFAPPEARANCE-BASEDHEADPOSE-FREEGAZEESTIMATIONSYSTEM刘瑞欢哈尔滨工业大学2016年12月万方数据国内图书分类号：TP391.4学校代码：10213国际图书分类号：621.3密级：公开工程硕士学位论文基于表观和头部姿态的视线估计系统设计与实现硕士研究生：刘瑞欢导师：王轩教授申请学位：工程硕士学科：计算机技术所在单位：深圳研究生院答辩日期：2016年12月授予学位单位：哈尔滨工业大学万方

2、数据ClassifiedIndex:TP391.4U.D.C:621.3DissertationfortheMaster’sDegreeinEngineeringTHEDESIGNANDIMPLEMENTATIONOFAPPEARANCE-BASEDHEADPOSE-FREEGAZEESTIMATIONSYSTEMCandidate:RuihuanLiuSupervisor:Prof.XuanWangAcademicDegreeAppliedfor:Master’sDegreeinEngineeringSpecialty:Compute

3、rScience&TechnologyAffiliation:ShenzhenGraduateSchoolDateofDefence:December,2016Degree-Conferring-Institution:HarbinInstituteofTechnology万方数据哈尔滨工业大学工学硕士学位论文摘要视线估计是预测视线方向的过程。视线估计具有重大的研究价值和应用价值，被广泛应用在神经科学、心理学、计算机科学中。视线估计方法主要有基于模型的视线估计和基于表观视线估计两种方法。在基于模型的视线估计中，复杂的设备（需要多个红外光

4、源和高清摄像机）大大限制了该方法的应用范围。而基于表观的视线估计方法因为设备简单、应用范围更广而成为主流研究方法。本文采用基于表观的视线估计方法，从大量的数据中学习视线估计模型的方法，过程主要分为训练阶段和测试阶段。目前基于表观的视线估计方法主要存在两个问题：一是精度比较低，二是不能适应大幅度的头部移动。针对目前存在的主要问题，本文将人眼图像和头部姿态作为输入特征，视线方向作为输出，采用深度学习方法学习视线估计模型。本文实验在系统校准（包括张正友标定和基于镜面反射的摄像机姿态估计）的基础上，通过Viola-Jones目标检测算法检测人脸

5、和人眼，利用SupervisedDescentMethod（SDM）算法检测人脸特征点，根据人脸特征点通过3D人脸模型变换的方法估计头部姿态，采用卷积神经网络（ConvolutionalNeuralNetwork,CNN）的方法学习视线估计模型。本文实现了一个高效的数据采集程序和一个实时的可适应多人的视线估计系统。本文人工采集训练数据63200对，包括左右人眼图像、头部姿态和视线方向。在头部姿态估计中，当人脸特征点不可见时，提出加入了粗略的头部姿态估计，增大了头部移动的幅度。在瞳孔中心检测中，本文提出一系列先验知识和后处理过程，可以鲁棒

6、的适应眨眼、眼镜反光、头发等特殊情况。本文改进了LeNet5和GoogLeNet网络结构，使分类用的网络能够适应回归任务，并训练了三个模型：基于MPII公开数据集的视线估计模型，基于本文采集的数据集的视线估计模型，基于本文采集的数据集的注视点估计模型。本文实验表明，基于卷积神经网络的视线估计模型在MPII数据上的平均误差为5.2°，在自己采集的数据集上的平均误差为2.6°，注视点估计模型平均误差达到220像素，在适应大幅度（yaw角和pitch角范围从-45°到+45°）的头部移动的同时提升了视线估计的精确度。关键词：摄像机姿态估计；人

7、脸检测；人脸特征点检测；头部姿态估计；瞳孔中心检测；卷积神经网络I万方数据哈尔滨工业大学工学硕士学位论文ABSTRACTGazeestimationistheprocessofpredictingthedirectionofhumansight.Gazeestimationhasgreatresearchvalueandapplicationvalue,andiswidelyusedinhuman-computerinteraction,virtualreality,assisteddriving.Therearemainlytwoga

8、zeestimationmethods,whicharemodel-basedandappearance-basedgazeestimation.Inmodel-basedgazeestimation,it