基于形变模型的人脸三维重构与表情传递的研究.pdf

《基于形变模型的人脸三维重构与表情传递的研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于形变模型的人脸三维重构与表情传递的研究RESEARCHONEXPRESSIONTRANSFERAND3DFACERECONSTRUCTIONBASEDONMORPHABLEMODEL王娟哈尔滨工业大学2018年6月国内图书分类号：TP242.6学校代码：10213国际图书分类号：681.5密级：公开工学硕士学位论文基于形变模型的人脸三维重构与表情传递的研究硕士研究生：王娟导师：王珂申请学位：工学硕士学科：机械电子工程所在单位：机电工程学院答辩日期：2018年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP

2、242.6U.D.C:681.5DissertationfortheMasterDegreeinEngineeringRESEARCHONEXPRESSIONTRANSFERAND3DFACERECONSTRUCTIONBASEDONMORPHABLEMODELCandidate:WangJuanSupervisor:WangKeAcademicDegreeAppliedfor:MasterofEngineeringSpeciality:MechatronicsEngineeringAffiliation:SchoolofMechatron

3、icsEngineeringDateofDefence:June,2018Degree-Conferring-Institution:HarbinInstituteofTechnology哈尔滨工业大学工学硕士学位论文摘要人机交互是智能机器人发展的一个重要部分，而表情信息作为一种更易接受的表达方式也是人机交互中一个主要研究领域。人脸识别作为计算机视觉的一个研究热点，面部形变传递是目前智能配音系统的一个发展方向，这个研究方向可以应用到智能配音系统中，机器人通过观测到的人物角色（目标角色）图像或视频构建其三维模型，同时观测源角色（配音者）面部变

4、化并将其面部形变传递到目标角色中，这样机器人就可以实现源角色对目标角色的口型校准配音。更加类人化的机器人语言翻译系统中可以让机器人不仅做到语言的准确，更能实现翻译口型的准确性。本课题构建了一种基于三维重构网格的表情传递模型，首先进行了提高大位姿及面部遮挡下人脸重构的复杂性以及简化模型的复杂性的研究，针对三种不同特征点检测算法的研究，在基于Haar-Like特征下进行人脸区域检测，并在此基础上进行了特征点检测的分析，验证算法改进的有效性。其次，基于面部DLIB特征点完成人脸模型的重构，课题进了三种不同重构模型的研究，分析各个模型的特性，选取适

5、合自己表情传递过程中一种简易发的重构模型。再次，在重构网格的基础上实现表情传递，表情传递部分主要采用基于仿射变换的形变变换传递模型，采用此算法优化控制点的选择使整个形变变换在最少控制点的约束下实现基本表情传递。最后，采用ISOMAP算法构建模型的纹理向量对模型渲染，实现更加逼真的表情传递。此模型应用于智能服务机器人中使人机交互的方式更人性化，更具趣味性，机器人也更加类人化。关键词：三维重构；三维形变模型；表情传递；特征点提取-I-哈尔滨工业大学工学硕士学位论文AbstractHuman-computerinteractionisanimpo

6、rtantpartofthedevelopmentofintelligentrobots,andfacialexpressioninformationasamoreacceptableformofexpressionisalsoamajorresearchfieldinhuman-computerinteraction.Facerecognitionisaresearchhotspotofcomputervision.Facialdeformationtransferisadevelopmentdirectionofthecurrentin

7、telligentdubbingsystem.Thisresearchdirectioncanbeappliedtointelligentdubbingsystems.Itcanbeconstructedbyobservingthecharacter(targetcharacter)imageorvideo.Inthethree-dimensionalmodel,therobotobservesthefaceofthesourcecharacter(voicepartner)andtransmitsitsfacialdeformationt

8、othetargetcharacter.Inthisway,therobotcanrealizethemouth-aligneddubbingofthetargetcharact