三维点与二维图像协同的面部表情识别方法研究

《三维点与二维图像协同的面部表情识别方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中文图书分类号：TP391密级：公开UDC：004学校代码：10005硕士学位论文MASTERALDISSERTATION论文题目：三维点与二维图像协同的面部表情识别方法研究论文作者：陈阔学科：计算机科学与技术指导教师：贾熹滨论文提交日期:2016年6月UDC：004学校代码：10005中文图书分类号：TP391学号：S201307031密级：公开北京工业大学工学硕士学位论文题目：三维点与二维图像协同的面部表情识别方法研究英文题目：RESEARCHOFFACIALEXPRESSIONRECOGNITIONBASEDON3DPOINTSAND2DIMAGEINFORMATI

2、ONCOLLABORATION论文作者：陈阔学科专业：计算机科学与技术研究方向：计算机应用技术申请学位：工学硕士指导教师：贾熹滨副教授所在单位：计算机学院答辩日期：2016年6月授予学位单位：北京工业大学独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：陈阔日期：2016年6月8日关于论文使用授权的

3、说明本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：陈阔日期：2016年6月8日导师签名：贾熹滨日期：2016年6月8日摘要摘要面部表情在人与人之间的交流上有重要的作用，人脸表情相对文字、语音等媒介在表达人的情感、情绪方面具有更加直观、准确的优势。将自然人这种情感交互模式用于如虚拟远程教学、虚拟游戏、疲劳驾驶检测等人机交互领域，有利于提升人机交互的自然性。目前面部表情识别主要采用摄像设备采集的二维

4、图像作为输入，通过二维图像样本训练表情识别模型，从而实现交互环境下基于面部图像的表情认知。但研究证明包括深度信息的三维表情信息在表情理解中也占有重要的地位，因而基于三维信息的表情识别也逐渐成为一种主要方法。为探讨二维图像和三维点坐标信息融合对表情识别的提升作用，本文研究了基于特征融合表情识别效果。然而实际应用环境，存在二维表情图像易获取，而三维表情信息需要特定的采集设备，数据采集相对困难的问题。本文研究改进了深度超限学习机模型，以面部捕捉仪获取的三维表情数据为基础，二维表情图像数据做局部参数修正，利用知识迁移建立了3D和2D信息协同的表情识别模型，将3D面部表情识别模型迁

5、移到了针对2D面部表情数据的识别中。本文主要的研究工作和创新点如下：1.构建了基于面部标记点坐标的3D表情数据集与对应的2D表情图像数据集。由于实验室购置的OptiTrack面部动作捕捉设备可以精确地捕捉特定面部标定点的三维坐标点数据，捕捉到的三维点数据相比二维图像数据能够更加准确地表达面部表情过程中的面部运动信息。本文利用OptiTrack面部捕捉设备构建了基于面部标记点坐标的3D表情数据集，数据集包含27个特定位置标记点的三维坐标点数据。同时，利用高清摄像头采集了相同对象的2D表情数据集。两类数据集中各含有7个被采集对象的6种基本表情，每个表情共有5组数据。2.利用深

6、度超限学习机研究了3D表情与2D表情的融合表情识别。本文通过研究3D几何向量和2D图像纹理特征融合的表情识别方法，证明特征融合的方法能够提高单独种类特征下的表情识别效果。为提取具有良好表征能力的表情特征，本文利用深度随机网络中的深度超限学习机提取3D几何向量与2D表情融合数据的特征，利用提取的特征进行表情识别。实验结果表明，深度超限学习机的多层ELM-AE网络具有很强的特征提取能力并且能提高基于特征融合的表情识别效果。3.提出一种基于改进深度超限学习机的迁移学习模型，研究了基于迁移学习的表情识别。迁移学习模型由深度超限学习机中的多层ELM-AE网络与OS-ELM分类器组合

7、而成。本文利用迁移学习模型将基于三维点表情数据的表情识别模型I北京工业大学工学硕士学位论文迁移到基于二维图像的表情识别中，提升了基于二维图像数据的表情识别效果。关键词：表情识别；纹理特征；3D几何向量；迁移学习IIAbstractAbstractFacialexpressionsplayanimportantroleincommunicationbetweenpeople,andthefacialexpressionhaveamoreintuitive,accurateadvantageinexpressinghu