基于人体运动跟踪的情感识别研究

《基于人体运动跟踪的情感识别研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于人体运动跟踪的情感识别研究：人体运动跟踪是计算机视觉和人机交互融合的一个重要研究方向，从视频中跟踪、获取人体数据，重建人体的三维运动。该文提出一种基于人体运动跟踪结合面部表情图像以及支持向量机的多分级融合的识别方法，把语音识别的输出结果和图像识别的输出结果进行融合，最终产生带情感标记的识别结果。　　关键词：人体运动跟踪；三维重建；特征融合；情感识别　　：TP182：A：1009-3044(2011)11-2649-03　　TheResearchofAffectiveRecognitionontheHumanMotionTracking　　DINGYi1,2,FUXian1　　(1

2、.TheCollegeofputerScienceandTechnology,HubeiNormalUniversity,Huangshi435002,China;2.Collegeofputerscienceandtechnology,HuazhongUniversityofScienceandTechnology,).andfuseISRresultsandFERresultsbymarkingpunctuationandachievetherecognitionresults.　　Keyanmotiontracking;threedimensionalreconstructio

3、n;featurefusion;affectiverecognition　　在交流中检测并理解他人的情感状态是人类智能的一种核心能力。这种能力在人的社会生活中是不可或缺的。但是在人与计算机的交流中，情感的作用在很长的一段时间都被忽视了。能够感觉到悲伤、高兴等情感并且根据这些情感调整自己行为的人机交互系统将会使计算机更加自然、高效和更加值得信赖。具有情感识别能力的人化人机交互将使计算机易于使用，并使使用者更愉快，因而可提高生产效率。目前已经有学者研究试图让计算机根据脸部表情和声音特征来理解人的情感，但是还很少有人研究根据人体运动特征识别情感。研究表明，人体运动特征中不仅包含丰富的情感，

4、而且包含有一些面部表情和声音中所没有的情感信息。因此根据人体运动特征识别情感具有重要的意义和不可替代的地位。　　1国内外发展现状与趋势　　通过情感识别来设计更加自然的、人化的人机交互系统是从Picard提出情感计算[1]的概念开始的。20多年来，研究者们从人的脸部表情和声音特征研究情感识别的方法，取得了大量的研究成果。最初的情感识别研究是从面部表情开始的，对面部表情的分析，已经形成了一个标准的面部表情编码系统（FacialActionCodingSystem）。面部表情编码系统将面部表情特征通过面部关键部位的60多种动作单元来描述。研究者们通过先提取出这些动作单元构成面部表情特征[2

5、]，再利用机器学习方法从这些特征中挖掘出情感模式来识别人的情感状态[3]。基于声音特征的情感识别也取得了大量研究成果[4]，识别的步骤和基于面部表情的情感识别类似，也是利用机器学习方法从声音特征中学习出情感模式[5]。近年来一些研究者开始将面部表情特征和声音特征结合在一起设计出基于多模特征的情感识别方法[6]。近年来有的研究者尝试将一些简单的静态的身体姿态特征（如手放的位置）和面部表情结合起来识别情感，结果表明能够大大提高识别率。但是系统地利用完整的人体运动特征（即动态身体姿态的变化规律）来识别情感的相关研究，尚未见公开的文献报道。　　综上所述，从目前来看，情感识别的研究主要集中在基

6、于面部表情和声音特征的情感识别，而心理学研究表明人体运动特征中包含有丰富的情感信息，是情感识别的一条重要途径。人机交互中情感识别的发展趋势有机地融合人体运动特征、面部表情和声音特征来识别情感。　　2基于人体运动特征的情感识别研究内容　　本研究实现一个情感识别原型系统。原型系统能够根据人体运动特征、面部表情和声音特征来识别人的情感状态。其中基于人体运动特征的情感识别是本研究的主要研究内容，相应的技术将采用本研究相应的研究成果；基于面部表情和声音特征的情感识别采用已有的技术来实现。原型系统的总体技术路线框架如图1所示。　　从数据的处理流程来看，情感识别的过程分两步完成：特征提取和情感分类

7、。特征提取从原始数据空间中提取出对情感识别有用的便于操作的特征数据，是一个将数据从原始数据空间映射到特征数据空间的过程；情感分类根据特征数据确定人的情感状态，是一个将数据从特征数据空间映射到情感描述空间的过程。　　从所使用的特征数据来看，整个过程是基于人体运动特征情感识别、基于声音特征情感识别和基于面部表情情感识别的综合。三者的融合可以采用信号级融合、特征级融合或决策级融合。信号级融合将多个信号混合在一起，这要求所融合的信号是同步的，并且具有相同的性质。特