资源描述：
《双模态信息融合的情感识别研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、分类号:学校代码:10128UDC:学号:20151100083硕士学位论文学生类别：全日制学术型硕士研究生学科名称：信息处理与智能控制论文题目：双模态信息融合的情感识别研究英文题目：EmotionRecognitionResearchBasedonBimodalInformationFusion学生姓名：吴浩鹏导师姓名：李春明教授二○一八年六月原elJ性声明本人声明:所呈交的学位沿文是本人在尋帰的指尋下避行的研究工作及取得的研究成果。除文中己径注明引用的内容タト,沿文中不包含其他人己径友表或撰写通的研究成
2、果,也不包含力荻得内蒙古工土大学及其他教育机杓的学位或江市而使用通的材料。与我一同工作的同志対本研究所倣的任何貢献均己在沿文中作了明碗的悦明井表示洲意。学位沿文作者釜名:杉曲指尋教りT釜名:lよll期:」と′♂・iル日期:η日`夕`・学位沿文版枚使用授枚中本学位沿文作者完全了解学校有美保留、使用学位沿文的規定]即:内蒙古工立大学有枚将学位沿文的全部或部分内容保留井向国家有美机杓、部門送交学位沿文的隻印件和磁盆:允斉編入有美数据岸逆行栓索:也可以采用影印、縮印或其官隻制手段保存、学位沿文。力保押学校和尋師的知
3、惧声枚:作者半上'E編后渉及核学位沿文的主要内容或研究成果用干友表学木沿文須征得内蒙古工並大学就漢期間尋師的同意,井且版枚単位必須署名力内蒙古工立大学方可投稿或公升友表。本学位沿文属干保密□:在_年解密后適用本授枚事。不保密ご(清在以上方枢内打“マ"):学位沿文作者釜名:オ旨尋教り市釜名°ノ・′ン日期:ガ直丘軍日期:ノ"げ内蒙古工业大学硕士学位论文摘要近些年，随着人工智能与深度学习的发展，机器情感识别逐渐成为了一个热门的话题走进了人们的视野。越来越多的专家以及学者开始研究基于人体生物信号的方式识别人们的感情
4、，比如人体姿势、语音信号、表情信号、脑电信号、心电信号等等。考虑到获取手段的便捷性，人们选取语音以及表情为主要的识别方式。选取情感矢量作为情感模型，识别样本中包括高兴、恐惧、愤怒、悲伤、惊讶、怀疑、中性表情等七类情感状态。使用表情与语音双模态融合的方式实现情感识别，完善输入数据的信息互补性。从视频序列中获取表情特征，从音频输入中获取语音特征。对语音信号进行分帧加窗以及预加重等预处理。提取韵律以及音质特征，包括短时能量、基音频率、共振峰以及MFCC，计算统计学参数联合构成的语音情感特征，使用隐马尔科夫模型进行
5、语音情感识别。针对表情识别，建立主动形状模型，定位人脸和五官局部位置。人脸表情主要取决于人们面部的纹理特性，提出了两种特征提取算法：(1)改进的Gabor算法，改进Gabor核函数，使得曲率图像表现得更加明显，增加纹理部分的图像特征；(2)融合了拉普拉斯算子的CLBP算法，通过拉普拉斯算子加强图像的纹理特性。这两种方法相较于原始特征提取算法，着重于提取人脸面部的纹理细节特征。针对这些特征使用深度信念网络进行表情分类识别。采用决策层融合的方式，通过乘积规则、均值规则以及最大最小值规则进行融合，得到双模态融合的
6、情感识别结果。通过F-score与G-mean对实验结果进行评测，验证了本文提出算法的可行性。关键词：情感识别；表情特征提取；双模态融合；Gabor滤波器；完备局部二值法I内蒙古工业大学硕士学位论文AbstractInrecentyears,withthedevelopmentofartificialintelligenceanddeeplearning,machineemotionrecognitionhasgraduallybecomeahottopicandhasenteredpeople'slife
7、.Moreandmoreexpertsandscholarshavebeguntostudyhumanemotionswhichbasedonhumanbiologicalsignals,suchashumanpostures,speechsignals,expressionsignals,EEGsignals,andECGsignals.Giventheconvenienceofthemeansofacquisition,voiceandexpressionaretheprimarymeansofiden
8、tificationchosenbypeople.Emotionalvectorisselectedasanemotionalmodel,andthereareseventypesofemotionalstates,includinghappiness,fear,anger,sadness,surprise,suspicion,andneutrality.Fortheinformationcomplementar
