基于多模态融合的情感计算研究

《基于多模态融合的情感计算研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、办姜砷Ｃ大＃硕士研究生学位论文基于多模态融合的情感计算研究作者：周肖肖指导教师：王忠民教授支周髙工专业学位类别？（领域）？工程硕士（计算机技术）Ｍ论文日期二？一八年六月：单位代码11664学号1503210069分类号TP391密级西安邮电大学硕士研究生学位论文题（中、英文）目基于多模态融合的情感计算研究ResearchonAffectiveComputingBasedonMultimodalFusion作者姓名周肖肖指导教师姓名、职务王忠民教授支周高工专业学位类别工程硕士专业学位领域计算机技术提交论文日期二○一八

2、年六月摘要摘要移动终端和智能设备目前与人类生活、学习和工作息息相关，基于智能设备的情感计算技术已成为国内外学者的研究热点。随着人口老龄化趋势加剧，老年人的家庭护理需求日益增多，通过对老年人的情感状态、行为姿态进行研究可以更好的理解和关注老年人的身心健康。利用情感计算可以建立和谐的人机环境，但是目前情感计算仍存在一些急需解决的问题，在行为姿态识别中，虽然选择手机传感器的底层统计特征对人体行为进行识别可取得较好效果，但是这些底层特征忽略了行为的高层语义表达，对训练集中有限样本行为的识别率较差。而在情感识别中，人的情感在表达时由生理、心理、表情和音调

3、等多个模态信息共同组成，使用单模态进行情感识别时，由于情感表示信息不足容易导致一些情绪的识别率较差等问题。针对以上两种分类识别所面临的问题提出两种识别方法，主要工作包括如下两方面：（1）针对现有日常行为识别中跌倒样本采集困难，跌倒行为样本规模较少导致识别率较差的问题，提出一种基于低层特征与高层语义的人体行为识别方法。该方法引入语义属性特征以便在某些行为样本较少的情况下能够共享行为之间的低层特征信息，通过构建属性-行为矩阵，利用低层特征信息训练语义属性检测器，得到语义属性特征，对属性特征与低层特征分别进行预分类，融合两种特征的预分类结果得到最终判

4、决的人体行为类别。实验结果表明，与过采样算法、欠采样算法和最小二乘支持向量机相比，本文所提方法获得了更好的分类结果。（2）一般多模态特征融合方法仅通过简单的拼接来组合特征，或将所有模态信息直接利用深度模型进行融合，这样会导致特征冗余和关键特征不足等问题，本文提出多模态深度信念网络对各模态特征分别进行融合，以解决所有模态直接融合后进行特征选择带来的实验成本过高的问题，并提高各情绪识别性能。通过多模深度信念网络优选生理信号和视频信号的初始特征，再利用双模深度信念网络将各模态统一结构化的特征进行融合，得到多模态高层表示特征，利用支持向量机对该特征进行

5、分类识别。在TheBioVidEmoDB数据集上对高兴、难过、生气、恐惧和厌恶这五种情绪的平均识别率是80.89%，实验表明该方法在降低融合成本的同时，对多模态情绪识别性能也有较好的改善。关键词：语义属性；人体行为识别；多模深信度网络；情感计算；多模态情感识别IABSTRACTABSTRACTMobileterminalsandsmartdevicesarecurrentlycloselyrelatedtohumandailylife,learningandwork.Affectivecomputingbasedonsmartdevicesha

6、sbecomeafocusfordomesticandforeignscholars.Withtheaggravateageingproblem,theneedsofhomecareforelderlyareincreasing,andwecanbetterunderstandandpayattentiontothephysicalandmentalhealthoftheelderlybystudyingtheemotionalstateandbehaviorpostureoftheelderly.Aharmoniousman-machinee

7、nvironmentcanbeestablishedthroughaffectivecomputing,However,therearestillsomeproblemsthatneedtobesolvedurgentlyinaffectivecomputing.Inhumanactivityrecognition,althoughthelow-levelstatisticalfeaturesofthecellphonesensorareusuallyusedtorecognizethehumanbehavior,theselow-levelf

8、eaturesignorethehigh-levelsemanticexpressionofbehaviors,whichresultsapoorre