基于boosting框架的视觉语音多模态情感识别检测方法

《基于boosting框架的视觉语音多模态情感识别检测方法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于BOOSTING框架的视觉语音多模态情感识别检测方法张芬成都理工大学信息科学与技术学院摘要：情感识别技术是智能人机交互的重要棊础，它涉及计算机科学、语言学、心理学等多个研宂领域，是模式识别和图像处理领域的研宂热点。鉴于此，基于Boosting框架提出W种有效的视觉语音多模态融合情感识别方法:第一种方法将耦合HMM（coupledHMM）作为音频流和视频流的模型层融合技术，使用改进的期望最大化算法对其进行训练，着重学难于识别的（即含有更多信息的）样本，并将AdaBoost框架应用于耦合11酮的训练过程

2、，从而得到AdaBoost-CH丽总体分类器;第二种方法构建了多层BoostedH丽（MB1MM）分类器，将脸部表情、肩部运动和语音三种模态的数据流分别应用于分类器的某一层，当前层的总体分类器在训练时会聚焦于前一层总体分类器难于识别的样木，充分利用各模态特征数据间的互补特性。实验结果验证了两种方法的有效性。关键词：情感识别;表情识别;Boosting方法;情感数据库;作者简介：张芬（1975—），女，硕士研究生，副教授。从事计算机图形图像处理、数据库等应用研究。收稿日期：2017-05-09基金：四川省

3、软件工程专业卓越工程师质量工程项FI支持（11100-14Z00327）Boostingframeworkbasedmulti-modalemotionrecognitiondetectionmethodsfusingvisionandspeechZHANGFenSchoolofInformationScienceandjechnology,ChengduUniversityofTechnology;Abstract：Astheimportantbasisofintelligenthuman-compu

4、terinteraction,theemotionrecognitiontechnologyrelatestothecomputerscience，linguistics,psychologyandotherresearchfields,andisaresearchhotspotinpatternrecognitionandimageprocessingfields.BasedontheBoostingframework,twoeffectivemulti-modalemotionrecognition

5、methodsfusingvisionandspeechareproposed.Inthefirstmethod,thecoupledhiddenMarkovmodel(HMM)istakenasthemodel-layerfusiontechnologyofaudioandvideostreams,andtheimprovedexpectationmaximizationalgorithmisusedtotrainit，andpayattentiontothelearningofthesamplesw

6、hicharcdifficulttorecognizeemphatically;theAdaBoostframeworkisappliedtothetrainingprocessofHMMcouplingtogettheAdaBoost-CHMMgeneralclassifier.Inthesecondmethod,themulti-layerBoostedHMM(MBHMM)classifierisconstructed,andthedatastreamswiththemodalsoffacialex

7、pression,shouldermovementandspeecharerespectivelyappliedtotheclassifierofacertainlayer.Thecurrentlayer7soverallclassifierwhiletrainingwillfocusonthesamplewhichisdifficultlyrecognizedbytheoverallclassifierintheformerlayer.TheMBHMMclassifiermakesfulluseoft

8、hecomplementarycharacteristicofthefeaturedataineachmode.Thevalidityofthetwomethodswasverifiedwithexperimentalresults.Keyword：emotionrecognition;facialexpressionrecognition;Boostingmethod;emotiondatabase;Received：2017-05-09