e—learning 系统多模式情感识别模块探究

《e—learning 系统多模式情感识别模块探究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、E—learning系统多模式情感识别模块探究　　摘要：针对当前存在的大多数情感识别的方法是单模式的，且基于刻意的情感表达和情感模型，不适用于现实生活的问题，并根据现实生活中人体外部表象的微妙变化能表示情感行为的改变，不像单模式方法那样每一类单一识别方法，需要一些夸大的外部表象才能表明这些情感的改变的特点。根据此本文采用多模式识别方法，设计了基于情感计算的E-learning系统的情感识别模块，将视觉与听觉结合起来共同识别无意识情况下的情感状态。关键词：E-learning；单模式情感识别；多模式情感识别中图分类号：TP393文献标识码：A文章编号：1009-3044（2013）15-3599

2、-04E-learning（数字化学习或电子学习）是利用现代通信技术，将信息技术与课本知识整合，为学习者提供理想的学习环境和学习方式，以达到深化教学改革和创新人才培养的目的。10基于情感计算的E-learning系统，就是在传统E-learning系统的基础上增加了情感识别模块，包括：情感识别模块、情感分析模块、情感反馈模块、情感评价模块等，实现情感化个性化的教学。主要目的是弥补传统E-learning系统情感缺失的问题。在这些情感模块中，情感识别模块是基础，这一模块产生的结果直接影响后面所有模块的效果，因此对情感识别模块的研究放在重要的位置上，且进行深入的研究。由于识别的环境为远程E-lea

3、rning教学的学生端，因此可以将多模式识别方法分为三部分[1]，分别为：基于视觉的面部表情识别和身体动作识别，还有基于听觉的会话信息（语音）识别。1基于单视觉的情感识别方法1.1面部表情识别对面部图像的捕捉是通过网络摄像头来实现的，采样的方法是按一定的时间间隔来停帧并存取图像（与20秒为一个时间间隔），接下来会对存取的图像进行情感的识别，确定这一时刻的情感状态，为以后的情感分析和反馈提供依据。1.1.1对图像进行情感的识别对面部图像进行情感识别其实是一种人脸识别过程，其中主要包括三个方面的内容：人脸检测、人脸表征、人脸鉴别。1）人脸检测：采用基于肤色的人脸检测算法；10根据计算机色彩理论，通

4、过对RGB格式、HIS格式、YCbCr格式[3]等主要色彩空间的比较，选用基于YCbCr空间的肤色模型来进行肤色区域分割。YCbCr[4]色彩空间从YUV色彩空间衍生而来。其中Y代表亮度，Cb和Cr分量分别表示蓝色和红色的色度，在不同的光照下这两种色度是稳定的。该空间的优点是将亮度分量与色度分量分离开来，这样受亮度变化的影响就比较小，降低了两者的相关性。2）人脸表征：主要对眼睛、鼻子和嘴巴等的特征检测与定位。在对人脸进行表征之前首先要进行人脸区域的分割，把人脸区域用矩形框起来。所采用的分割算法流程图如图1：具体的算法是基于相似度的方法，得到的结果图如图2所示（红线矩形框为结果），把眼睛和嘴巴表

5、示为分段多项式曲线，用变形模版得到准确的轮廓[3]，标记的结果图如下图2：3）人脸鉴别：采用主成分分析（PCA）主成分分析方法（PrincipalComponentAnalysis，PCA）也称为主元法，主分量分析法，是一种常用、简单有效的方法。PCA方法就是将包含人脸的图像区域看作是一种随机向量，用K-L变换获取其正交K-L基底，对应其中较大特征值的基底具有与人脸相似的形状，因此又称之为特征脸（Eigenfaces）[7]。10采用PCA算法进行人脸识别时，其中的测试数据库选用Yale人脸数据库（耶鲁大学网站上下载），此人脸数据库由耶鲁大学计算视觉与控制中心创建，包含15位志愿者的165张图

6、片，包含光照，表情和姿态的变化，效果图如图3：1.2人体动作识别人体动作过程是一个动态系统，其识别方法也都是基于动态系统的识别方法。人体运动分析中一个重要的内容是运动识别和动作检索。一般认为，运动识别的任务就是把物体的轮廓从背景中分离出来，根据特征值与目标样本库中的运动进行匹配运算，以达到识别目标的目的。而动作检索则是在已知的运动类型范围内，对于每个时刻的动作，根据特征值和时间关系，与运动库中的动作匹配[16]。2基于单听觉（语音）的情感识别方法基于单听觉的语音情感识别的实现大致可分成三个模块：语音数据的读取、语音数据的特征提取与分析以及语音情感识别。2.1语音数据的获取语音数据的获取以话筒为

7、依托，并将输入的语音信息存储为数字音频文件，这里采用了波形音频文件，即WAVE文件格式，扩展名为“.wav”。它是WINDOWS中缺省的也是最常用的文件格式，这种格式在IBMPC及其兼容的平台上被广泛的应用于加工处理数字声音的程序中，波形音频文件符合RIFF（ResourceInterchangeFileFormat）文件规范[10]。10本系统对语音信息的处理，主要是对WAVE文件中data结构