基于深度学习和迁移学习的语音情感识别方法研究

《基于深度学习和迁移学习的语音情感识别方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP391.4密级：公开UDC：004.5编号：10299S1308046硕士学位论文基于深度学习和迁移学习的语音情感识别方法研究ResearchonSpeechEmotionRecognitionMethodsBasedonDeepLearningandTransferLearning指导教师毛启容作者姓名薛文韬申请学位级别硕士专业名称计算机应用技术论文提交日期2016年4月论文答辩日期2016年5月学位授予单位和日期江苏大学2016年6月答辩委员会主席__评阅人独创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作

2、所取得的成果。除文中已注明引用的内容以外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果，也不包含为获得江苏大学或其他教育机构的学位或证书而使用过的材料。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：年月日学位论文版权使用授权书江苏大学、中国科学技术信息研究所、国家图书馆、中国学术期刊（光盘版）电子杂志社有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致，允许论文被查阅和借阅，同时授权中国

3、科学技术信息研究所将本论文编入《中国学位论文全文数据库》并向社会提供查询，授权中国学术期刊（光盘版）电子杂志社将本论文编入《中国优秀博硕士学位论文全文数据库》并向社会提供查询。论文的公布（包括刊登）授权江苏大学研究生处办理。本学位论文属于不保密□。学位论文作者签名：指导教师签名：年月日年月日江苏大学硕士学位论文摘要人类的语音作为人与人之间沟通的重要手段和情感表达的重要媒介，已经成为人工智能的重要研究方向。在传统的语音情感识别中，如何提取最具判别性的特征已成为很多研究者关注的内容，其中一个重要的挑战就是在情感特征提取过程中把情感相关因素和情感无关因素（如

4、环境、说话人等的差异）进行分离，使提取的情感特征具有更强的泛化性。传统的语音情感识别有一个前提：训练数据和测试数据来自同一个语料库，也就是两者具有相同的数据分布。但是，由于语音数据是从不同的设备和记录环境下获取的，它们在语言、情感的种类、标记方案等方面存在很大的差异，这时候训练数据和测试数据就具有不同的数据分布，传统的语音情感识别方法已经不能很好地解决这个问题。域适应，作为一种特殊的迁移学习方法，被证明可以有效地解决不同域之间数据分布存在差异的问题。本文针对传统的语音情感识别，提出了可鉴别语音情感特征学习方法；针对跨库的语音情感识别，分别提出了基于先验

5、共享的半监督域适应方法，和基于标签监督和特征分解的无监督域适应方法。具体研究内容如下：1）提出可鉴别语音情感特征学习方法。主要目的是对情感相关因素和情感无关因素进行分离，从而提取情感相关的特征。该方法包括四个步骤。首先，对语音数据进行预处理，得到语谱特征。然后进行无监督特征学习，从语谱特征中提取若干个小块进行无监督预训练，得到核（权重和偏置），利用不同尺寸的小块就能训练不同尺寸的核，然后对整个输入语谱特征利用核进行卷积、池化，并堆叠不同尺寸的池化特征，得到一个初步的粗糙特征表示。接着进行半监督特征学习，将粗糙特征作为输入并映射成两部分，一部分和情感相关

6、，另一部分和情感无关。总的损失函数由四部分组成：重构损失函数、正交损失函数、判别损失函数和认证损失函数。通过正交损失函数，将情感相关的特征和情感无关的特征进行初步的划分。接下来对情感相关的特征进行一些约束。通过判别损失函数，增大不同种类情感的情感相关特征之间的距离；通过认证损失函数，减小同一种类情感的情感特征之间的距离。最后，将半监督特征学习得到的情感相关特征作为一段音频的最终特征表示，结合相应的情感标签，进行分类器的训练。实验在INTERSPEECH2009情感挑战赛的五类任务上进行评估，利用该方法学习得到的情感相关特征的识别率明显高于在同等条件下使

7、用传统声学特征的识别率。2）提出基于先验共享的语音情感迁移学习方法。主要目的是希望通过共享先验，使得目标域中有标签样本比较少的那些类，能够从源域中相关的类获得一些有用的信息，从I基于深度学习和迁移学习的语音情感识别方法研究而改善目标域的分类性能。提出的模型是一个两层的神经网络模型，第一层是特征提取层，第二层是softmax分类器。第二层参数其实是各个类的分类器参数，在每类都有充足有标签样本的情况下，各个类的分类器参数一般都是独立的，但在半监督域适应下，目标域中的每个类只有很少的有标签样本，只用这些有标签样本不足以训练一个性能出色的分类器，因此本方法对相

8、关的类的分类器参数加上一个共同的先验（也就是相关类的分类器权重向量从同一个分布中产生）。该方法