基于声学特征和发音运动特征的构音障碍可懂度评估研究

《基于声学特征和发音运动特征的构音障碍可懂度评估研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基基基于于于声声声学学学特特特征征征和和和发发发音音音运运运动动动特特特征征征的的的构构构音音音障障障碍碍碍可可可懂懂懂度度度评评评估估估研研研究究究AssessmentoftheIntelligibilityofDysarthriaSpeechUsingAcousticandArticulatoryCharacteristics学科专业：计算机科学与技术作者姓名：原梦指导教师：党建武教授天津大学计算机科学与技术学院二〇一七年十二月独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的

2、研宄成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得天津大学或其他教育机构的学位或证书而使用过的材料一。与我同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。）丨学位论文作者签名：￥签字日期：年月ｆ日学位论文版权使用授权书本学位论文作者完全了解天津大学有关保留、使用学位论文的规定。特授权天津大学可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、汇编以供查阅和借阅。同意学校向国家有关

3、部门、缩印或扫描等复制手段保存或机构送交论文的复印件和磁盘。（保密的学位论文在解密后适用本授权说明）签名：学位论文作者签名：导师，）曰签字曰期：年７月《曰：年月签字曰期《｜摘摘摘要要要构音障碍是语音失常的特殊群体，他们由于中枢神经受损引起肌肉控制下的发音器官会出现异常运动，从而产生可懂度较低的语音。目前的研究多数从声学角度出发来探究构音障碍语音可懂度，很少从发音运动的角度去进行构音障碍可懂的评估。另外现有的研究多使用依赖大规模数据的深度神经网络模型，未考虑构音障碍患者数据采集困难的问题

4、，很少研究考虑如何在少数据集下对构音障碍患者进行评估。本课题使用电磁发音动作记录系统EMA数据，分析不同发音器官运动数据对于评估构音障碍可懂度的可行性，经过对数据的分析，发现舌头的运动数据在采集中容易脱落，选择以唇部发音器官的运动为研究对象；并对唇部数据提取发音运动特征，为了对比声学特征选择传统的MFCC特征，两类特征的可视化结果表明唇部发音运动特征对于不同程度的可懂度构音障碍群体有显著性差异；使用高斯混合模型-隐马尔可夫模型对不同特征进行训练，同时利用特征层融合方法和决策层融合方法对模型效果进行进一步的提高

5、，结果表明使用唇部发音运动特征的GMM-HMM模型效果要好于声学特征，使用融合方法能够进一步提高评估效果，而我们所提出的权重值自适应的决策融合方法分类准确率可以达到99.20%；为了解决临床中患者数量较少的问题，我们提出了唇部发音运动特征-LDA，并通过不断减少训练数据的实验验证其在少量数据的情况下，分类效果要明显好于使用声学特征MFCC和原始的唇部发音运动特征。关键词：构音障碍，可懂度评估，发音运动IABSTRACTDysarthriaisamotornervoussystemdisorderthataffe

6、ctsthespeecharticulatormovementsaswellastheintelligibilityofspeechsound.Thereareonlyafewstud-iesthatinvestigateautomaticdiagnosisofdysarthriaintelligibilityfromthearticulatormovementaspects.Besides,dysarthricpatientscannotprovidelargeamountsofdatatoanalyze,

7、especiallyforthesevererpatients.Fewstudyattempttoassessthedysarthriausingfewdata.InrecordingElectromagneticArticulograph(EMA)data,however,abnormaltonguemovementsofdysarthriacausethesensorsonthetonguefallingoff,sothatitisquitedifficulttomonitor.Forthisreason,in

8、thisstudy,liparticulatorydataisadoptedtoan-alyze.Bycontrast,theMFCCfeatureandliparticulatoryfeaturesareextractfromthecontinuousspeechutterances.Theliparticulatoryfeaturecaneasilydistinguishdiffer-entgro