发音器官的运动与声学信号之间映射关系的研究

《发音器官的运动与声学信号之间映射关系的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、发音器官的运动与声学信号之间映射关系的研究AStudyoftheMappingbetweenArticulationsandAcoustics学科专业：计算机科学与技术研究生：郑锌源指导教师：魏建国副研究员天津大学计算机科学与技术学院2015年12月独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得天津大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名：签字日

2、期：年月日学位论文版权使用授权书本学位论文作者完全了解天津大学有关保留、使用学位论文的规定。特授权天津大学可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。（保密的学位论文在解密后适用本授权说明）学位论文作者签名：导师签名：签字日期：年月日签字日期：年月日中文摘要建立发音器官运动与语音信号间的映射关系对于发音训练以及言语矫正有着很重要的作用。本文通过语音记录仪记录中文六个元音(a,o,e,i,u,ü)发音时的语音信号，利用超声仪记录发音时舌头运动的信息，使用高速摄

3、像头记录发音运动时唇部正面和侧面的信息，从而形成了一个中文元音多模态语音数据库。本文提出了一个基于深度学习框架的发音器官运动与声学信号间的双向映射方法。利用基于受限玻尔兹曼机的深度自编码网络方法对发音器官运动信息与声学信号进行了特征提取与重构。重构结果发现，对于超声图像，基于深度学习的特征提取的方法比主成分分析的方法要好；音频信号也能够利用深度自编码网络的方法来表征。然后，我们提出了一个基于深度学习的框架实现两者间的映射关系，该框架是通过深度降噪自编码网络进行改进而来。可以在中文元音数据库上实现语音信号来驱动发音器官的运动，以及发音器官的运动来合成语音信号。并且用传统的基于混

4、合高斯模型的方法与之对比，发现我们提出的方法有更好的效果。最后，我们将该映射框架应用在中文连续语音上，并取得了一定的效果。关键词：发音器官，超声图像，语音信号，深度学习，高斯混合模型ABSTRACTConstructingamappingbetweenarticulatorymovementsandcorrespondingspeechcouldsignificantlyfacilitatespeechtrainingandthedevelopmentofspeechaidsforvoicedisorderpatients.Inthispaper,werecordtheaud

5、iowhenpronouncingtheChinesevowels(a,o,e,i,u,ü)withaudiorecorder,themovementsofmytonguewithultrasoundandthefrontandsidemotionoflipswithhigh-speedcamera,thusformingamultimodalChinesevowelsspeechdatabase.Weproposeanoveldeeplearningframeworkforthecreationofabidirectionalmappingbetweenarticulato

6、ryinformationandsynchronizedspeechrecordedusinganultrasoundsystem.WecreatedadatasetcomprisingsixChinesevowelsandemployedtheBimodalDeepAutoencodersalgorithmbasedontheRestrictedBoltzmannMachine(RBM)toextractthefeatureofarticulatoryinformationandacoustics.Speechandultrasoundimageswerethenrecon

7、structedfromtheextractedfeatures.ThereconstructionerroroftheultrasoundimagescreatedwithourmethodwasfoundtobelessthanthatoftheapproachbasedonPrincipalComponentsAnalysis(PCA).Further,thereconstructedspeechapproximatedtheoriginalasthemeanformantserror(MFE)w