资源描述：
《基于kinect 3d数据的声音—唇部映射系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、基于Kinect3D数据的声音-唇部映射系统的设计与实现Acoustic-to-MouthModelMappingSystembasedonKinect3Ddata学科专业：计算机科学与技术作者姓名：秦春来指导教师：王建荣副教授天津大学计算机科学与技术学院二零一五年十二月摘要语言是人类特有的功能，是自然界中人类区别于其他生物的特殊能力。随着世界一体化的到来，第二语言学习者逐年增加。计算机辅助发音训练技术应运而生，它不仅可以缓解语言教师的压力，而且能够为学习者提供个性化、全天候服务。论文提出了一个声音-唇部映射系统。首先，将Ki
2、nect设备录制的声音和3D数据作为原始数据，训练得到映射模型；然后，将声音信号输入映射模型，映射得到相应的3D数据；最后，根据获取的3D数据建立唇部模型，完成了语音信号到3D唇部模型的映射。论文分别对基于K平均算法和基于高斯混合模型的映射方法进行了研究，从主观和客观两个方面对映射结果进行了评价，并对两种映射方法进行了比较。为了提升映射效果，论文还对映射结果使用低通滤波器进行了平滑处理。实验结果表明，基于K平均算法和基于高斯混合模型的映射方法都能够完成声音到3D数据的映射，且基于高斯混合模型的方法要好于基于K平均算法的方法。实
3、验结果也证实，后期使用低通滤波器进行平滑处理能够有效提升实验效果。提出的声音-唇部映射系统能够同时为训练者提供声音和唇部运动信息，使训练者能够更好地进行发音训练，有望用于发音障碍的治疗和第二语言的学习。关键词：计算机辅助发音训练，声音，3D数据，唇部，映射IABSTRACTLanguageisahuman-specificfeatureandisthespecialabilitiesofhumanbeingdifferentfromothercreatures.Withtheadventofworldintegration,t
4、henumberoflanguagelearnersisincreasingataveryfastpace.Inthiscase,computeraidedpronunciationtraining(CAPT)technologyemerges,whichcannotonlyeasethepressureonlanguageteacher,butalsoprovideround-the-clockserviceandsupportself-basedtraining.Thispaperproposesanacoustic-to
5、-mouthmodelsystem.Inthissystem,firstly,usingtheaudioandthe3DdatarecordedbyKinectasthesourcedata,themappingmodelistrainedwithmappingmethod,next,the3Ddataisacquiredthroughinputthecorrespondingsoundsignalintothemappingmodel,lastly,a3Dmodelofthelipcanbebuiltaccordingtot
6、heobtained3Ddata.Thispaperhasresearchedthek-means-basedmethodandGaussianmixturemodel-basemethodrespectively.Themappingresultwereevaluatedfromthesubjectiveandobjectiveaspects,andthetwomappingmethodwerecompared.Inordertoimprovethemappingresults,thispaperalsohasusedthe
7、lowpassfiltertosmooththemappingresult.ExperimentalresultsshowthatthemappingmethodbasedonGaussianmixturemodelisbetterthanthatbasedonk-means,andalsoconfirmsthatthelateuseoflowpassfilterforsmoothingcaneffectivelyimprovetestresult.Thissystemcanprovideaudioandlipmovement
8、informationforusers,enablinguserstobetterpronunciationtraining,sothatitisexpectedtobeusedforpronunciationtherapyandsecondlanguagelearning.
