语音到手势转换的fpga实现

《语音到手势转换的fpga实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、＞Ｗ＞？－ｉ—？分类号＊密级，：＾＼ｆ：Ｊ■＇■？＂．．分ｉ、：，女｜Ｍｉｌ；ＸＵＤＣ编号１０７３６．＾．＇．户；Ｉ：．。ｒＶ／备工ｉ硕去学位论文麥身＇啊識．、语音到手势转换的ＦＰＧＡ实现＾！為＾＂＾４＾？％究誓姓名：白祖墨ｆ指导教师姓名、职称：杨鸿武教授专业名称：电子与通信工程＾：语音信号处理１Ａ翁雖遍麵秦栽秦硕士学位论文M.D.Thesis语音到手势转换的FPGA实现Realizationofspeech-to-gestureconversionbase

2、donFPGA白祖仕BaiZushi二○一六年五月独创性声明本人声明所呈交的论文是我个人在导师指导下进巧的研究工作及取得的研究成果。尽我所知，除了文中特别加示注和致谢的地方外，论文中不包括其他人己经发表或撰写过的研巧成果，也不包含为获得西北师范大学或其他教育机构的学位或证书而使用过的材料一。与我同工作的同志对本研巧所做的任何贡献均己在论文中作了明确的说明并表示了谢意。為斬ｉ签名：日期：ｌＡｊ关于论文使用授权的说明目本人完全了解西北师范大学有关保留、使用学位论文的规定，Ｐ；学，学校可公布论校有权保留送交论文的复印件允许

3、论文被查阅和借阅；文的全部或部分内容，可レッ采用影印、缩印或其他复制手段保存论文。於．６丄香／备签名：１曰期：：导师豁名西北师范大学硕士学位论文摘要目前，全球超过6.3亿人因为听力障碍给生活和学习造成极大的困扰。虽然现有的研究已经实现了手势到语音的转换，但是缺乏语音到手势的转换研究，这使得言语障碍者与外界沟通之间存在极大的障碍。为此，论文设计并实现了一个基于FPGA的语音到手势的转换系统。首先训练了孤立词的语音识别声学模型，同时根据《中国手语》录制了孤立词所对应的手势图像。在此基础上，利用FPGA实现了语音到手势的转换，将手势图像和训练好的孤立词声学模型

4、存入FPGA的SDRAM中，将输入的孤立词语音信号与孤立词声学模型进行匹配，输出匹配度最优的结果，最终将识别出的孤立词对应的手势显示在FPGA的配套LCD液晶屏上。论文的主要工作和创新如下：1.实现了一个基于隐Markov模型（HiddenMarkovModel，HMM）的语音孤立词识别系统。录制了20个孤立词的训练语料，采用梅尔频率倒谱系数（MelFrequencyCepstrumCoefficient，MFCC）作为声学特征，利用HTK实现了模型的训练。实验结果表明，本文实现的孤立词识别系统能够在特定人上达到100%的识别率。2.录制20个孤立词语音所对应的手

5、势图像。在《中国手语》日常会话教材中选取0-10这11个阿拉伯数字，以及赞美、友好、拒绝、感恩、好的、鄙视、爱心、爱、差劲合计20个孤立词所对应的手势图像。将选取的孤立词手势图像用分辨率为240x320的BMP格式来保存，用于最终在液晶屏上手势图像的显示。3.实现了基于FPGA的语音到手势的转换系统。以NIOSII为软核处理器系统，将NiosII嵌入到FGPA芯片EP4CE115F29C7N中，完成语音信号实时采集、语音解码存储、语音识别模式匹配、手势图像液晶显示四个部分。对系统架构进行了单一模块的调试与整合调试。此外，结合SOPC特性，设计了人机接口，完成了一个

6、基于FPGA平台的语音识别到手势图像显示的系统。4.对系统进行了测试。对硬件平台运行速度与软件平台运行速度进行了对比，结果表明FPGA硬件平台识别的时间比软件平台快30倍。对两个不同环境下的系统进行特定人和非特定人语音识别到手势显示识别率的测试，得出安静环境下特定人和非特定人的平均识别率分别为100%、82.6%，噪声的环境下特定人和非特定人的平均识别率分别为88.9%、72.6%。关键词：语音到手势转换；语音识别；手势显示；FPGA；HMMI语音到手势转换的FPGA实现AbstractCurrently,Morethan630millionpeopleinthe

7、worldsufferfromgreatdistressatliveandlearnbecauseofdysaudia.Althoughexistingresearcheshaveachievedagesturetospeechconversion,researchonspeechtogestureconversionisstillinsufficient.Thereisagreatcommunicationbarrierbetweenspeechimpedimentsandexternalworld.Thereforethethesisdesignsandimp

8、lemen