唇读研究进展综述-论文.pdf

《唇读研究进展综述-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2014年6月计算机工程与设计June2014第35卷第6期COMPUTERENGINEERINGANDDESIGNV01．35No．6唇读研究进展综述张泽梁，杨成佳。，宋绍成H(1．北华大学信息技术与传媒学院，吉林吉林132011；2．吉林大学计算机科学与技术学院，吉林长春130000)摘要：将计算机唇读技术和语音识别技术进行融合，提高语音识别效果的方法，引起了一些研究者的关注，并已取得了长足的进步，但仍有许多难题需要突破。为了引起更多研究者对此研究领域的兴趣和关注，参与到唇读技术的研究，共同推进该领域的发展，就目前唇读技术的发展现状做了详细的介绍。总结一些主要的传统方法及相关方面的

2、新技术，主要关注点为视觉特征提取方法、识别技术和音视频的信息融合算法。关键词：唇读；视觉特征；特征提取；隐马尔可夫模型；信息融合中图法分类号：TP391文献标识号：A文章编号：1000—7024(2014)06—2135—07Reviewoflip—readingresearchdevelopmentZHANGZe-liang，YANGCheng-jia。，SONGShao—cheng+(1．InstituteofInformationTechnologyandMedia，BeihuaUniversity，Jilin132011，China；2．CollegeofComputerSci

3、enceandTechnology，JilinUniversity，Changehun130000，China)Abstract：Toimprovespeechrecognitionresults，theapproachfusinglip-readingcomputertechnologyandspeechrecognitiontechnologywasintroduced．Thismethodattractedtheattentionofsomeresearchers，andconsiderableprogresswasmade，buttherewerestillmanyproble

4、mstObebrokethrough．Toattractmoreresearchers’interestsandconcernsinthisareaofresearchandhopedthattheycouldparticipateinthestudyoflip-readingtechnologytojointlypromotethedevelopmentofthefield，ade～tailedintroductiononthecurrentstatusoflip-readingtechnologywasgiven，someofthemainrelevantaspectsofthet

5、raditionalmethodsandnewtechnologiesweredescribed．Itfocusedonthevisualfeatureextraction，recognitiontechnologyandspeech-vi-sualfusionalgorithm．Keywords：lip-reading；visualfeatureextraction；featureextraction；HMM；informationfusion在聋哑人之间的交流更是扮演着重要的角色，听力障碍者0引言在唇读理解方面表现的则更为完美。因此，利用唇动的视自动语音识别技术已经取得显著的成就，

6、而且已有一觉特征(visualfeature)与声音特征相结合的方法，已经被些比较成功的应用，比如IBM的ViaVoice系统。此类系众多研究者证明是非常有效的，它不仅可以提高自动语音统，在词汇量不是很大、噪音较小的环境下表现良好，但系统的识别率，而且能使系统更加健壮，更能适应真实是在真实的应用环境下，性能就会显著下降。而在人机交的环境。互领域未来的应用中，对系统的健壮性就提出了更高的要1唇读系统求，比如：汽车，机场，现场采访方面的应用等等。因此我们需要寻求新的方法。人们在日常交流过程中，无论是唇读系统通常是与语音识别相结合，作为语音识别的听还是说，都是一个双峰的过程(e．g．McGu

7、rkeffectEli)。辅助技术，一个典型的唇读系统框架如图1所示。说话者不仅利用声音，还要通过口型以便更清晰地表达自构建一个唇读系统比传统的语音识别系统更具挑战性，己的意思，听话方亦是如此，尤其是在受到噪音干扰的情我们这里关注的问题主要为视觉识别方面相关的问题，就况下，通过观察对方口型以获得更准确的理解。唇动特征以下几个问题展开讨论：唇部分割；视觉特征的提取；视收稿日期：2013—09—25；修订日期：2013—12—02基金项目：国家科技