基于循环神经网络的语音识别模型

《基于循环神经网络的语音识别模型》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第24卷第2期计算机学报Vol24No22001年2月CHINESEJ．COMPUTERSFeb．2001基于循环神经网络的语音识别模型朱小燕王昱徐伟(清华大学智能技术与系统国家重点实验室北京100084)(清华大学计算机科学与拄术系北京10,3084)摘要近年来基于隐马尔可夫模型(HMM)的语音识别技术得到很大发展．然而HMM模型有着一定的局限性·如何克服HMM的一阶假设和独立性假设带来的问题一直是研究讨论的热点．在语音识别中引^神经网络的方法是克服HMM局限性的一条途径．该文将循环神经闹络应用于汉语语音识别，修改了原网络模型并提出了相应的训练方法．实验结果表明该模型具有良好的

2、连续信号处理性能。与传统的HMM模型效果相当新的训练策略能够在提高训练速度的同时，使得模型分类性能有明显提高．关键词语音识别，隐马尔可夫模型(HMM)，循环神经网络中圉法分类号：TP391SpeechRecognitionModelBasedonRecurrentNeuralNetworksZHUxiao—YanWANGYuXUWei(StateKeyk由甜Ⅱt。0fIntellig~tsstandTechnology，TsinghuaUni'~ersity，Be~t'ng100084(De／~rtmentofComputerS㈣“andTechnology·Tslngh~Uni

3、*⋯lt·Beijing100084)AbstractToovercomesomeweaknesses0fhiddenMarkovmodelinspeechrecognition．HMM／NNhybridsystemshadbeenexploredbymanyresearchersinrecentyears．InthepreviousHMM／NNhybridsystems，theneuraInetworksadoptedaremostlymuhilayerperceptron(MLP)．Inoursystem，recurrentneuraInetworks(RNN)wereuse

4、dtotakethePIseeofMLPasthesyllableprobabilityestimator．RNNisMLPincorporatedwithafeedbackwhichcantransporttheoutputofsomeneuronstootherneuronsorthemselves．Theincorporation0ffeedback1ntoaMLPgivesthenettheabilitytoefficientlyprocessthecontextinformationoftimesequence·whichisespeciaIlyusefulforspe

5、echrecognition．Inthispaper，thearchitecture。ftheRNNismodifiedandcorrespondingtrainingschemaispresented．Fo【Iowingtechniqueshavebeenadoptedinoursystem．1．Anetworkwithasinglelayerhasbeenadopted．whilethecontent。f~eedbaekisdifferenttromthenetworkusedbypreviousresearchers．i．e．．theexternaloutputisincl

6、udedinthefeedback，notjUSttheinternalstateoutput．2．Thetrainingalgorithmadoptedinoursystemisback—propagationthroughtime(BPTT)algorithm，InthecommonBPTTalgorithm．theinitialfeedbackvaluesaresetarbitrarilyaccord—ingtoexperience．Thismeansthattheinitialfeedbackisnotspecifictotheproblemwearedeal—ingwi

7、th．SoitshouIdbepreferableiftheinitiaI~eedbaekvaluesalsocanbetrained．Inourtrain—insagorthm，thisisachievedbyaddinganadditionaIlayertotheunfoldednetwork．3．Totrainthenetwork，propertargetvaluesmustbegiven．Toacquirethem，wetakeuseOfHMMswhichhavebeen