声学模型区分性训练及其在自动语音识别中的应用

《声学模型区分性训练及其在自动语音识别中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中国科学技术大学博士学位论文声学模型区分性训练及其在自动语音识别中的应用姓名：鄢志杰申请学位级别：博士专业：信号与信息处理指导教师：王仁华20080401摘要声学模型区分性训练已经成为当今主流语音识别系统中最重要的模型训练手段之一。与此同时，对区分性训练准则、模型优化算法以及应用性方法的研究，也日益引起越来越多研究者的重视。在这一背景下，本文围绕声学模型区分性训练及其在自动语音识别中的应用，进行了较系统而深入的研究。并且在准则、优化与应用三个方面都有～定的创新。首先，本文提出了一种新的区分性训练准则，即最小词分类错误MWCE准则。通

2、过将传统基于句子级的McE损失代价函数细化到词一级，MwCE准则尝试估计并最小化一个更直接的词级分类错误度量。由于这一词级错误度量更能够匹配大词汇量连续语音识别的日标，即降低词错误率，因此也就能够取得比句子级训练准则更好的识别性能。与其它的一些次句级区分性训练准则(如MwE、MPE)相比，MwCE准则提供了对词级错误的一个全新角度的表达，并在我们的实验中取得了更优的识别性能。这显示从训练准则上继续寻找物理意义更为明确合理的目标来进行优化，仍具有重要的意义。其次，本文提出了一种新的区分性训练模型参数更新算法，即MMIE准则基于Trus

3、tRegion的模型参数更新。通过在参数更新过程中引入TrustRegi彻约束，我们使用～种在数学上更为合理、物理意义上更为明确的方式来避免传统EB方法中无界优化问题的一些局限。同时，由于在每次迭代优化中我们都可以得到辅助函数在约束条件下的全局最优解，因此对准则更新的效率也就更高。实验证明，MMIE准则基于1’mstRegion的模型参数更新在准则优化与识别性能提升两方面都超过了传统的EB模型参数更新方法。第三，本文提出了对软分类边缘估计SME的一些完善和改进方法。通过将区分性训练领域近年来的一些重要技术引入，我们首次实现了句子级S

4、ME估计在大词汇量连续语音识别中的成功应用。接着，我们进一步提出SME估计下的帧级区分性训练方法，通过定义合理的分割度量，在帧尺度上对包含重要区分性信息的训练样本进行筛选。我们在实验中对比了传统MCE准则、句子级SME估计，以及帧级SME估计的性能。结果表明，由于引入了SoftMargin的概念，两种SME估计都能够取得超越MCE准则的性能。而我们提出的帧级SME估计在引入抑制噪声样本的参数后可以取得最好的、明显超过传统MCE准则的识别性能。最后，本文提出了一种区分性训练的应用性方法，即基于MMIE准则的HMM模型拓扑结构优化方法。

5、我们根据MMIE准则定义出指导模型结构优化的启发性度量，尝试在各个HMM状态间“交换”高斯核以实现各状态混合高斯I摘要成份数目的非均匀分配。此外，还对高斯核交换完成后的特定HMM状态进行时问尺度上的拓扑结构后处理。通过以上这些步骤，我们将模型结构的优化与模型区分性的提高更直接的联系了起来。因此，基于区分性准则的模型拓扑结构优化方法在实验中能够在性能上超过传统的、基于似然度的其它模型结构优化方法。关键词：区分性训练声学模型自动语音识别最小词分类错误信任区域软分类边缘估计II一．．△垒!堕箜!．一．————●————————_———__

6、_——●_——_—————--_—--_‘●-———_—_————_—————-——————————————_—————一一一AbStraCtDiscriminativetrainingofacousticmodelshasbecomeoneofthemostimportallt蛳n—ingmethodsforstate—of-the—anspeechrecognitionsystems．，nlistopicattractSmoreandmoreattentionsofresearchers，todevelopnewtraining

7、criteria，parameter0p—timjzationmethods，andapplicationtechniques．Inthiscontext’t11isthesisfbcusesondiscriminativetI面ningofacousticmodelsanditsapplicationinautomaticspeechrecognition．ItprovidesasystematicaIldin—depthresearchinmistopic，andintroducesOurinnovationsincriteri

8、on，optimizationmethod，and印plicationofdiscrimin撕Vctraining．FirstIy，misnlesisproposesanoVeldiscriminatiVetrainingc—teri