关于cuda的gmm模型快速训练方法与应用（

《关于cuda的gmm模型快速训练方法与应用（》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基于CUDA的GMM模型快速训练方法及应用吴奎，宋彦，戴礼荣（中国科学技术大学电子工程与信息科学系，安徽合肥，230027）摘要由于能够很好地近似描述任何分布，GMM在模式在识别领域得到了广泛的应用。GMM模型参数通常使用迭代的EM算法训练获得，当训练数据量非常庞大及模型混合数很大时，需要花费很长的训练时间。NVIDIA公司推出的CUDA技术通过在GPU并发执行多个线程能够实现大规模并行快速计算。由此，本文提出一种基于CUDA，适用于特大数据量的GMM模型快速训练方法，包括用于模型初始化的K-means算法的快速实现方法，以及用于模型参数估计的EM算法的快速实现方法

2、。文中还将这种训练方法应用到语种GMM模型训练中。实验结果表明，与IntelDualCorePentiumⅣ3.0GHzCPU的一个单核相比，在NVIDIAGTS250GPU上语种GMM模型训练速度提高了26倍左右。关键词：GMM模型；语种识别；图形处理单元；统一计算设备架构CUDAbasedFastGMMModelTrainingMethodanditsApplicationWuKui，SongYan，DaiLiRong(DepartmentofElectronicEngineeringandInformationScience，UniversityofScien

3、ceandTechnologyofChina，Hefei，230027，China)Abstract:Duetoitsgoodpropertytoprovideanapproximationtoanydistribution,GMMhasbeenwidelyappliedinthefieldofpatternrecognition.Usually,theiterativeEMalgorithmisappliedtoestimateGMMparameters.Thecomputationalcomplexityatmodeltrainingprocedurewillb

4、ecomeveryhighwhenlargeamountsoftrainingdataandlargemixturenumberareengaged.TheCUDAtechnologyprovidedbyNVIDIACorporationcanperformfastparallelcomputationbyrunningthousandsofthreadssimultaneouslyonGPU.Inthispaper,afastGMMmodeltrainingimplementationusingCUDAispresented,whichisespeciallyap

5、plicabletolargeamountsoftrainingdata.Thefasttrainingimplementationcontainstwoparts,theK-meansalgorithmformodelinitializationandtheEMalgorithmforparameterestimation.Furthermore,thisfasttrainingmethodhasbeenappliedinlanguageGMMstraining.Theexperimentalresultsshowthatlanguagemodeltraining

6、usingGPUisabout26timesfasteronNVIDIAGTS250whencomparedtotraditionalimplementationononeofthesinglecoreofIntelDualCorePentiumⅣ3.0GHzCPU.Keywords:GMMmodel;Languageidentification;GPU;CUDA1引言由于能够很好地近似描述任何分布，高斯混合模型（GaussianMixtureModel，GMM）在模式识别领域得到了广泛的应用。GMM模型参数通常使用迭代的EM(Expectation-Maximiz

7、ation)算法[1]训练获得。EM算法是一个迭代算法,需要对模型初始化，一般采用K-means算法实现EM算法的初始化。当训练数据量非常庞大及模型混合数很大时，模型训练需要花费很长的时间。例如，在GMM-UBM（GaussianMixtureModel-UniverseBackgroundModel）模型的语种识别系统[2]中，语种训练样本数非常庞大（如：NISTLRE2007包含14个大语种，对应的SDC[2]训练矢量特征总数为68281155），模型混合高斯数多（一般为2048）计算量巨大。如果用一个CPU的单核训练模型，那么训练时间就不得不成为一个需要考