基于cuda的gmm模型快速训练方法及应用-数据采集与处理

《基于cuda的gmm模型快速训练方法及应用-数据采集与处理》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于CUDA的GMM模型快速训练方法及应用吴奎，宋彦，戴礼荣（中国科学技术大学电子工程与信息科学系，安徽合肥，230027）摘要由于能够很好地近似描述任何分布，GMM在模式在识别领域得到了广泛的应用。GMM模型参数通常使用迭代的EM算法训练获得，当训练数据量非常庞大及模型混合数很大时，需要花费很长的训练时间。NVIDIA公司推出的CUDA技术通过在GPU并发执行多个线程能够实现大规模并行快速计算。由此，本文提出一种基于CUDA，适用于特大数据量的GMM模型快速训练方法，包括用于模型初始化的K-means算法的快速实现方法，以及用于模型

2、参数估计的EM算法的快速实现方法。文中还将这种训练方法应用到语种GMM模型训练中。实验结果表明，与IntelDualCorePentiumⅣ3.0GHzCPU的一个单核相比，在NVIDIAGTS250GPU上语种GMM模型训练速度提高了26倍左右。关键词：GMM模型；语种识别；图形处理单元；统一计算设备架构CUDAbasedFastGMMModelTrainingMethodanditsApplicationWuKui，SongYan，DaiLiRong(DepartmentofElectronicEngineeringandInfo

3、rmationScience，UniversityofScienceandTechnologyofChina，Hefei，230027，China)Abstract:Duetoitsgoodpropertytoprovideanapproximationtoanydistribution,GMMhasbeenwidelyappliedinthefieldofpatternrecognition.Usually,theiterativeEMalgorithmisappliedtoestimateGMMparameters.Thecomp

4、utationalcomplexityatmodeltrainingprocedurewillbecomeveryhighwhenlargeamountsoftrainingdataandlargemixturenumberareengaged.TheCUDAtechnologyprovidedbyNVIDIACorporationcanperformfastparallelcomputationbyrunningthousandsofthreadssimultaneouslyonGPU.Inthispaper,afastGMMmod

5、eltrainingimplementationusingCUDAispresented,whichisespeciallyapplicabletolargeamountsoftrainingdata.Thefasttrainingimplementationcontainstwoparts,theK-meansalgorithmformodelinitializationandtheEMalgorithmforparameterestimation.Furthermore,thisfasttrainingmethodhasbeena

6、ppliedinlanguageGMMstraining.TheexperimentalresultsshowthatlanguagemodeltrainingusingGPUisabout26timesfasteronNVIDIAGTS250whencomparedtotraditionalimplementationononeofthesinglecoreofIntelDualCorePentiumⅣ3.0GHzCPU.Keywords:GMMmodel;Languageidentification;GPU;CUDA1引言由于能够

7、很好地近似描述任何分布，高斯混合模型（GaussianMixtureModel，GMM）在模式识别领域得到了广泛的应用。GMM模型参数通常使用迭代的EM(Expectation-Maximization)算法[1]训练获得。EM算法是一个迭代算法,需要对模型初始化，一般采用K-means算法实现EM算法的初始化。当训练数据量非常庞大及模型混合数很大时，模型训练需要花费很长的时间。例如，在GMM-UBM（GaussianMixtureModel-UniverseBackgroundModel）模型的语种识别系统[2]中，语种训练样本数非

8、常庞大（如：NISTLRE2007包含14个大语种，对应的SDC[2]训练矢量特征总数为68281155），模型混合高斯数多（一般为2048）计算量巨大。如果用一个CPU的单核训练模型，那么训练时间就不得不成为一个需要考