一种面向用户的语言模型及其机器学习方法

《一种面向用户的语言模型及其机器学习方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第36卷第2期哈尔滨工业大学学报Vol.36No.22004年2月JOURNALOFHARBININSTITUTEOFTECHNOLOGY2004一种面向用户的语言模型及其机器学习方法刘秉权，王晓龙(哈尔滨工业大学计算机科学与技术学院，黑龙江哈尔滨150001,E-mail:liu坷@insun.hit.edu.en)摘要:为改善语言模型的自适应能力，提出的面向用户的语言模型在组织结构上由通过大规模平衡语料的训练得到的通用语言模型(其原始参数维持不变)和通过在线学习得到的用户模型(其参数采用先进先出技术动态更新)组成;在数据存储结构上，通用模型采用多级索引结构来解决数据稀疏问

2、题，用户模型采用线性结构表示，用二分法查找.根据最大限度纠正语言模型的转换错误和避免语言模型不平衡的原则，提出了适应汉语N-gram模型的机器学习方法.实验结果表明，这种机器学习方法具有“强化”特点，和“渐进学习”方式一起为应用系统提供了更灵活的选择.关键词:语言模型;N-gram;自适应;音字转换中图分类号:TP391.42文献标识码:A文章编号:0367-6234(2004)02-0150-04User一orientedChineselanguagemodelanditsmachinelearningLIUBing-quan,WANGXiao-long(SchoolofC

3、omputerScienceandTechnology,HarbinInstituteofTechnology,Harbin150001,ChinaE-mail:liu响@insun.hit.edu.cn)Abstract:Inordertoimprovetheadaptabilityofthelanguagemodel，theuser一orientedlanguagemodelisproposedconsistingofthegeneral一purposelanguagemodel(withitsoriginalparameterskeptunchanged)ob-tain

4、edthroughlarge一scaletrainingonbalancedcorpusandtheusermodel(withitsparametersdynamicallyupdatedusingthefirstinandfirstouttechnique)obtainedthroughon一linelearning.Inthedatastoragestruc-ture，amulti一levelindexstructureisusedinthegeneral一purposemodel_tosolvethedatasparsenessprob-lem，andtheuserm

5、odelisrepresentedbylinearstructures，andsearchedbythehalvingmethod.AmachinelearningmethodsuitableforChineseN一grammodelisproposedfollowingtheprincipleofcorrectingasmuchlanguagemodeltransfererrorsaspossibleandavoidinglanguagemodelimbalance.Experimentalresults一indi-catethatthismachinelearningme

6、thodhasthe"strengthening"characteristics,andprovidestogetherwiththe"progressivelearning"modeamoreflexiblechoicefortheapplicationsystem.Keywords:languagemodel;N一gram;adaptation;Pinyin一to一characterconversion基于统计的语言模型鲁棒性强，扩展性强，易统计语言模型的训练，面临两个问题:一是大于实现自动化，适合处理面向大规模应用的真实量的平衡语料难以获得;二是某一领域的语料训语料一些

7、面向英语或汉语的产品化的语音识别、练模型应用到其他领域，模型性能会大幅度下降.文字识别、汉字智能输人系统均采用了基于大规语言模型的应用是面向特定用户的，不同用户使模真实语料的统计语言模型技术【1-41.最典型的用的文本类型和风格无法准确预测，因而也无法是N一gram模型.建立准确的模型;特定用户使用的本文也具有时段特性，超过这一时段文本类型和风格则可能变收稿日期:2003一10-20.化.根据记忆原理，记忆事物的增多会冲淡原有事基金项目:国家自然科学基金资助项目(69973015);国家高技术研究发展计