基于平行语料库的双语术语抽取系统研究

《基于平行语料库的双语术语抽取系统研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于平行语料库的双语术语抽取系统研究摘要：针对双语术语抽取系统在处理多种语言时大量耗费人力、财力、物力等的局限性问题，提出基于平行语料库的双语术语抽取方法，同时，分析此方法的不足，结合多种方法进行改善。在此基础上开发了一个双语术语抽取系统，并通过实验分析了相似度函数、语料规模以及改进后方法对术语抽取结果的影响，而且该系统已经作为商品化软件投入实际应用。关键词：平行语料库；词对齐；共现矩阵；相似度函数；双语术语抽取中图分类号：TN911734；TP391.7文献标识码:A文章编号：1004?373X(2016)15?0108?04Abstract：Si

2、ncethebilingualterminologyextractionsystemexiststhelimitationproblemsofconsumingmassivemanpower，financialresourcesandmaterialresourceswhiletreatingwithmultilinguallanguages，thebilingualterminologyextractionmethodbasedonparallelcorpusisputforward.Theshortcomingsofthismethodarean

3、alyzed,andimprovedwithavarietyofmethods.Onthebasisoftheabove，abilingualterminologyextractionsystemwasdeveloped.Thesimilarityfunction,corpusscale，andtheeffectoftheimprovedmethodonterminologyextractionresultsareanalyzedwiththeexperiment.Theextractionsystemwasputintopracticalappli

4、cationasacommercialsoftware.Keywords：parallelcorpus；wordalignment；co?occurrencematrix；similarityfunction；bilingualterminologyextraction0引言术语是人类智慧和知识的结晶，包含着丰富的信息，双语术语自动抽取任务早己引起学术界和工业界广泛的关注［1］。同时，随着全球化进程的推进，各国之间越来越迫切地要求知识和技术的交流，而术语作为知识最核心的载体，其相互翻译恰恰成为了各国间知识、技术交流的最大障碍之一［2］。所以，实现双语

5、术语自动抽取，对于双语术语词典的构建和跨语言检索都有重要的意义。本文介绍了用基于相似度函数的方法生成对齐词典的过程并分析其不足之处，融合了多种方法提高双语术语抽取的准确率，在此基础上开发了一个双语术语抽取系统并做了三方面的实验：不同的相似度函数对最后抽取结果的影响、不同的语料规模对最后抽取结果的影响以及改进方法对双语术语抽取准确率的影响。1基于相似度函数的对齐词典生成1.1词典生成的过程对齐词典的生成以双语平行语料库为基础，采用相似度函数计算双语中不同词语之间的关联程度，把关联程度最强的词语作为对齐词典的词对［3?4］。整个过程主要分为语料预处理、语

6、料编码、生成对齐矩阵和生成对齐词典四个步骤。1.2对齐词典存在的问题及其他对其方式尝试仅仅用源语言中的每个词（包括抽取出来的候选术语）与目标语言的每个词（也包括候选术语）进行对齐，取得的效果并不理想，原因主要集中在以下几个方面：单语术语抽取并不能穷尽所有的术语词；很多中文多词术语对应的英文术语只有一个词；有些中文术语，在英文中根本就没有固定的翻译以及通过分析生成的对齐词典，中文术语与英文单词的对齐概率总比中文术语与英文多词术语的对齐概率要高［5?6］。基于上述对齐词典存在的问题，为了让对齐的效果更好，本文对多种不同的对齐方法进行尝试，虽然最后的结果不

7、够理想，不能达到实际应用的目标，但是为找出能够解决上述问题的方法做了铺垫。基于窗口匹配和相似函数的方法：经过大量实验，但结果并不理想，原因包括：共现矩阵太大；处理时间增长；很多正确的但不满足条件的词没能被抽取出来。迭代对齐法：该方法通过不断迭代，直到满足条件才停止。通过实验证明结果并不是很好，原因可能是：对齐的方法本身会产生错误的结果，而迭代过程对这种误差也是迭代的，误差导致错误的结果会越来越多，影响下一次需要对齐的词语。2基于多策略融合的双语术语抽取方法分析导致生成对齐词典准确率不高的原因，针对不同的问题，提出对应的改进方法。用基于相同原理的统计方

8、法分别抽取单语，最大限度地减少单语术语抽取的不平衡；结合HMM模型的对齐结果和权衡比重的方法增大对齐的准确度