基于判别式模型的树到树统计机器翻译

《基于判别式模型的树到树统计机器翻译》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文基于判别式模型的树到树统计机器翻译作者姓名：指导教师：申请学位级别：学科专业名称：论文提交日期：学位授予日期：评阅人：宋楷张俐副教授东北大学信息科学与工程学院硕士学科类别：工学计算机软件与理论2014年6月论文答辩日期：2014．6．222014年7月答辩委员会主席：于戈胡明涵、战学刚东北大学2014年6月万方数据AThesisinComputerSoftwareandTheoryTree．．to．．TreeStatisticMachineTranslationBasedonDiscrim

2、inativeLearningBySongKaiSupervisor：AssociateProfessorZhangLiNortheasternUniversityJune2014万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：I碌斧移日期：≯口cr辛易阿22日l学位论文版权使用授

3、权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年班／／／一年口一年半口两年口学位论文作者签名：I系寿备签字日期：伽t中智易目22凸导师签名：?修j矛l＼签字日期：伽f垆年易同2z目万方数据壅些盘堂堑±芏堡坌塞擅墨基于判别式模型的树到树统计机器翻译摘要本文提出并实现了一种全新的基于判别式模型和

4、依存句法结构的树到树的统计机器翻译技术及框架，且性能堪比目前最好的基于句法的机器翻译模型。这种框架可以更灵活的利用目标语端的句法结构，以达到更好的翻译效果，这项工作为将来的统计机器翻译的研究工作提供了另一种可行的方法。和目前已有的方法不同，本文提出的方法将机器翻译任务当作目标语端的句子生成任务。使用多种特征来捕捉和学习双语端的句法结构、短语互译等信息，且首次将依存句法结构运用到了翻译规则中。本文工作所使用的判别式模型(感知机)不同于传统机器翻译中的生成式模型，可以很好的在丰富特征的基础上学习参数，提高模型的鉴别能力，这对

5、解码过程十分重要。在训练时，首先进行双语端数据预处理工作，将双语句对中出现时间、数字、日期、人名、地名等不可枚举的词串识别出来并进行泛化和翻译。接着是对双语数据进行依存句法分析，为每一个双语句对找到两棵依存句法树。在此基础上进行词对齐训练，词对齐训练的任务是为双语句对中的词和词之间找到相互对应的关系。在词对齐信息和双语依存句法信息已知的情况下，从每一个双语句对中抽取出包含依存信息的翻译规则。然后，以双语端句法树和句法翻译规则表作为输入，在迭代式的构建目标语树的过程中，不断学习特征的权重(包括传统的短语翻译概率、语言模型、

6、调序模型等特征，也包括本文工作特有的双语端句法树特征)，这些权重最终被保存到模型中。在解码时，以源语端依存句法树作为输入，利用翻译规则转化为目标语端的依存片段，加载训练时得到的模型中的参数，这些参数会在解码时指导翻译过程，帮助解码器构建一颗目标语端的句法树。在IWSLT2010年机器翻译评测数据上，本文所提出的方法，在性能上高于目前最优的串到树、树到树和树到串系统，略差于目前最优的短语和层次短语系统。在GEOQueryData语料上，本系统性能超过目前最优的句法和短语系统，与目前最优的层次短语系统性能相当。关键词：树到树

7、；机器翻译；判别式学习；词排序；依存句法万方数据丕i垦盘鲎亟±堂焦迨塞．一一．擅垩．．IV．．万方数据壅I垦盘堂亟±堂焦坌塞△b噬垒盟Tree．to—TreeStatisticMachineTranslationBasedonDiscriminativeLearningAbstractWestudyanovelarchitectureforsyntacticmachinetranslationbasedondiscriminativemachinelearningmodelanddependencysyntax．It’S

8、totallydifferentfromthedominantapproachintheliteratureandobtainacomparableBLEUandMETEORwiththestate-·of-the——artmachinetranslationsystem．Itprovidesanewwaytodom