融合检索技术的译文推荐系统的研究与实现

《融合检索技术的译文推荐系统的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中文图书分类号：TP391密级：公开UDC：004学校代码：10005硕士学位论文MASTERALDISSERTATION论文题目：融合检索技术的译文推荐系统的研究与实现论文作者：王威学科：计算机科学与技术指导教师：蒋宗礼教授论文提交日期：2016年5月UDC：004学校代码：10005中文图书分类号：TP391学号：S201307037密级：公开北京工业大学工学硕士学位论文题目：融合检索技术的译文推荐系统的研究与实现RESEARCHANDITSIMPLEMENTATIONON英文题目：TRANSLATIONRECOMMENDA

2、TIONSYSTEMFUSINGSEARCHTECHNOLOGY论文作者：王威学科专业：计算机科学与技术研究方向：计算机软件与理论申请学位：工学硕士指导教师：蒋宗礼教授所在单位：计算机学院答辩日期：2016年6月授予学位单位：北京工业大学独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作

3、了明确的说明并表示了谢意。签名：王威日期：2016年6月20日关于论文使用授权的说明本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：王威日期：2016年6月20日导师签名：蒋宗礼日期：2016年6月20日摘要摘要翻译检索被认为是机器翻译与信息检索技术的结合。机器翻译讨论如何用计算机将一种自然语言翻译为另一种自然语言。信息检索返回与用户查询相关的文档信息。

4、传统翻译检索方法一般基于双语语料库实现，译文效果十分依赖于双语语料的规模与质量。本文将翻译问题视作为检索问题，解决传统方法双语料库构建代价高的问题，同时寻求适用于提高译文质量的检索模型算法，提高最终译文的流畅性。通过将信息检索技术与基于短语的统计翻译方法融合，构建一个基于单语料的汉英译文推荐系统，接收中文查询，以界面的形式返回参考译文。系统主要包括查询翻译和信息检索两部分。查询翻译根据给定的一组中文，生成N-best英文结果；信息检索评价目标译文查询与候选译文的相关性。本文主要讨论汉译英的翻译方法，其中采用的技术亦可类比运用到其

5、他语言中。所做的主要工作如下：第一，设计并实现了一个基于短语的统计机器翻译系统。借助ICTCLAS2011对原始中文语料进行预处理，并借助GIZA++完成词对齐工作。采用对数线性模型进行多特征训练，最小错误率函数迭代优化特征权重的估计，最后完成解码，实现BLEU自动测评。基于4元文法模型的汉英数据集实验结果表明，本系统在基于短语的翻译表现上拥有很强的竞争力，与目前流行的统计机器翻译系统相比，取得了更优的BLEU指标。第二，以ApacheLucene为基础，改进了检索模型算法。使用基于向量空间模型构建基准检索算法，计算查询语句与候

6、选文档的相似度。考虑到N-best结果与候选译文的词序一致性，将基于阈值Levenshtein距离加入检索评分，提出了一个优化检索模型。实验表明优化后的检索模型使得检索子系统返回的排序结果更合理。第三，结合查询翻译子系统与检索子系统，提出了基于单语料与融合检索技术的译文推荐算法，并以此构建了融合检索技术的译文推荐系统，系统综合两部分子系统概率得分，根据分值高低给出最终的排序参考译文。实验取得了最高70.83%的f测度值。关键词：机器翻译；信息检索；自然语言处理；Levenshtein距离-I-AbstractAbstractTr

7、anslationretrievalisregardedasthecombinationofmachinetranslationandinformationretrievaltechnology.Machinetranslationdiscusseshowtotranslateanaturallanguageintoanothernaturallanguagebyusingacomputer.Informationretrievalreturnsthedocumentsrelatedtotheuser'squery.Thecon

8、ventionaltranslationretrievalmethodsbasedonparallelcorpusgenerally,andtheeffectismainlydependentonthequalityoftheparallelcorpus.Web