双语语料获取系统关键技术的研究与实现.pdf

《双语语料获取系统关键技术的研究与实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA专业学位硕士学位论文MASTERTHESISFORPROFESSIONALDEGREE论文题目双语语料获取系统关键技术的研究与实现专业学位类别工程硕士学号200992250113作者姓名艾厚军指导教师刘根旺副教授万方数据分类号密级注1UDC学位论文双语语料获取系统关键技术的研究与实现（题名和副题名）艾厚军（作者姓名）指导教师刘根旺副教授电子科技大学成都齐浩亮副教授哈尔滨海鑫科技有限公司哈尔滨申请学位级别硕士专业学位类别工程硕士工程领域名称

2、软件工程提交论文日期2012.9.1论文答辩日期2012.12.1学位授予单位和日期电子科技大学2012年12月27日答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。万方数据电子科技大学硕士学位论文ENGLISHTITLEOFMASTERTHESISTHERESEARCHANDIMPLEMENTATIONOFTHEKEYTECHNOLOGIESONTHEACQUISITIONSYSTEMOFTHEBILINGUALCORPUSAThesisSubmittedtoUniversityofElectronicScienceandTech

3、nologyofChinaMajor:SoftwareEngineeringAuthor:AiHouJunAdvisor:LiuGenWangSchool:SchoolofAeronauticsandAstronautics-3-万方数据电子科技大学硕士学位论文独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在

4、论文中作了明确的说明并表示谢意。作者签名：日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：导师签名：4万方数据日期：年月日万方数据摘要摘要随着统计自然语言处理技术的发展，双语平行语料库在统计机器翻译和跨语言检索领域中的作用已不容忽视。现有双语平行语料库仍然无法

5、满足实际应用的要求，双语语料库成为统计机器翻译系统和跨语言信息检索的发展瓶颈。现在双语语料库的进一步研究成为国内外研究者关注的焦点。目前的英汉语料库主要集中在政府文件、新闻法律和著名文学翻译等特殊领域，因此这种领域不平衡性降低了相关研究在实际应用中的水平，从而使得各项基于语料库的研究陷入瓶颈。为了减轻人工搜索双语语料的工作难度，有必要研究一种高效的双语语料库建设方案，并能够轻易运用到各个领域研究工作中，以替代以往人工获取双语语料库的方式。为解决实际问题提供精确的解决方案对相关研究发展具有非常重要的现实意义。本文从基于不同网站提出了几种获取双语语料

6、的方法。包括面向“爱词霸”的双语语料自动获取，基于中国学术期刊的语料获取，以及基于专利的双语语料获取。本文详细介绍了各个语料的获取方法及过程。针对不同的网站特点提出了不同的双语语料获取方法，实现了大规模双语语料快速准确的自动获取。在获取“爱词霸”的双语语料时，主要采用Nutch爬虫工具，因为对于英文而言，Nutch爬虫效果相对较好，检索也准确，相关性较好。另外，本文放弃从整个互联网中获取双语语料的思路，采用一个全新的双语平行句对的获取途径，即通过获取中国期刊全文数据库中各学术文章的基本信息来获得大规模高质量的英汉双语平行语料。本文获取了超过GB级

7、的大规模双语对齐语料，经人工评价认为非常准确，为做进一步的跨语言信息检索研究做了准备。关键词：双语语料，机器翻译，跨语言检索，语料获取I万方数据ABSTRACTABSTRACTWiththedevelopmentofthetechnologyofstatisticalnaturallanguageprocessing,theroleofparallelcorpusinstatisticalmachinetranslationandcross-languageretrievalcannotbeignored.ExistingParallelCorp

8、usstillunabletomeettherequirementsofpracticalapplications,bilingualc