基于深度神经网络的统计机器翻译模型研究

《基于深度神经网络的统计机器翻译模型研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于深度神经网络的统计机器翻译模型研究THERESEARCHOFSTATISTICALMACHINETRANSLATIONMODELBASEDONDEEPNEURALNETWORK李婧萱哈尔滨工业大学2015年12月国内图书分类号：H085学校代码：10213国际图书分类号：621.3密级：公开工学硕士学位论文基于深度神经网络的统计机器翻译模型研究硕士研究生：李婧萱导师：张海军副教授申请学位：工学硕士学科：计算机科学与技术所在单位：深圳研究生院答辩日期：2015年12月授予学位单位：哈尔滨工业大学ClassifiedIndex:

2、H085U.D.C:621.3DissertationfortheMasterDegreeinEngineeringTHERESEARCHOFSTATISTICALMACHINETRANSLATIONMODELBASEDONDEEPNEURALNETWORKCandidate：JingxuanLiSupervisor：AssociateProfessorHaijunZhangAcademicDegreeAppliedfor：MasterDegreeinEngineeringSpeciality：ComputerScienceandTechn

3、ologyAffiliation：ShenzhenGraduateSchoolDateofDefence：Dec,2015Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工学硕士学位论文摘要随着互联网应用的日益增多，网络交互愈加频繁，互联网内的资源呈现出爆发式的增长。在此浪潮的冲击之下，深度学习等基于大规模数据的方法被提出，且对于许多搁置不前的经典任务，学者们开始从全新的角度加以思考。而本课题的研究方向就是对传统的机器翻译问题重新设计与建模，并使用深度神经网络来

4、解决此问题。通过对传统统计机器翻译方法的调研，以及深度学习在自然语言处理中的应用分析，本课题旨在建立一个联合的神经网络模型来覆盖整个翻译过程，从End-to-End的角度直接完成翻译任务。以往对于机器翻译模型的改进，通常是将其中某个子模块使用神经网络进行替换，但本课题联合所有子模块进行建模，把机器翻译过程分解为编码器、解码器两大部分。在此之上对语言模型、词对齐部分、以及输出模块生成算法进一步优化，并提出一种基于递归神经网络的RNN-embed机器翻译模型。此模型最大的优势为无需对双语数据进行分词处理，平行双语对会被视为两个高度相关的具有时间

5、顺序的序列对。双语数据以字符级别输入所提出的网络进行训练，以解决文本类信息在深度神经网络中高语义难处理的困难。基于所提出的模型，本课题还实现了一个可插拔的通用机器翻译框架，并以多线程及GPU计算加速训练过程。由于没有合适的公开数据集，便通过爬取字幕网站上的中英字幕数据，并预处理后生成一千多万对双语语料，部分作为实验数据使用。最后，通过实验验证，相比于权威统计机器翻译系统Moses，本课题的RNN-embed机器翻译模型大幅度缩减模型训练时间，同时降低翻译过程的复杂性。且与最佳的基于神经网络的机器翻译模型比较，本模型解决了基于分词的输入数据所

6、存在的字典过大问题，并进一步提高了长句的翻译效果。关键词：统计机器翻译；深度学习；递归神经网络-I-哈尔滨工业大学工学硕士学位论文AbstractWiththeincreasingoftheInternetapplication,networkinteractionmorefrequent,resourcesintheInternetpresenttheexplosivegrowth.Undertheimpactofthiswave,methodsbasedonbigdatahavebeenproposed,suchasdeeplearni

7、ng,scholarsbegantothinkaboutthesetasksfromanewperspective.Theresearchdirectionofthistopicistodesignandmodelingproblemsoftraditionalmachinetranslation,andusethedeepneuralnetworktosolvetheproblem.Throughtheresearchoftraditionalstatisticalmachinetranslationmethod,aswellasappl

8、icationanalysisofthedeeplearninginnaturallanguageprocessing,thissubjectaimstoestablishajo