基于深度学习模型的输入法研究

《基于深度学习模型的输入法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于深度学习模型的输入法研究RESEARCHONINPUTMETHODBASEDONDEEPLEARNINGMODEL杨新涛哈尔滨工业大学2018年6月国内图书分类号：TP393.1学校代码：10213国际图书分类号：004.8密级：公开工学硕士学位论文基于深度学习模型的输入法研究硕士研究生：杨新涛导师：王宇颖教授申请学位：工学硕士学科：计算机科学与技术所在单位：计算机科学与技术学院答辩日期：2018年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP393.1U.D.C:004.8DissertationfortheMasterDegreeinEngineer

2、ingRESEARCHONINPUTMETHODBASEDONDEEPLEARNINGMODELCandidate：YangXintaoSupervisor：Prof.WangYuyingAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：ComputerScienceandTechnologyAffiliation：SchoolofComputerScienceandTechnologyDateofDefence：June,2018Degree-Conferring-Institution：HarbinInstituteofTech

3、nology哈尔滨工业大学工学硕士学位论文摘要文字输入作为人机交互中一个相当重要的环节，对于计算机的使用几乎是不可或缺的。高效快捷的汉语文字输入一直是使用汉语的人们使用计算机的最基本的需求，而且这个需求越来越紧迫。深度学习技术自出现以来已经在机器视觉、语音识别、自动问答、机器翻译等领域取得了非常大进步，本文研究基于深度学习的输入法，希望通过深度学习技术使汉语文字输入变得更准确更高效。本文研究内容可以归纳为以下几点：（1）传统的输入法模型研究以及改进。几乎现在所有流行的输入法都使用隐马尔科夫模型（HMM）进行音字转换。本文实现了使用HMM进行音字转换，并且使用RNNs改进了HMM模型的状态转移

4、过程。在音字转换试验中转换的准确率提高了5个百分点。（2）基于深度学习模型的输入法。音字转换过程可以看成是一个序列标注的过程，输入序列为拼音串，标注的标签为汉字字符。本文研究了使用双向LSTM模型，从序列标注的角度实现了音字转换系统。如果将汉语拼音和汉字看成两种独立的语言，音字转换过程又可以看作是一个机器翻译的过程，本文使用机器翻译领域使用的Seq2Seq模型实现了音字转换。（3）对Seq2Seq模型的研究。本文研究了Attention机制对于Seq2Seq模型的影响，分别研究了两种Attention机制分别是GlobalAttention和LocalAttention对于Seq2Seq模型

5、在音字转换任务上的影响。除此之外本文提出了使用CNNs作为编码器LSTMs作为解码器的Seq2Seq模型。这个模型在结合了LocalAttention和positionembedding技术后在音字转换实验上相对于没有使用Attention机制的baseline模型准确率提高了3个百分点。（4）本文在研究音字转换的基础上，完成了一个完整的输入法内核系统。系统包括拼音串的切，整句转换、候选字、候选词、候选短语的生成和界面展示部分。除此之外本文实现的输入法系统通过24小时不间断爬取互联网上的新数据，具备了新词挖掘功能和输入法模型不断自动更新的功能。通过不断的新词发现和模型的不断自动迭代更新，能不

6、断学习互联网上新的词新用法和汉语语言不断衍化出来的新特点，使用户能够通过拼音输入具有最新特点的汉语语句。与哈工大网络智能实验室目前的WI输入法相比，本文最新的输入法模型在全拼整句输入上比WI输入法准确率高将近5个百分点；在九宫格整句输入上提升了将近4个百分点。关键词：输入法；深度学习；隐马尔科夫模型；序列到序列模型；注意力机制-I-哈尔滨工业大学工学硕士学位论文AbstractAsaveryimportantpartofhuman-computerinteraction,textinputisalmostindispensablefortheuseofcomputers.Theeffecti

7、veinputofChinesecharactershasalwaysbeenthemostbasicrequirementforpeopleusingChinesetousecomputers,andthisdemandisincreasinglypressing.Sinceitsappearance,deeplearninghasmadegreatprogressinmachinevision,speec