最大熵与隐马尔可夫模型结合的英语词性标注研究与实现

《最大熵与隐马尔可夫模型结合的英语词性标注研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、哈尔滨工业大学工学硕1:学位论文摘要英语词法分析、词性标注是英文句法分析的基础，也是进一步进行英汉机器翻译的基础。它们的分析结果直接影响到英语句法树的生成及机器翻译址终的译文质量.另外，词法分析和词性标注也应用于诸多自然语言处理任务中，如信息检索、文本分类、自动文摘等，于是它们的研究成果必将推动自然语言处理领域的相关研究。本文对词法分析和词性标注这两个问题进行丁深入的研究，并根据各自的特点提出了相应的解决方案。英语词法分析包含两个部分:句子边界识别和形态还原。自然语言的语祛规则都是对独立句子而言的，因此句子边界识

2、别造成的错误会引起句法分析的错误，也是一个导致最终翻译结果不正确的原因。有效准确地确定句子边界是进行机器翻译前对文本预处理的重要步骤。本文提出了决策树与错误驱动相结合的方法进行句子边界识别，取得了良好的效果。对于形态还原，山于在英语中单词的形态变化是有语法规则可依的，本文主要借助英语特有的形态还原的规律，以单词不同的词形变化和一些特殊符号来分类，利用知识库进行分析，采用分治的方法对各类问题进行相应的处理。词性表示词的语法属性，是构成自然语言结构和进一步进行句法分析的A础。在研究英语词性标注时，本文提出了将最大摘与

3、三元隐马尔可夫模型Ill结合的方法进行词性标注。针对模型中面临的数据稀疏问题，本文首先在统一的研究平台上比较分析了各种典型的参数平滑算法的优劣，并选择线性插值来平滑HMM的转移概率。针对传统隐马尔可夫模型中对于词性的约束过于简单的问题，本文在最大摘框架下，对影响发射概率的上下文特征进行选择，采用最大嫡模型对发射概率进行估计，尽可能体现上下文的词性与单词特征对于发射概率的影响。综合两个模型各自的优势应用于英语词性标注，最终提高词性标注的精度。关键词词法分析;词性标注;最大嫡模型;隐马尔可夫模型;参数平滑哈尔滨工业人

4、学T.学硕卜学位论文AbstractMorphologicalanalysis(MA)andpart-of-speech(POS)taggingarefundamentaltoEnglishparsingaswellasEnglish-Chinesemachinetranslationinthattheiraccuracyisdecisivetothequalityoffinalresult.Manyothernaturallanguageapplications,suchasinformationretriev

5、al,speechrecognitionandtextclassification,wouldbenefitalotfromhigh-accuracyofMAandPOStagging.Thisthesisinvestigatesthesetwoproblemsandsuggestscorrespondingsolutionsrespectively.TherearetwoproblemsinMA:sentenceboundaryidentificationandlemmatization.Incorrectse

6、ntenceboundaryidentificationwoulddefinitelyresultinparsingerrorsinceallgrammarsofnaturallanguageaimatindependentsentence.ToaddressthisessentialprobleminEnglishtextanalysis,thisthesisproposesastrategythatcombinesdecisiontreewitherror-drivenmethodtolabelEnglish

7、sentenceboundaries.Experimentshowsthatthismethodachievesbetterresults.Fortheproblemoflemmatization,aknowledge-basedmethodisputforwardtoemploythemorphologicalrulesofEnglishword.Infact,thewholeMAprocessconsistsofaseriesoffunctionsdealingwithdifferentparticulari

8、nflectionsofEnglishword.ToaddresstheproblemofPOStagging,thisthesisputsforwardastrategyofcombiningMaximumEntropy(ME)modelwithHiddenMarkovModel(HMM).Inordertosolvedatasparsenesscausedbylimi