应用条件随机场进行汉语词法分析、语块分析的研究

《应用条件随机场进行汉语词法分析、语块分析的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文摘要介绍了词法分析、句法分析在自然语言理解研究中基础的、决定性的重要地位。针对目前词法分析、句法分析研究热点集中在基于规则方法和基于统计方法的联合应用，介绍了最大熵理论和最大熵理论对于自然语言理解研究的重要意义，并进一步介绍了条件随机场(以最大熵理论为驱动发展起来的一种用于对序列数据进行切分和标记的概率框架)。提出了应用条件随机场来构建统一的汉语词法分析。以往应用条件随机场进行汉语分词时，将分词转化为对汉字的标注。提出了使用词图作为基础的标记序列来完成汉语的词法分析，这样充分利用了现有的词典资源，在特

2、征架的选择时也可以方便地融合语言知识。最后进一步讨论了将条件随机场应用到汉语语块分析之中。提出了未来关于应用条件随机场构建汉语词法语块分析模型的初步构想。关键词：汉语词法分析；汉语语块分析；条件随机场；最大熵；序列数据标记；应用条件随机场进行汉语词法分析、语块分析研究AbstractThisdissenationintroducestheresearchoflexicalanalysisandsymaxparsingisimportant，cmcialand向ndamentalintheresearchofnat

3、urallanguageunderstanding．Accordingpresentlythetendencyofmethodsthatintegratestatistics-basedandmle_basemethods，thispaperintmducestherulesofMaximumEntropya11dthesigni矗canceofitonnatufal1anguageunderstandjngresearch．Furthermore，thisdissertationdiscussesthedefi

4、nitionandparameterestimateofConditionRandomFieldsCRFsarepmbabiljsticmodelsforsegmemingandlabelingsequencedataandheaVilymotivatedbytheprincipleofmaximumentropyThenthisdissertationpresentsaunifiedapproachforChinese1exicalanalysisusingConditjonalRandomFieldsPrec

5、iousapplicationsappIyingconditionalrandomfieIdstoChinesewordssegmentationconve『tsegmemationtochamcter-basedBegin仃nsidetaggingThisdissertationpresemsusingthewordslatticeasthefundamentalsequencetobetaggedtoachieveChineselexicalanalysisThenthe1exiconcanbeusedeff

6、iciently：andlanguageknowledgecanbeintegratedeasilyinfeaturetemplateselectingThisdisseftationalsodiscussesapplyingConditionalRand。mFieldstoChineseChunkParsingandour如tureworksKeywords：Chjneselexicalanalysis；ChineseChunkParsing；CondhionalRandomFields；ⅣraximumEnt

7、ropyiLabelingSequentiaIData；II硕士学位沦文插图索引图1l词图示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯5图l2依存树示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯10图31线性链CRFs示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯19图32隐马模型示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯21图3．3标记偏见问题示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯25图34CRFs结构示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯26Ⅲ

8、应用条件随机场进行汉语词法分析、语块分析研究附表索引表41CRFs词法分析特征框架表⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯32表5lCRFs语块分析特征框架表⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯34兰州理工大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表