基于crf的农业命名实体识别研究

《基于crf的农业命名实体识别研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号：!旦窆!密级：：公珏单位代码：!QQ墨鱼学号：2Q!!!Q2基于ORF的农业命名实体识别研究StudyonRecognitionofChineseAgriculturalNamedEntitywithCRF学位申请人：指导教师：学科专业：学位类别：授予单位：答辩日期：王春雨王芳教授计算机应用技术工学硕士河北农业大学二。一四年五月二十七日万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得塑

2、兰鱼盔些盘堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：王春两签字日期：2D他年皇月您日学位论文版权使用授权书本学位论文作者完全了解塑兰垦盔些盘堂有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权塑兰垦壅些盘堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后适用本授权书)学位论文作者签名：磷雨签字日期：70J忙

3、皇月碍日学位论文作者毕业后去向：工作单位：通讯地址：导师醚膨签字日期：加／忙乡月≯8日电话：邮编：万方数据摘要命名实体是文本中最基本的信息元素，是正确理解文本的基础。命名实体识别是要判断～个字符串是否代表一个命名实体，并且它的类别，即发现命名实体和标注命名实体的类别。命名实体识别广泛应用于自然语言处理任务中，如机器翻译、分本分类、信息检索和自动文摘等，所以命名实体的研究成果必将推动自然语言处理领域的相关研究。本文对农业中的命名实体进行识别研究，从以下几个方面进行了研究和探讨。第一，总结了前人研究命名实体识别的方法和研究现状，深入了解了近年来国内外命

4、名实体识别的评测活动，总结了农业命名实体识别研究的困难；深入学习隐马尔科夫(HMM)模型、最大熵(ME)模型、条件随机场(CRF)模型理论知识、模型的推导过程，分析了三个模型的优缺点，最终选择CRY模型进行农业命名实体识别的研究。第二，采用CRF模型，以字作为输入的粒度，综合农业命名实体的内部特征和外部特征，选择了合适的特征，结合文本信息的上下文特征进行训练，得到一个识别效率比较好的模型文件。通过测试得出基于CRF的农业命名实体识别的F值能够达到92．2％。为了能够再次提高F值，添加了规则对CRF模型的识别结果进行修正，最终F值能够达到95％。第三

5、，本文中实现了一个基于CRF的农业命名实体识别系统，文中对其中的几个比较重要的模块的框架进行了描述。文中通过该系统进行了四组实验，实验证明农业命名实体识别的F值最终能够达到95％，系统性能稳定。所以本文采用条件随机场模型进行农业命名实体识别是可行有效的。关键字：自然语言处理；农业命名实体；条件随机场(CIU)；特征选取万方数据StudyonRecognitionofChineseAgriculturalNamedEntitywithCRFAuthor：WangChunyuMajor：ComputerAppliedTechnologySupervis

6、or：ProfessorWangFangABSTRACTNamedentity(NE)，asthebasicinformationunitoftext，iSessentialtothecorrectunderstandingofatext．Namedentityrecognition(NER)istoidentifythewordsinadocumentbelongingtoNEandfurtherclassifythemintosomepredefinedcategories．Namedentityhasbeenwidelyusedinmachi

7、netranslation，textclassification，informationretrieval，automaticsummarizationorotherNaturalLanguageProcessingapplications．Accordingly,itssolutionwillpromotetheresearchoftherelevantfields．Inthisthesis，attentionisconcentratedontheagriculturenamedentity,studiedanddiscussedfromthef

8、ollowingaspects．1．Tllisarticlesummarizesthemethodsofpreviouss