基于层次聚类的跨文本中文人名消歧研究-论文.pdf

《基于层次聚类的跨文本中文人名消歧研究-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、1062014，50(6)ComputerEngineeringandApplications计算机工程与应用基于层次聚类的跨文本中文人名消歧研究张菲菲，李宗海，周晓辉，李晓戈ZHANGFeifei，LIZonghai，ZHOUXiaohui，LIXiaoge，1．西安邮电大学，西安7101212．济南中林信息科技有限公司，济南2501001．Xi’anUniversityofPosts&Telecommunications，Xi’an710121，China2．JinanZhonglinInformationTechnologyCo．，L

2、td，Jinan250100，ChinaZHANGFeifei，LIZonghai，ZHOUXiaohui，eta1．Cross—documentChinesepersonalnameentitydisambiguationbasedonhierarchicalclustering．ComputerEngineeringandApplications，2014，so(6)：106—111．Abstract：Cross．documententitydisambiguationiStheproblemofidentifyingwhetherme

3、ntionsfromdifferentdocumentsrefertothesameordistinctentities．ThispaperdescribesaChineseinformationextractionsystemwhichinvolvesbothdocument—levelIEandcorpus-levelIE，apipelineandmulti-levelmodularapproachtonameentityandEntityProfileextrac。tion．Itintroducesnovelfeaturesbased

4、ondocument．1eve1entityprofilesandstudyontheinfluenceoffeatureselection，parameterselection，parametervalidationandanalysisonresults．Disambiguationisperformedbasedonagglomerativehier‘archicalclusteringusingHadoop．ExperimentsshowthatF—measureoftrainingsetis91．33％andtestingseti

5、s88．73％，usingthewholenetworknewscorpusdatasetfromHarbinInstituteofTechnology．Keywords：entitydisambiguation；informationextraction；similarity；hierarchicalclustering摘要：人名消歧已经成为自然语言处理和信息抽取应用中亟待解决的重要问题。运用中文自然语言处理和信息抽取系统识别命名实体和实体关系，生成实体信息对象(EntityProfle)，采用实体信息对象(EP)中的个人信息特征，实体关

6、系和上下文相关信息在Hadoop平台上基于凝聚的层次聚类方法解决了实体消歧问题。采用哈尔滨工业大学整理的全网新闻语料作为人名消歧训练和测试数据，着重研究了中文人名消歧特征的选取，参数的确定和验证，在训练集和测试集上分别取得了91．33％和88．73％的F值。说明提出的方法具有较好的可行性。关键词：人名消歧；信息抽取；相似度；层次聚类文献标志码：A中图分类号：TP391．12doi：10．3778／j．issn．1002—8331．1309．04231引言代表不同的人物实体，不同的姓名代表相同的人物实在互联网上搜索人名已经十分常见，但人名重名

7、的体。这种现象的存在极大地制约着信息抽取应用的可现象也非常普遍，往往搜索的结果中会出现大量相同名靠性与实用性。本文在自然语言处理和信息抽取技术字的网页。曾统计搜索“李静”，在结果去重后选取前43的基础上，针对由不同文档抽取出来的人物实体信息的个搜索结果，统计网页中的“李静”分别表示了6个不同相似度矩阵进行聚类，从而实现人名消歧。的人。命名实体消歧已经成为自然语言处理中亟待解决2相关工作研究的重要问题，对问答系统，信息检索”，网络知识库和复人名消歧早期主要是针对新闻类型的文本信息及一杂信息网络构建有着重要影响。在基本的三大类命名些学术中自动处

8、理中人名消歧的问题研究。早在1994年，实体中，人名比地名、组织机构名具有更强的歧义性，解跨文档指代消解(Cross．DocumentCo．reference，CDC)决难度也更