互联网命名实体抽取及关联关系挖掘探究

《互联网命名实体抽取及关联关系挖掘探究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、互联网命名实体抽取及关联关系挖掘探究摘要：首先分析了互联网文本中命名实体分布特征；然后使用UIMASDK构建一个文本分析引擎在文档中寻找命名实体，将结果写入抽取信息数据库EIDB中；最后对文本中包含的命名实体的强关联关系进行了关联分析。实验证明该框架非常有效。关键词：UIMA；命名实体；抽取；强关联关系；IMDB中图分类号:TP391文献标识码：A文章编号：16727800(2013)003013202基金项目：湖北省教育厅科学技术研究项目(B20128604)；武汉东湖学院大学生科研重点项目(2012)作者简介：彭庆喜(1974-),男，硕士，武汉东湖学院计算机学院工程师

2、，研究方向为数据挖掘与机器学习。0引言随着互联网的发展，Web上数据的价值越来越受到研究人员的重视。从Web±获取信息成为深入研究的一个非常重要的基础手段。然而互联网上的信息基本上是非结构化信息。如何从这些非结构化的文本中获取我们需要的信息，是非常重要的工作。文章基于UIMA构建了一个互联网命名实体的抽取与分析系统。先使用UIMASDK建立了一个文本分析引擎，然后将结果写入抽取信息数据库EIDB中，最后使用DB2IntelligentMiner分析了互联网人名之间的强关联关系。实验证明该解决方案得到了满意的抽取和分析结果。1UIMA架构UIMA（全称"Unstructure

3、dInformationManagementArchitecture",即"非结构化信息管理架构"）于2009年3月作为OASIS标准发布，它是一个组件化的软件架构，用于分析同终端用户相关联的大容量非结构化信息。这个框架的目的是为非结构化分析提供一个通用的平台，从而提供能够减少重复开发的可重用分析组件。UIMA架构允许插入定制的分析组件，并将它们与其它组件合并。UIMA应用程序不需要知道分析组件共同合作生成结果的细节，集成和组织多个分析组件是UIMA框架的工作。UIMA应用程序可能分析纯文本并识别人员、位置和组织；它也可能识别关系，比如为谁工作或在什么地方工作。应用程序通常

4、可以拆分成组件，例如“语言识别”二〉“特定于语言的部分”=>“句子范围检测”=>“实体检测”。这些组件之间存在依赖性，例如，“句子范围检测”必须先于'‘特定于语言的部分”。每个组件都是自含的并且可以与其它组件组合。每个组件实现由其它框架定义的接口，并通过XML描述符文件提供自我描述元数据。UIMA框架管理组件和在它们之间流动的数据。分析引擎、标注器和CommonAnalysisStructure分析引擎是UIMA中的中央构建块。分析引擎包含一个或多个标注器或其它分析引擎。每个标注器实现一个特定的文本分析功能。这种递归式打包允许通过简单的分析引擎构建复杂的分析引擎。每个标注器

5、将其结果储存在具有类型的特征结构中，该结构仅是包含类型和一组属性/值对的数据结构。图1是包含用于命名实体识别、语法分析和关系探测的标注器文本分析引擎。目前UIMA的实现主要有ApacheUIMA和IBMUIMA。其中IBMUIMA是商业软件，而ApacheUIMA是开源软件。本文为了利用DB2的智能挖掘软件，所以使用的是IBMUIMA,当然也可以迁移到ApacheUIMA环境。2基于UIMA的文本分析首先将Web数据存入数据库作为源数据，然后UIMA组件从源数据中的非结构化数据字段中提取出结构化的数据。不同的组件从源数据库中读取文档、分析文档来寻找提到的人名以及将结果保存到

6、一个数据库中。文档是由SQLReader从源数据库中读取的，这个组件实现了UIMA的CollectionReader接口，是使用SDK开发的。当UIMA框架调用SQLReader的初始化方法时，它使用JDBC连接到数据库并发出一个SQLSELECT语句，这个语句在SQLReader存储的ResultSet对象中返回需要的数据，比如文本字符串。然后，这个框架使用CollectionReader接口的迭代器类方法(比如getNext())实际地获取每个文档的文本和元数据。这些数据在一个UIMA定义的数据对象中返回给框架，这个对象称为CommonAnalysisStructure

7、(CAS)o实际上，因为正在分析文本文档，所以这个数据对象是文本CAS(TCAS)o当框架调用getNext时，它提供一个空的CAS。SQLReader用来自ResultSet中当前行的数据填充CAS。SQLReader还实现hasNext()方法(这里未显示)以便完成迭代器接口。使用一个XML描述符文件让UIMA框架接收SQLReadero每个UIMA组件都有这样的文件，可以使用SDK中的工具或手工创建该文件。描述符指向组件的实现，在这种情况下是一个类文件，还包含组件需要的任何配置信息。对于SQLReader,描