数据挖掘与知识发现(讲稿12---文本挖掘)

《数据挖掘与知识发现(讲稿12---文本挖掘)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊第12章文本数据挖掘与Web挖掘技术第1节文本挖掘概述1.1文本挖掘的出现在现实世界中，我们面对的数据大都是文本数据，这些数据是由各种数据源（如新闻文章、研究论文、书籍、数字图书馆、电子邮件和Web页面等）的大量文档组成。所以，随着文档信息量的飞速增长，文本数据的数据量也急剧地增长。文本数据是所谓的半结构化数据（Semi-StructureData），它既不是完全无结构的也不是完全结构化的。如，文档可能包含结构字段，比如：标题、作者、出版日期、长度、分类等，也可能包含大量的非

2、结构化的文本，如摘要和内容。文本挖掘（TextMining），国外有人称之为文本数据挖掘（TextDataMining）和文本分析（TextAnalysis）。文本挖掘一词大约出现于1998年4月在欧洲举行的第十届机器学习会议上，组织者Kodratoff明确地定义了文本挖掘的概念，并分清它与“信息检索”的不同点和共同点。Kodratoff认为，文本挖掘的目的是从文档集合中搜寻知识，并不试图改进自然语言理解，并不要求对自然语言的理解达到多高水平，而只是想利用该领域的成果，试图在一定的理解水平上尽可能多地提取知识。因此，文本挖掘需要数据挖掘、语言学、数据库

3、以及文本标引和理解方面的专家参与。我国于1998年在国家重点基础研究发展规划（“973计划”）首批实施项目中，包括了文本挖掘的内容。1.2文本挖掘的基本概念1、概念文本挖掘是一个从大量文本数据中提取以前未知的、可理解的、可操作的知识的过程。文本数据包括：技术报告、文档集、新闻、电子邮件、网页、用户手册等。文本挖掘对单个文档或文档集（如，Web搜索中返回的结果集）进行分析，从中提取概念，并按照指定的方案组织、概括文档，发现文档集中重要的主题。它除了从文本中提取关键词外，还要提取事实、作者的意图、期望和主张等。这些知识对许多，如市场营销、趋势分析、需求处理

4、等，都是很有用的。22┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊2、任务主要任务有：（1）文本标引和短语提取，即在读取大量的非结构化文本时，应用自然语言处理技术提取文本，集中所有相关的短语。提取时要处理同义词和词义模糊现象。可以形象地把文本挖掘看作是一支荧光笔，它通读文本时高亮度显示有关的短语，这些短语放在一起就可以得到对文本的一个较好的理解。（2）概念提取（聚类），即对这些短语之间的关系，建立一个“词汇网”；将相关短语分组，并增强这些组中最重要的特征；最后得到的模式反映了该文本集中的主要概念。然后，通过提取出的概念

5、集发现未知的知识。（3）可视化显示和导航。对挖掘得来的信息（词频、相关概率、时事性话题、地域依赖信息、时间序列等），可以从多个视角出发进行分析。3、文本挖掘与数据挖掘相似点在于：两者都处理大量的数据，都有归属到知识管理的知识发现领域中。差别在于：许多经典的数据挖掘算法，如数值预测、决策树等都不太适用于文本挖掘，因为它们依赖于结构化的数据。而像概念关系分析等工作则是文本挖掘所独有的，如表所示。文本挖掘与数据挖掘的区别数据挖掘文本挖掘研究对象用数字表示的、结构化的数据无结构或者半结构化的文本对象结构关系数据库自由开放的文本目标抽取知识，预测以后的状态检索相

6、关信息，提取意义，分类方法归纳学习、决策树、神经网络、粗糙集、遗传算法等标引、概念抽取、语言学、本体成熟度从1994年开始得到了广泛应用从2000年开始得到了应用1.3文本挖掘与信息检索信息检索是文本挖掘相关的一个概念，但它与文本挖掘又是不同的两个概念。信息检索是指从大量的文档集合C中，找到与给定的查询请求q相关的、恰当数目的文档子集S的过程。区别主要表现在如下几个方面：22┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊（1）方法论不同信息检索是目标驱动的，用户需要明确提出查询要求；而文本挖掘结果独立于用户的信息需求，是

7、用户所无法预知的。（2）着眼点不同信息检索着重于文档中字与词和链接；而文本挖掘在于理解文本的内容和结构。（3）目的不同信息检索的目的在于帮助用户发现资源，即从大量的文本中找到满足其查询请求的文本子集；而文本挖掘是为了揭示文本中隐含的知识。（4）评价方法不同信息检索用查准率（Precision,检索到的文档中的相关文档占全部检索到的文档的百分比）和查全率（Recall,即被检索出的文档中的相关文档占全部相关文档的百分比）来评价其性能，要求尽可能多的检索出相关文档，同时不相关的文档尽可能少。而文本挖掘采用收益（Gain）、置信度（Certainty）、简洁

8、性（Simplicity）等来衡量所发现知识的有效性、可用性和可理解性。（5）使用场合不同有时