《文本挖掘概述》PPT课件

《《文本挖掘概述》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四节文本挖掘概述一、文本挖掘的定义文本挖掘是数据挖掘的一个分支。将文本型信息源作为分析对象，利用智能算法，如神经网络、基于案例的推理等，并结合文字处理技术，分析大量的非结构化文本源（如文档、网页、企业管理日志等），从中寻找信息的结构、模型、模式等各种隐含的知识。文本挖掘就是利用计算机的高速度和海量处理能力，来帮助人们处理文本信息。一、文本挖掘的定义文本挖掘（textmining）：是指抽取有效、新颖、有用、可理解的、散布在文本文件中的有价值知识，并且利用这些知识更好地组织信息的过程。Textdatamining、knowledgedi

2、scoveryfromtextualdatabases二、文本挖掘的作用提高了海量非结构化信息源的利用价值；使得人们能够更加方便地从海量文本中发现隐含的知识；为企业的战略决策提供竞争情报的支持文本挖掘的过程相对于数据挖掘而言，文本挖掘技术还不成熟。文本数量巨大，结构不统一，处于动态变化中；自然语言理解理论在语言的深层理解方面没有根本性的突破，致使文本处理的准确度不高，文本挖掘的效果不够理想。计算机理解语言的能力非常有限！三、文本挖掘的关键技术文本预处理文本分类文本聚类文本自动摘要文本的向量空间表示文本特征提取文本相似度为什么要进行文本分

3、析？文本是以文字串形式表示的数据文件。文本分析过程即通过文本分析，从中找出一些特征以便将来使用。文本分析包括语种识别、特征提取、文本聚类和文本分类等。为什么要进行文本分析？把从文本中抽取出的特征词进行量化来表示文本信息。将它们从一个无结构的原始文本转化为结构化的计算机可以识别处理的信息，即对文本进行科学的抽象，建立它的数学模型，用以描述和代替文本。使计算机能够通过对这种模型的计算和操作来实现对文本的识别。三、文本挖掘的关键技术文本表示是指用文本的特征信息集合来代表原来的文本。目前，在信息处理领域，文本的表示方法主要是采用向量空间模型（V

4、ectorSpaceModel，VSM）。向量是既有大小又有方向的量。文本预处理文本的向量空间表示三、文本挖掘的关键技术向量空间模型的基本思想是以向量来表示文本：（W1，W2，W3……Wn），其中Wi为第i个特征项的权重。特征项一般选用字、词或词组。因此要将文本表示为向量空间中的一个向量，就首先将文本分词，用这些词作为向量的维数来表示文本。最初的向量表示完全是0、1的形式。但这种形式无法体现词在文本中的作用程度，故0、1逐渐被更精确的词频代替。文本预处理三、文本挖掘的关键技术语种识别工具能自动发现文本使用的语种。这类工具应用文本内容的一

5、些线索来识别语种。通常用机器领域里的算法，利用相应语种的训练文本进行训练，最终实现识别的目的。语种识别四、文本挖掘的关键技术用于表示文本的基本单位通常称为文本的特征或特征项。在中文文本中可以采用字、词或短语作为表示文本的特征项。特征提取主要是使用自动的提取过程，识别文本中词项的意义。特征提取对掌握该文本的内容很重要，是一种强有力的文本挖掘工具。在一篇文本中，标题是该文本的高度概括，文本中的特征，如人命、地名、组织名等是文本中的主体信息。特征提取四、文本挖掘的关键技术特征是概念的外在表现形式，特征提取是识别潜在概念结构的重要基础。利用自动

6、标引技术可以对文本进行特征标引。对汉语文本进行特征抽取时，需要先对文本进行分词处理。特征提取分词实例和平民主和平、民主和、平民、主提高人民生活水平提高、高人、人民、民生、生活、活水、水平四、文本挖掘的关键技术利用计算机抽取西文关键词，首先要建立一个以介词、冠词、连词等无实质意义的单词组成的停用词表（stopwords），然后利用创建的停用词表，从被标引的文本中筛去停用词，抽取关键词。分词：英文分词一般采用keyword，无需分词，单词之间有空格分开。stopwords：指文档中出现的连词，介词，冠词等并无太大意义的词。例如在英文中常用的

7、停用词有the，a,it等；在中文中常见的有“是”，“的”，“地”等。索引词（标引词，关键祠）:可以用于指代文档内容的预选词语,一般为名词或名词词组。NaturalLanguageProcessingAdogischasingaboyontheplaygroundDetNounAuxVerbDetNounPrepDetNounNounPhraseComplexVerbNounPhraseNounPhrasePrepPhraseVerbPhraseVerbPhraseSentenceDog(d1).Boy(b1).Playground(p

8、1).Chasing(d1,b1,p1).语义分析词汇分析(词性标注)语法分析Apersonsayingthismayberemindinganotherpersontogetthedogback…语用分析