r语言文本挖掘

《r语言文本挖掘》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、......中文及英文的文本挖掘——R语言所需要的包tm(textmining)rJava,Snowball,zoo,XML,slam,Rz,RWeka,matlab1文本挖掘概要文本挖掘是从大量的文本数据中抽取隐含的，求和的，可能有用的信息。通过文本挖掘实现•Associate：关联分析，根据同时出现的频率找出关联规则•Cluster：将相似的文档（词条）进行聚类•Categorize：将文本划分到预先定义的类别里•文档自动摘要：利用计算机自动地从原始文档中提取全面准确地反映该文档中心内容的简单连贯描述性短文。文本挖掘的运用主要有如下几方面l智能信息检索同义词，简称

2、词，异形词，同音字、赘字移除l网络内容安全内容监控内容过滤l内容管理自动分类检测和追踪l市场监测口碑监测竞争情报系统市场分析2英文文本挖掘实例实现多个英文文档的聚类分析2.1文本预处理2.1.1读取文本内容#取得tm内部文件texts/crude/下的文件目录。>library("tm",lib.loc="d:/ProgramFiles/R/R-3.0.3/library")>vignette("tm")#获取相关帮助文档的内容，pdf格式............reut<-system.file("texts","crude",package='tm')#用Corp

3、us命令读取文本并生成语料库文件由于要读取的是xml文件，所以需要xml包reuters<-Corpus(DirSource(reut),readerControl=list(reader=readReut21578XML))#DirSource指示的是文件夹路径，如果是单个向量要设为语料库则VectorSource(向量名)readerControl不用设置查看前两个语料变量内容另外可以从本地文件中读取用户txt文件>inputtest<-read.csv(file.choose())1.1.1文本清理对于xml格式的文档用tm_map命令对语料库文件进行预处理，将

4、其转为纯文本并去除多余空格，转换小写，去除常用词汇、合并异形同意词汇，如此才能得到类似txt文件的效果需要用到的包SnowballCreuters<-tm_map(reuters,PlainTextDocument)#去除标签reuters<-tm_map(reuters,stripWhitespace)#去多余空白reuters<-tm_map(reuters,tolower)#转换小写reuters<-tm_map(reuters,removeWords,stopwords("english"))tm_map(reuters,stemDocument)1.1.2查

5、找含有特定语句的文档例如找出文档编号为237而且包含句子INDONESIASEENATCROSSROADSOVERECONOMICCHANGE的文档。>query<-"id=='237'&heading=='INDONESIASEENATCROSSROADSOVERECONOMICCHANGE'">tm_filter(reuters,FUN=sFilter,query)找到............由于语料库已经将大小写转换以及将介词类删除所以对应的语句只是特有单词的组合。1.1.1生成词频矩阵并查看内容dtm<-DocumentTermMatrix(reuters)查

6、看某部分的词频内容个数，其中dtm行提示哪个文件，列表示词语。>inspect(dtm[10:15,110:120])Adocument-termmatrix(6documents,11terms)Non-/sparseentries:6/60Sparsity:91%Maximaltermlength:9Weighting:termfrequency(tf)TermsDocsactivity.addaddedadded.addressaddressedadherenceadheringadvantageadvisersagency[1,]00000011002[2,]

7、00000000000[3,]00000000001[4,]00000001002[5,]00000000000[6,]000000000001.1.2查看含有特定词的文档若要考察多个文档特定词汇的出现频率或以手工生成字典，并将其作为生成阵的参数>inspect(tdm[c("price","texas"),c("127","144","191","194")])Aterm-documentmatrix(2terms,4documents)Non-/sparseentries:6/2Sparsity:25%............Maximalter