基于粗糙集理论的知识发现在web文本挖掘上的应用研究

《基于粗糙集理论的知识发现在web文本挖掘上的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、广西大学硕士学位论文基于粗糙集理论的知识发现在web文本挖掘上的应用研究姓名：罗强申请学位级别：硕士专业：控制理论与控制工程指导教师：梁家荣2003.5.1基于粗糙集理论的知识发现在Web文本挖掘的应用研究摘要本文提出了一种基于粗糙集理论的web文本分类模型i(该模型从已分类的训练文本出发，建立一系列不同层次的文本分类子系统，利用RoughSet理论有效处理不精确、不确定、含糊信息的特性，对分类决策表进行属性约简，既有效降低了web文本的维度，又保持关键词集合中的信息。最后，推导出web文本分类的规则集。．有别于传统的对关键字频度进行累加的方法，；7本文提出了基于信息熵的文本

2、关键词测度函数，通过对关键词函数值进行比较，获取对文本分类最具影响性的关键词序列；同时，针对Web上异质、非结构化信息的特点，该分类算法还考虑了超文本标记对关键词权值的影响。为获取本文项目实验材料，以配合IR(InformatioFiretrievaI)和IF(informatIonfilter)做仿真实验，我们编制了Web文本收集模型WebOrawler，该模型利用目前较流行的Hits算法解析网络链接结构，从lnternet上收集相关的web文本。基于对所获实验材料的web文本分类实验，本文实现了相关的web文本挖掘算法．对提出的算法进行了实验分析。f从实验结果看，基于粗糙

3、集的web文本分类算法无论在分类精度、分类效率，还是知识的新颖程度方面，都比以往分类算法有明显提高；而且，这种技术是语言独立的一)【关键字】web文本挖掘，籼糙集理沦信息熵【论文类型】成川研究苎王塑塑叁墨堡塑麴堡垄堡垒婴!!塞查笾塑圭盟蹩旦型塑——ARS．BasedapplicationresearchonwebtextminingABSTRACTInthispaper，aRS*basedmodel，whichstartsupfromtraineddocumentsforwebdocumentsclassification，isintroduced。Takingadvanta

4、geoftheRStheory’sfeaturesinefficientdealingwithvague，indiscernible，andfuzzyinformation，wesetsupaseriesoflayeredsubsystemstoreduceredundantpropertiesfromclassificationtables。Inthisway，wegaP,notonlyefficientlyreducethedimensionofdocumentsbutalsokeeptheinformationofkeywordsset．Asaresult，rulesf

5、orwebdocumentsclassificationareproduced。Withdifferencefromthewaythattraditionalmethodsperformbyaccumulatingthefrequencyofkeywords．WeproposeanewmetricalfunctionthatemploystheRS—basedentropybycomparingfunctionvaluestomeasurethefeatureofwebpages．Besides，accordingtotheunstructuredandheterogenou

6、scharacteristicsofwww，theeffectofhypertexttagstokeywords’weighhasbeentakenintoaccounttoobtainthemosteffectivekeywordsfordocumentclassification．Inorder{0gatherexperimentmaterialsandmeettheneedofcombiningInformationretrievalexperimentswithInformationfilterexperiments，weequallydevelopedWEBCRAW

7、LERforcollectingwebdocuments，anenginemodelwhichadoptsalgorithmHitstoanalysesweblinkarchitecture。Basedonthecollectedwebdocumentmaterials，Relativewebminingalgorithmsarerealizedinthispaper，andtheeffectivenessoftheapproachisreportedaswell．Wecanprovefromthere