文本聚类的研究

《文本聚类的研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、上海交通大学硕士学位论文文本聚类的研究姓名：林建敏申请学位级别：硕士专业：计算机应用指导教师：谢康林20031201文本聚类的研究随着计算机网络的不断发展网络数据的规模呈指数级增长用户很难在众多的数据中找到自己真正所需要的东西因为大部分数据都是以文本形式出现的因此通过文本挖掘快速准确地检索信息和分类信息成为人们日益迫切的耍求文本挖掘具有广泛的前景和应用价值本文主要对文本挖掘中的聚类进行了研究本文研究工作主要集中在以下几点1）分析了文本预处理过程中特征项粒度的选择问题以及不同特征选择方法的性能结合所介绍的方法对真实语料库进行了预处理2）阐述了常用的二种文本表示模型并提岀将潜在

2、语义索引（LSI）应用到向量空间模型中以减少特征集空间同时研究了特征项的权重计算方法并利用信息爛和特征项长度等信息对经典的tf*idf权重计算公式进行了改进3）简单介绍了几种常用的文本分类/聚类算法以及聚类有效性评价指数在KMeans算法的基础上验证了改进后的权重计算方法对在提高聚类有效性上的作用4）以模糊集合为理论基础采用模糊C—均值聚类算法对文本进行聚类在实验中发现了FCM算法的若干缺陷并对它们进行了改进讨论了不同的参数组合对FCM聚类结果的影响最后提出将聚类模糊期望值(cFEV)概念应用到FCM算法中有关聚类中心的计算上提高了FCM聚类的有效性关键词文本挖掘，文本聚类

3、，模糊C—均值聚类，聚类模糊期望值(CFEV)RESEARCHONTEXTCLUSTERINGABSTRACTThedataontheWebgrowexponentlywithfastdevelopmentofInternet.Itnowbecomesverydifficultforpeopletofindwhattheyreallywant.Forthereasonthatmostofthesedataareintheformoftext,itisanurgentneedtoretrieveandclassifyinformationswiftlyandaccuratel

4、ythroughtextmining,whichhasanextensiveprospectandapplicationvalue・Thisthesisfocusesontheresearchoftextclustering,whichisabranchoftextmining.Ourresearchmainlyfocusesonthefollowingparts:1.Analyzetheselectionoftermgranularityintheprocessoftextpre-treatmentandtheperformanceofdifferenttermselec

5、tionmethods.Onthebasisoftheoriesintroduced,wehavefinishedthepre-treatmentofrealcorpus・2.TwocommontextmodelsarepresentedandLatentSemanticIndexhasbeenproposedtodecreasethetermnumber.Atthesametime,methodstocomputetheweightoftermhavebeendiscussedandanewmethodhasbeenproposedbyaddingInformationG

6、ainandtermlengthfactorstothetypicaltf*idfmethod・3.Makeabriefpresentationofsometypicalalgorithmsoftextclassificationandclustering;VerifythevalidityofmodifiedweightcomputingmethodinclusteringbyusingK-Meansalgorithm.4.BasedonthetheoryofFuzzySet,wehaveadoptedfuzzyc-means(FCM)algorithmincluster

7、ingexperiment.Differentcombinationsofparameterswillresultindistinctclusteringresults.AneffectivecentercomputingmethodbasedonClusteringFuzzyExpectedValueispresentedatthelastpartofthisthesis・Keywords:textmining,textclustering,fuzzyc-meansclustering,clusteringfuz