基于语义过滤文本和文本流聚类的研究

《基于语义过滤文本和文本流聚类的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于语义过滤的文本和文本流聚类研究论文题目专业硕士生指导教师计算机软件与理论蔡嘉荣印鉴教授，刘玉葆讲师摘要文本聚类是信息索91．信息检索以及WEB挖掘中一个重要的步骤，是数据挖掘的重要领域之一．在许多实际应用中，如新闻组过滤、主题跟踪等，文本是以连续的流数据形式出现，这给传统的基于静态文本数据集的聚类算法带来巨大的挑战．但无论是离线静态文本聚类还是在线动态文本流聚类，现有的算法往往因为不能有效处理文本中复杂的语义，导致聚类精确度不高。具体来说，这主要是由于现实文本常常包含过多的“通用词”和过少的“核心词”而造成的。最近，信息检索领域中的语义过滤技术被提出来解决这一问题，

2、并取得了不错的效果。它运用多词短语作为主题签名，并使用翻译转换模型来引入文本中没有的核心词，从而达到减少通用词的影响并增强核心词的作用的目的。在文本聚类领域具有广阔的应用前景。我们对现有的语义过滤模型进行了研究，首先针对现有模型通用词削弱能力不够强的问题，提出一种改进模型，并把该模型与基于静态文本集的聚类算法相结合，实验表明该算法能大幅度提高现有静态文本聚类算法的聚类精确度。然后在语义过滤技术基础上，提出了一种包含文本语义的聚类信息结构即聚类轮廓(clusterprofile)，并给出了一种有效的适用于大规模动态文本流环境的在线聚类算法。该算法能有效解决文本流中的语义问

3、题，能极大提高语义文本流的聚类精确度和稳定性。通过多组实验数据比较，进一步证明了算法的有效性和高效性。关键词：语义过滤，文本聚类，文本流聚类第1贞基于语义过滤的文本和文本流聚类研究TitleClusteringStaticCorpusandDynamicTextStreamsbasedonSemanticSmoothingMajorComputerSoftwareandTheoryNameCaiJiarongSupervisorProf．YinJianandLect．LiuYubaoABSTRACTClusteringtextdocumentsintodifferent

4、categorygroupsis∞importantstepinindexing，retrieval，managementandminingofabundanttextdataontheWeborincor-porateinformationsystems．Manytextminingapplicationssuchasnewsgroupfiltering，topicdetection，textcrawling，anddocmnentorganizationrequirerealtimeclustering，inwhichtextdataCOme∞acontinuous

5、stream．Thispresentsmanychallengestotradi-tionaltextmining．However，nomatterstatictextordynamictextstreams，theexistingmethodsfailtogethighclusteringaccuracybecauseofthecomplexsemanticsofthetext．Inapplication，thisisbecausemostdocumentsareoftenfullofclass-independent‘'general”wordsandshortof

6、class-specific"core"words．Recently,semanticsmooth-ing，whichhasbeenwidelystudiedinthefieldofInformationRetrieval，isproposedasanefficientsolution．Context-sensitivesemanticsmoothingapproachemploysmul-tiwordphraseastopicsignatureandllsestranslationmodeltodiscountgeneralwordsandassignreasonab

7、lecountstounseenCorewords，whichmakesitpromisingfortextclustering．Basedontheresearchoftheexistingmodel，thispaperproposesanimprovedsemanticsmoothingmodelforclusteringstaticcorpus，whichovercomestherelativeweakabilitytocliscountgeneralwordsinpreviousmodel．Theexperimentsshowou