互联网舆情信息管控关键技术研究与实现

《互联网舆情信息管控关键技术研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、上海交通大学硕士学位论文互联网舆情信息管控关键技术研究与实现姓名：李若鹏申请学位级别：硕士专业：通信与信息系统指导教师：李建华;李翔20080101互联网舆情信息管控关键技术研究与实现摘要本文针对互联网信息内容新、变化快和新类别层出不穷的特点，对舆情信息管控领域的几个关键技术做了较为深入的研究，设计了中文文本聚类模型CTCM。本文首先对中文分词技术、文本特征选取、汉语语言构成及分词词表进行分析，提出并实现了基于正向最大匹配的新词发现，该算法可及时发现任意长度的热点词汇，可实现动态调整词表。其次，通过对各种聚类算法的分析、比较与实验，针

2、对互联网舆情信息管控领域的特点，本文创新性的提出了基于密度与CFK-Means相结合的聚类算法—DK算法，既极大地降低了计算复杂度和计算时间，又克服了单纯采用K-Means算法依赖初始聚类数和初始聚类中心点的缺陷。大量的实验数据显示，DK算法显著提高了聚类速度和准确率。最后，本文将文本聚类的思想引入类描述信息的自动生成，将每个段落看成是一个篇幅较小的文本，计算类与文本的相似程度，找出与类相似程度最高的段和语句，从而确定类的描述信息。通过测试，证明本文设计实现的中文文本聚类系统实现了对于互联网舆情信息热点的及时发现、及时分类，有效的改善

3、了网络管控的效果。关键词：舆情信息管控，文本聚类，DK，CTCMIKEYTECHNIQUEOFINFORMATIONMANAGEMENTANDCONTROLRESEARCHOVERINTERNETABSTRACTThispapermakesrelativelydeepresearchinthefieldofinformationmanagementandcontroloverInternet.Basedonthecharacteristicsofnewcontentsandquickchange,thispaperdesignsthe

4、ChineseTextClusteringModel.Firstly,thispaperturnsbacktotheachievementinthefieldsofworddivision,featureselectionandChinesewordstructure.ItputsforwardandimplementsanewChineseworddivisionmethodbasedonmaximummatch.Thismethodcandiscovernewwordswithrandomlengthandupdatethewor

5、ddictionaryautomatically.Secondly,onthebasisofclusteringmethodresearchworks,thispaperinnovativelyputsforwardanewclusteringmethod-DK,whichconsistsofdensity-basedmethodandCFK-Meansmethod.ItnotonlyreducethecomputingtimebutalsoovercometheK-Means’feedbackwithinappropriateini

6、tialclusteringcenter.AmountofexperimentsshowthattheDKmethodcanimproveboththeclusteringcorrectnessandefficiency.Finally,thispaperputtheclusteringmethodintothegenerationofclassinformationdescription.Everyparagraphisregardedasasmalltext,wecomputethesimilarityoftheclassandt

7、hesmalltext,choosetheclosestparagraphandsentencetomakeuptheclassdescription.Throughthetest,itisprovedthattheChinesetextclusteringsystemcandiscoverandclassifythetextsintimeandcanenhancetheinformationIImanagementandcontrolefficiencyinthesupportofrelativetechniques.KEYWORD

8、S:informationmanagementandcontrol,textclustering,DK,CTCMIII上海交通大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所