基于微博文本的话题聚类研究与实现

《基于微博文本的话题聚类研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ClassifiedIndex：TP391UDC：004．4SecrecyRate：PublicizedUniversityCode：10082HebeiUniversityofScienceandTechnologyDissertationfortheMasterDegreeResearchandImplementationofTopicClusteringBasedonMicro--blogTextCandidate：Supervisor：EnterpriseSupervisor：AcademicDegreeApppliedfor：Speciality：Employe

2、r：DateofOralExamination：ShenLinAssociateProf．GaoKaiSeniorEngineerDingBaozhongMasterofEngineeringComputerTechnologySchoolofInformationScience&EngineeringMay,2014河北科技大学学位论文原创性声明YIII12I15II13I4III1II15II攀本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。除文中已经注明引用的内容外，

3、本论文不包含任何其他个人或集体己经发表或撰写过的作品或成果。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：沈琳指导教师签名：身弛劲f卑年芎月≯芎日乞矽7牛年厂月z泊；可：ils科技大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权河北科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。口保密，在一年解密后适用本授权书。本学位论文属于均不保密。(请在以上方框内打“√”)学位

4、论文作者签名：寺纥妫扒劲i夸年5B≯如指导教师签名∥厂多∥'功r中年妨诉摘要Web2．0技术的出现推动了大数据时代的到来。以微博为代表的社会网络新媒体的兴起，在丰富了大数据的同时，也给数据挖掘和知识发现带来了诸多挑战，因为和传统的文本信息不同，微博信息涉及个人兴趣、娱乐、企业营销、公益宣传等多方面内容，且内容碎片化，数据量庞大。如何有效分析和挖掘其中的信息，成为当前一个重要的研究课题。话题聚类技术是微博研究的一项基础工作。它将海量的微博数据自动归类，使话题内容相近的微博自动归为一类。话题聚类结果可用于深层话题分析与数据挖掘。传统的基于关键字的处理方法可能会返回数以千百计的

5、结果，其内容多是重复性的或关联较小的内容，不适合处理上述问题。话题聚类技术可通过智能处理算法，使内容相近的信息自动聚在一起，便于了解该类的主要话题；通过主题词提取，可使处理结果更加直观。本文基于微博文本，通过采用智能处理算法，完成了如下工作：首先，获取微搏的结构化数据，完成对微博数据的采集以及在聚类前对数据的预处理。第二，完成了针对文本聚类的特征词选择，针对微博短文本的特点，研究如何有效提取特征词以及筛选特征词。第三，设计了有效的聚类算法，针对微博短文本，研究何种算法可使微博文本的聚类结果更好。第四，对聚类结果集的主题词进行提取，该主题词可作为可视化话题的主要表达内容。第

6、五，完成了处理结果的可视化，使结果更加清晰和直观，起到了辅助理解数据与识别隐藏在数据中的规律的作用。实验结果与分析显示了本文方法的有效性。同时，本文也对可能出现的问题及下一步的研究计划进行了说明。关键词话题聚类；微博；特征向量；可视化；信息增益河北科技大学硕士学位论文IIAbstractThedevelopmentofWeb2．0technologymakestheeraofbigdatacoming．WiththerapiddevelopmentonsocialnetworksuchaSmicro-blog,itbringsSOmanychallengesondatam

7、iningandknowledgediscovery，althoughthemicro—blogenrichesthebigdata．Comparedwiththetraditionaltextdata，themicro—blogdatahaSsomedifferenceamongthepersonalinterest，entertainment，businessmarketing，andthepublicpublicity，etc．Furthermore，themicro-blogdataalsohasitsownprope