基于关键特征聚类的Top N热点话题检测方法研究.pdf

《基于关键特征聚类的Top N热点话题检测方法研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于关键特征聚类的TopN热点话题检测方法研究张瑞琦2015年1月中图分类号：TQ028.1UDC分类号：540基于关键特征聚类的TopN热点话题检测方法研究作者姓名张瑞琦学院名称计算机学院指导教师张华平副研究员答辩委员会主席李侃教授申请学位工学硕士学科专业计算机科学与技术学位授予单位北京理工大学论文答辩日期2015年1月ResearchonTopNHotTopicsDetectionMethodBasedonKeyFeaturesClusteringCandidateName：RuiqiZhangSchoolorDepartment:SchoolofComputerScien

2、ceFacultyMentor:AssociateProf.HuapingZhangChair,ThesisCommittee:Prof.KanLiDegreeApplied:MasterofScienceMajor:ComputerScienceandTechnologyDegreeby:BeijingInstituteofTechnologyTheDateofDefence：January，2015研究成果声明本人郑重声明：所提交的学位论文是我本人在指导教师的指导下进行的研究工作获得的研究成果。尽我所知，文中除特别标注和致谢的地方外，学位论文中不包含其他人已经发表或撰写过的

3、研究成果，也不包含为获得北京理工大学或其它教育机构的学位或证书所使用过的材料。与我一同工作的合作者对此研究工作所做的任何贡献均已在学位论文中作了明确的说明并表示了谢意。特此申明。签名：日期：北京理工大学硕士学位论文摘要当今，以云计算、移动互联网、社交媒体、大数据为代表的新兴技术给各行各业带来了巨大的机遇和挑战。与此同时，数据量也急剧膨胀，传统信息处理方法在大数据面前已经表现得捉襟见肘。从诸多信息中挖掘出重点信息，正是人们所需要的，尤其热点话题更是人们主要关注的焦点。热点话题检测技术正是一种旨在纷杂的数据中发现、组织和整理出人们关心的信息焦点。然而，传统话题检测技术主要用于分析新

4、闻、报道等话题的发现与检测问题，这些方法仍需要进一步改进以适应社交网络与大数据领域应用的需求。本文在传统热点话题检测的基础上，提出一种基于关键特征聚类的TopN热点话题检测方法。该方法的基本原理是关键词能够代表着文档的关键语义，通过以关键词作为文档关键特征进行聚类生成话题，从而实现热点话题发现。基于关键特征聚类的TopN热点话题检测方法主要包括两大步骤：单文档关键特征自动提取和TopN热点话题检测。在单文档关键特征自动提取阶段，首先，对文档进行预处理，生成关键特征候选词；然后，采用多种关键词抽取技术对候选词进行打分排序并选取出文档关键特征。在该阶段，本研究提出一种基于等价路径替

5、换的TextRank优化算法，以提高关键词抽取的效率。在TopN热点话题检测阶段，首先，将整合去重后的关键特征映射到话题空间上，形成初始话题。然后，对初始话题进行聚类得到子话题，并在子话题基础上进行子话题关键特征抽取。最后，通过分析子话题关键特征覆盖度进行错误子话题清除和相似子话题归并，并获取TopN个热点话题。关键词：话题检测；关键特征；关键词抽取；子话题；TopN热点话题I北京理工大学硕士学位论文AbstractTodaynewInternettechnologies,suchasCloudComputing，MobileInternet,SocialMediaandBig

6、Data,havebroughtgreatopportunitiesandchallengestoallkindsofbusiness.Atthesametime,dataisincreasingwithanincrediblespeedsothattranditionalinformationprocessmethodsarealreadystretchedinfaceofBigData.Peopleneedtofindoutimportantinformationamongtheoverwhelminginformation.Especiallytheywanttofocu

7、sonhottopics.Hottopicsdetectionisatechnologyaimingtohelppeoplefind,organizeandmanageusefulinformationthattheyconcern.However,tranditionalhottopicsdetectiontechnologiesaremainlyusedintopicsdetectiononnewsandreportsanditstillneedsimporvedtofitrequire