基于SVM的微博话题跟踪方法及其应用.pdf

《基于SVM的微博话题跟踪方法及其应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于SVM的微博话题跟踪方法及其应用罗杰2015年1月中图分类号：UDC分类号：基于SVM的微博话题跟踪方法及其应用作者姓名罗杰学院名称自动化学院指导教师王庆林教授答辩委员会主席戴亚平教授申请学位工学硕士学科专业控制科学与工程学位授予单位北京理工大学论文答辩日期2015年1月TopicTrackingofMicroblogBasedonSVMandItsApplicationCandidateName:JieLuoSchoolorDepartment:SchoolofAutomationFacultyMentor:Prof.QinglinWangCh

2、air,ThesisCommittee:Prof.YapingDaiDegreeApplied:MasterofEngineerMajor：ControlScienceandEngineeringDegreeby:BeijingInstituteofTechnologyTheDateofDefence：January,2015摘要话题跟踪作为信息处理领域中的一项重要问题，自提出以来就受到了广泛的关注，被应用于数字图书馆、舆情分析等领域。目前，大多数的话题跟踪系统研究都是针对新闻信息、博客信息等长文本，关于微博等社交网络短文本信息的研究还比较少。近些年

3、，随着自然语言处理、机器学习等技术方法的发展，话题跟踪系统构建方法也不断丰富。本文针对微博信息，设计了一种基于SVM的微博话题自适应跟踪方法。本方法的最大优势在于能够对微博话题进行自动自适应的持续跟踪，同时自动对话题演变发展进行了分析归纳，只有最初的话题模型训练语料收集以及特征词表构建环节需要一些人工处理。本文的主要工作和研究内容如下：第一，设计了一种基于SVM的微博话题自适应跟踪方法，该方法主要包括以下几个步骤：微博数据采集、特征词表构建、分类模型训练、微博话题发展演变分析。其中特征词表构建与微博话题发展演变分析是本文的重点研究内容。第二，研究特征

4、词表的构建，采用了特征选择的方法，分为三个部分：中文分词、特征选择指标选取、特征全局权重计算。在中文分词环节，加入了新词发现模块，提高分词准确率。比较不同的特征选择指标，选择适合话题的评价指标对特征进行筛选。最后，根据评价指标计算特征词的全局权重。第三，研究话题模型的发展演变。采用反馈机制对分类模型进行动态更新，保证跟踪系统持续有效地跟踪后续微博信息，同时利用LDA方法对新话题进行抽取并进行归纳，检测话题的迁移转变。第四，将基于SVM的微博话题自适应跟踪方法应用到实际微博数据，对热点微博话题进行自动持续的跟踪，最后尝试分析话题的发展演变轨迹。该方法能

5、够自动持续准确地跟踪话题相关的微博信息。关键词：话题跟踪，特征选择，SVM，话题演变IAbstractAsakeyissueinthefieldofinformationprocessing,topictrackinghasdrawnmuchattention.Ithasbeenappliedinmanyfieldssuchaspublicopinionanalysis,digitallibrary,etc.Atpresent,mostoftheresearchontopictrackingsystemfocusesonthelongtextlike

6、news,blogs,etc.Theresearchislessonthesocialnetworkinformationlikemicroblogorothershorttextinformation.Recently,withthedevelopmentofnaturallanguageprocessandmachinelearningtechnologies,themethodoftopictrackingsystemconstructionhasalsobeendeveloping.Forthemicrobloginformation,thi

7、spaperdesignsamethodofmicroblogtopicadaptivetrackingbasedonSVM.Thebiggestadvantageofthismethodisabletoautomaticallyadaptivemicrobloggingtopictracking,atthesametimetheanalysisandsummarizationofthedevelopmentoftopicevolutionareautomatic.Onlythepartsoftheoriginaltopicmodeltraining

8、corpuscollectionandthebuildingoffeaturewordstableneeds