wwpe关于个人微博线索词提取算法的研究

《wwpe关于个人微博线索词提取算法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、高永兵周环宇(内蒙古科技大学信息工程学院内蒙古包头014010)摘要：在分析传统短文本主题词提取算法的基础上，综合考虑个人微博的非主流文本特征，提出一种个人微博线索词提取算法(Personalweibocluewordextractionalgorithm，WWPE)#该算法采用增量式提取线索词的模式，首先引进由微博转帖、评论和赞数组成的流行度概念；其次对耦合、时序和流行度进行串行相似度计算；再次针对关键词特征值离散现象，对传统TF-IDF函数进行改进；最后综合以上提取结果并进行相应地处理得到最

2、终的线索词.实验结果证明该算法提取的线索词具有较高的准确率和覆盖率。关键词：线索词；串行相似度；TF-IDF;中图分类号：TP392文献标识码：A文章编号：WWPE:ABOUTPERSONALWEIBOCLUEWORDEXTRACTIONALGORITHMRESEARCHGAOYong-bingZHOUHuan-yu(SchoolofInfornuitiouEngineering、InnerMongoliaUniversityofScienceandTechnology,Baotou014010

3、,China)Abstract:Ontheanalysisofthetraditionalessaybenzhuinscriptionextractionalgorithm,onthebasisofcomprehensiveconsiderationofPersonalweibonon-mainstreamtextcharacteristic,putforwardakindofpersonalizedPersonalweibocluewordextractionalgorithm(Persona

4、lweibocluewordpersonalizedextractionalgorithm,WWPE).Thealgorithmusestheincrementalretrievalcuewordpatterns,firstintroducedbyweiborepost,commentsandpraiseforthepopularityofconcepts;Secondlythecoupling,timingandpopularityinserialsimilaritycalculation.A

5、gainforkeywordseigenvaluediscretephenomenon,toimprovethetraditionalTF•IDFfunction;Finallycomprehensiveextractionresultsaboveandaccordinglygetcluestothefinalwordprocessing.Experimentalresultsshowthatthisalgorithmtoextractthecuewordhashigheraccuracyand

6、coverage.Keywords:Clueword;Serialsimilarity;TF-IDF;1引言微博足近年來新兴起的，且发展迅速的新闻媒体。川户可以随时随地使川电脑或移动容户端发布状态。新浪足lil前注册人数最多，国内流行度最广的微博网站。与常规文木相比，微傅数据具育不规则性、海景性和实时性等特点。所以如何从大量的、不规则的个人微博数裾中粘确地提炼出川户在菜段时叫内所关注或经历的布件，从而生成求件摘耍，是当前个人微博信息抽取技术首要解决的问题。本文以短文本数裾挖掘为研究背景，以个人微

7、博信息为数据集，以挖掘线索词为H的，展开了从文本预处理到相似性度ft,洱到特征值计算等一系列研究，为今后个人微件检测、自动摘要生成提供依据。线索词抽取一直是M内外研究的热点，传统7/法通常是基于向量空间模型(Vectorspacemodel)VSM,并以同频来计算特征位，且处理的是大规模数据集。本文继承了向虽空W模型易处理的优势，综合考虑个人微博非主流特征，使文本表现形式更加丰富化，解决了传统方法所存在的相似度浑浊、相似度漂移以及特征位离散W题。本文的主要研究工作足：1.获取了微博信息中超文本指

8、向的网页标题：2.提出了由微博转帖、评论和赞数构成的流行度概念;3.结合个人微博的数据特征，提出一种个人微博线索词提取算法，即WWPE算法；1.针对短文本中特征值离散现象，对传统TF-IDF函数进行改进；2.分别将WWPE算法与传统TF-IDF算法提取的线索词结來M人工标注进行实验对比和结釆分析。2相关工作H前关丁•短文本聚类和特征位计算的研究还处于起步阶段，杨震、段立奶基于字符率相似性的短文本聚类方法，主要是通过比较2个字符串共含的子串个数和连续程度來衡每:相似程度；常鹏、马辉

9、2］提出利川词