基于主题的关键词提取方法对比研究(上)概要

《基于主题的关键词提取方法对比研究(上)概要》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于主题的关键词提取方法对比研究摘要关键词提供了文档的概要信息，在信息检索、文本聚类和分类系统中受到了越来越多的应用，关键词的提取算法也受到了越来越多的重视。传统的方法主要依靠词汇的统计信息进行关键词提取，本文在回顾关键词提取的算方法的基础上，从文档主题的角度，综述了基于主题的关键词提取的三种算法--潜在语义分析(LSA)、概率潜在语义分析（PLSA）、隐含狄利克雷分布（LDA）。LSA方法将文档从稀疏的高维词汇空间映射到一个低维的向量空间，主要通过奇异值分解SVD的方式来求解。PLSA方法它用概率的方法来表示LSA，在文档和词汇之间引入一个潜在语义层（即主题层）。LDA的

2、基本思想是:利用概率推导等方式可以将单个文档表示为这些潜在主题的集合，对于主题而言，它又可以看成是若干词汇的概率分布。为了验证这三种方法的性能的优越与否，将理论与实践结合，本文通过实验将三种基于主题的关键词提取算法与TF-IDF方法进行对比，对实验结果进行总结归纳；实验证明，这三种方法无论是从召回率上还是从准确率上都优于TF-IDF方法，能够有效推荐关键词。关键词：关键词提取；LSA；PLSA；LDA-I-基于主题的关键词提取方法对比研究ResearchonAlgorithmsofTopicBasedKeywordExtractionAbstractKeywordsprov

3、idesemanticmetadataproducinganoverviewofthecontentofadocument.Theyarewidelyusedininformationretrieval,textclusteringandclassificationsystem.Asaresult,peoplepayalotofattentiontokeywordextractionalgorithm.Traditionalmethodsforkeywordextractionsimplyrankkeywordsaccordingtothestatisticalinform

4、ationofwords.Afterreviewingsomemethodsofkeywordextraction,thisarticlesummarizesthreetopicbasedmethodsofkeywordextractionwhichareLatentSemanticAnalysis(LSA),ProbabilityLatentSemanticAnalysis(PLSA),LatentDirichletAllocation(LDA).LSAmapsthedocumentfromsparsehighdimensionspacetoalowdimensional

5、vectorspace,mainlythroughthesingularvaluedecomposition(SVD).PLSAbringsinalatentsemanticlayerwhichiscalledthemelayerbetweendocumentsandwords.ItexplainsLSAinaprobabilisticway.ThebasicideaofLDAis:documentcanberegardedasthecombinationofseveralpotentialthemes.Asingledocumentcanbedescribedasthec

6、ollectionoftheunderlyingthemeinaprobabilisticway.Toprovewhetherthetopicbasedkeywordextractionalgorithmsareefficient，thisarticlecombinestheorywithpractice.Afterexperiment,itcomparesthesethreealgorithmswiththetraditionalTF-IDFalgorithm.Itprovesthatboththerecallandtheprecisiongetimproved.Thet

7、hreetopicbasedkeywordextractionalgorithmdosewellinkeywordextraction.KeyWords：keywordextraction;LSA;PLSA;LDA-III-基于主题的关键词提取方法对比研究-III-基于主题的关键词提取方法对比研究1绪论1.1研究的背景和意义1.1.1研究背景随着网络信息量的激增，人们对信息质量的需求不断地提升，促使信息的组织和获取方式发生了极大的变化也面临着极大的挑战。信息量的剧增，信息内容的丰富多样、信息结构的复杂多变，信息传递