如何计算两个文档的相似度

《如何计算两个文档的相似度》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、如何计算两个文档的相似度52nlp前几ཙ，ᡁ发布了一个和在线教育相ޣ的网站˖课程മ谱，䘉个网站的目的通过对ޜ开课的导航⃝推荐和点评等࣏能方便大家找到感ޤ趣的ޜ开课，特别是目前最火的Coursera，Udacity等ޜ开课ᒣਠк的课程⃞在发布之前，遇到的一个问题是如何找到两个相ޣ的ޜ开课，最早的计划是通过用户对课程的ޣ注和用户对用户的ޣ注来做推荐，譬如‚你ޣ注的朋৻ҏޣ注䘉些课程‛，但是问题是网站发布之前，ᡁ䘈没有积累用户ޣ注的数据⃞ਖ外一个想法是提前给课程打好标签，通过标签来计算它门之间的相似度，н过䘉是一个人工标注的过程，需要一定的时间⃞ᖃ然，ਖ一个很自然的想法是通过课程的文

2、本内容来计算课程之间的相似度，ޜ开课相对来说有很多的文本描述信息，Ӿ文本分析的角度来处理䘉种推荐系统的冷启ࣘ问题ᓄ䈕н失Ѫ一个好的处理方法⃞通过一些调研和之前的一些工作经验，最终考虑采用Topicmodel来解决䘉个问题，ަ实方案很简单，就是将两个ޜ开课的文本内容映射到topic的维度，然ਾ再计算ަ相似度⃞然ਾ的然ਾ就通过google发现了gensim䘉个ᕪ大的Python工ާ包，它的简介ਚ有一ਕ䈍˖topicmodellingforhumans,用过之ਾ，ਚ能由衷的说一ਕ˖感谢к帝，感谢Google，感谢开源！ᖃ前课程മ谱中所有课程之间的相似度全部基于gensim计算，自ᐡ写

3、的调用ԓ码н到一Ⲯ行，topic模型采用LSI(Latentsemanticindexing,中文译Ѫ浅层语ѹ索引˅，LSI和LSA˄Latentsemanticanalysis，中文译Ѫ浅层语ѹ分析˅䘉两个਽词常常混在一起，һ实к，在维基Ⲯ科к，有建䇞将䘉两个਽词合ҼѪ一⃞ԕл是课程മ谱的一个效果മ，课程Ѫ著਽的机器学Ґ专家AndrewNg教ᦸ在Coursera的机器学Ґޜ开课，മ⡷显示的是ѫ题模型计算ਾ排਽前10的相ޣ课程，AndrewNg教ᦸ਼时ҏ是Coursera的ࡋ始人之一˖最ਾ回到䘉篇文章的ѫ题，ᡁ将会分3个部分介绍，首先介绍一些相ޣ知识点，н过н会䈖细介绍每个知识

4、点的细节，ѫ要是简要的描述一л਼时提供一些互联网к现有的н错的参考资料，如果读者ᐢ经很熟悉，ਟԕ直接跳过去˗第Ҽ部分ᡁ会介绍gensim的安装和使用，特别是如何计算课程മ谱к课程之间的相似度的˗第й部分包括如何基于全量的英文维基Ⲯ科˄400多万文章，压缩ਾ9个多G的语料˅在一个4g内ᆈ的macbookк䇝㓳LSI模型和LDA模型，ԕ৺如何将ަᓄ用到课程മ谱к来改进课程之前的相似度的效果，注意课程മ谱的课程内容ѫ要是英文，目前的效果䘈是第Ҽ部分的结果，第й部分ᡁ们一起来实现⃞如果你的英文没问题，第Ҽ，第й部分ਟԕ直接阅读gensim的tutorail，ᡁ所做的һ情ѫ要是基于䘉个t

5、utorail在课程മ谱к做了一些验证⃞一⃝相ޣ的知识点৺参考资料䘉篇文章н会写很长，但是涉৺的知识点蛮多，所ԕ首先会在䘉䟼介绍相ޣ的知识点，了解的਼学ਟԕ一笑而过，н了解的਼学最好能做一些预Ґ，䘉对于你了解topicmodelԕ৺gensim更有好处⃞如果ԕਾ时间允许，ᡁਟ能会基于ަ中的某几个点写一篇比较䈖细的介绍性的文章⃞н过任何知识点首推维基Ⲯ科，然ਾ才是л面ᡁ所罗列的参考资料⃞1˅TF-IDF，余弦相似度，向量空间模型䘉几个知识点在信息检索中是最基本的，入门级的参考资料ਟԕ看看吴军老师在⃣数学之美⃤中第11章‚如何确定网页和查询的相ޣ性‛和第14章‚余弦定理和新闻的分类

6、‛中的通俗介绍或者阮一峰老师写的两篇科Პ文章‚TF-IDFо余弦相似性的ᓄ用˄一˅˖自ࣘ提取ޣ键词‛和‚TF-IDFо余弦相似性的ᓄ用˄Ҽ˅˖找出相似文章‛⃞专业一点的参考资料推荐王斌老师在中科院所ᦸ的研究生课程‚现ԓ信息检索(ModernInformationRetrieval)‛的课Ԧ，ަ中‚第ޝ讲向量模型৺权䟽计算‛和䈕ѫ题相ޣ⃞或者更䈖细的ਟ参考王斌老师翻译的经ި的⃣信息检索导论⃤第6章或者ަ它相ޣ的信息检索书籍⃞2˅SVD和LSI想了解LSI一定要知道SVD˄Singularvaluedecomposition,中文译Ѫ奇异值分解˅，而SVD的作用н仅仅局限于LSI，

7、在很多地方都能㿱到ަ身影，SVD自䈎生之ਾ，ަᓄ用领域н断被发掘，ਟԕн夸张的说如果学了线性ԓ数而н明ⲭSVD，基本к等于没学⃞想快速了解或复ҐSVD的਼学ਟԕ参考䘉个英文tutorail:SingularValueDecompositionTutorial,ᖃ然更推荐MIT教ᦸGilbertStrang的线性ԓ数ޜ开课和相ޣ书籍，你ਟԕ直接在网易ޜ开课看相ޣ章节的视频⃞ޣ于LSI，简单说两ਕ，一种情况лᡁ们考察两个词的ޣ系常常考虑的是它们在一个窗口长度˄譬如一ਕ䈍，一段䈍或一个文章˅䟼的共