基于Wikipedia的短文本语义相关度计算方法

《基于Wikipedia的短文本语义相关度计算方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第32卷第1期计算机应用与软件Vol.32No．12015年1月ComputerApplicationsandSoftwareJan．2015基于Wikipedia的短文本语义相关度计算方法11221王荣波谌志群周建政李治高飞1(杭州电子科技大学认知与智能计算研究所浙江杭州310018)2(天格科技(杭州)有限公司浙江杭州310005)摘要语义相关度计算是自然语言处理领域的研究热点。现有的以文本相似度计算代替文本相关度计算的方法存在不足之处。提出从语形相似性和组元相关性两个方面来综合度量短文本之间的语义相关性，并提出2个以Wikipedia作为外部

2、知识库的短文本相关度计算算法:最大词语关联法和动态组块法。在一个网络短文本测试集上对算法进行测评。实验结果表明，该算法与典型相似度计算算法比较，在正确率方面提高了20%以上。关键词短文本Wikipedia相关度计算自然语言处理中图分类号TP391文献标识码ADOI:10．3969/j．issn．1000-386x．2015．01．021SHOＲTTEXTSSEMANTICＲELEVANCECOMPUTATIONMETHODBASEDONWIKIPEDIA11221WangＲongboChenZhiqunZhouJianzhengLiZhiGaoFe

3、i1(InstituteofCognitiveandIntelligentComputing，HangzhouDianziUniversity，Hangzhou310018，Zhejiang，China)2(TiangeTechnology(Hangzhou)LimitedCompany，Hangzhou310005，Zhejiang，China)AbstractSemanticrelevancecomputationistheresearchfocusinnaturallanguageprocessingfield．Existingapproac

4、hhasthedeficiency，whichreplacesthetextsrelevancecomputationwithtextssimilaritycomputation．Inthispaper，wepresenttomeasurethesemanticrelevancebetweenshorttextscomprehensivelyfromtwoaspectsofmorphologicalsimilarityandgroupelementsrelevance，andpresenttwocomputationalgorithmsforsho

5、rttextsrelevanceusingWikipediaastheexternalknowledgebase:themaximumwordscorrelation(MWC)algorithmandthedynamicchunking(DC)algorithm．Thealgorithmhasbeentextedandassessedonanetworkshorttextstestset．Experimentalresultsshowthatcomparedwithtypicalsimilaritycomputationalgorithm，this

6、algorithmimprovestheaccuracyrateupto20%andhigher．KeywordsShorttextsWikipediaＲelevancecomputationNaturallanguageprocessing情分析系统中需要分析热点话题之间的相关性及其演化规［6］0引言律;而在自动聊天系统中需要对海量的聊天记录进行归类与［1］关联挖掘以改进自动聊天的效果。［1］网络上出现的短文本作为文本的一种，具有几个显著的特互联网应用的快速发展与变革导致短文本大量出现，如［7］即时聊天记录、新闻和BBS标题、新闻跟帖、博客评论等

7、，近几点，其中最重要的是单条短文本的长度一般都非常短(如每年微博成为另一个海量的短文本信息源。短文本之间的相关度条微博限140字、新闻和BBS标题最多也就几十个字)，因此样计算是很多互联网应用的关键技术。目前在文本相似度计算本特征非常稀疏，很难准确抽取有效的语言特征，也就难以充分(包括短文本相似度计算)方面已有不少研究成果，并在诸多领挖掘与利用特征之间的关联性。短文本的特征稀疏性，使得现［8］［2，3］有的文本相关度计算算法难以取得良好的效果。本文首先域得到应用。文本相关度的概念与文本相似度的概念有联［4］综述了现有的文本相关度计算技术，并介绍了基

8、于Wikipedia的系也有区别。“相关”强调的是文本内容的“关联性”，而“相语义相关度计算研究现状，然后提出以Wikip