基于语义领域向量空间模型的文本相似度计算

《基于语义领域向量空间模型的文本相似度计算》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人或集体已经发表或撰写过的研究成果，对本文的研究做出贡献的集体和个人均己在论文中作了明确的说明并表示了谢意。研究生签名：枣墨日论文使用和授权说明期：圳．吖本人完全了解云南大学有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交学位论文和论文电子版；允许论文被查阅或借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。(保密的论文在解密后应遵循此规定)研究生签名：—垃导师签名

2、：日期：尘堡：苎：互本人及导师同意将学位论文提交至清华大学“中国学术期刊(光盘版)电子杂志社”进行电子和网络出版，并编入CNKI系列数据库，传播本学位论文蓑黧拦三一；规定享受相关权益。、弧U1。，，△盘研究生签名：屋奠&导师签名：霾主三兰坠日库出版章程》期：山，岁．夕．扩摘要心理学上，相似性是人们感知不同对象刺激后产生的定性反应，而相似度则是对相似性的定量表示。相似度的计算就是将这种定性转换定量计算的过程。在现实世界中，文本是信息最常用最重要的载体。计算机对文本相似度的计算是信息处理中一个非常基础而又关键的问题，在机器翻译、文献检索、文档归类等诸多领域

3、都有着广泛应用。但是传统的向量空间模型忽略了中文词汇之间的语义关系，向量空间存在高维稀疏等问题，中文文本相似度计算不如人意。中文在表现手法上的多样性，中文文本相似度计算一直是一个研究的热点。本文就中文文本相似度问题，以优化中文文本相似度计算为目标，提出一种基于语义领域的向量空间模型。主要工作如下：1．对现有的文本相似度方法进行了学习和分析，重点研究了向量空间模型、本体论和隐士语义的文本相似度计算方法；2．结合向量空间模型文本量化思路以及本体论的量化思路，在Hownet中文词典基础上提出一种以语义领域为向量空间维度的文本量化模型，把中文语义融合到量化过程

4、中，改善了传统向量空间模型在语义层面上的不足。并加入自定义加权模块，使文本相似度计算更加贴近实际应用。3．在文本预处理中，提出一种基于《同义词词林》的特征词合并过滤算法，在降低特征项维度的同时规避了同义词带来的影响。以延长文本预处理时间来减小文本相似度计算开销。4．通过人工测试和自动测试的方式，来考察算法成效。构建中文文本分类系统，通过对分类结果来评估相似度计算；同义词约简后对计算相似度的影响来评估同义词特征项过滤算法。关键词：文本相似度，向量空间模型，语义分析，同义词词林AbstractPsychologically，similarityisther

5、eactiontosomestimulationmadebytwoobjects，whilethedegreeofsimilarity(DOS)makesitquantitative．Intherealword，textisthemostimportantandpopularinformationcarrier．Theautomatictextsimilaritycomputationisthekeyissueininformationprocessing．Andituniversallyusedindatamining，informationretr

6、ieval，machinetranslation，textclassification，informationfilteringandSOon．DuetothecomplexityanddiversityofChinese，VSMhassomedrawbacksinsimilaritycomputation，thecalculatingofDOSinChinesehasbeenoneofthehottesttopicincomputerscience。Toimprovetheperformanceofsimilaritycomputation，wepr

7、oposeanefficientalgorithmtocalculatingthesimilarityofChinese．Theworkofthisthesisisasfollows：1．StudyandanalyzetheexistingalgorithmofDOS，especiallyinVectorSpaceModelingandOntology．2．BasedonVectorSpaceModelingandChinesesemanticanalysis，weproposeanewalgorithmtocalculatingDOSofChines

8、etext，inwhichbothcorpusstatisticsandsemanticana