文本相似性检索调研概况

《文本相似性检索调研概况》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、文本相似性检索调研一、相似性检索调研从查看的资料来看，文本相似性检索大致有儿个阶段，1）分词等文档处理阶段2）特征提取3）相似度计算。1.P2P环境下的文本检索综述木文属于综述，没有具体的操作方法。主要是加入-•层语义覆盖网以及如何构建。一些研究者提出了语义覆盖网（SemanticOverlayNetworksSONS）的概念，即在P2P网络之上构建了一个语义层，也就是预先定义好一个层次结构的主题分类,然后根据结点包含内容与主题的相关程度将结点聚类，收到查询消息后，检索主题找到相应的结点。基于SONS的研究已经有很多，方法1定义一个树状的主题层次结构和-•些主结点和从结点

2、，主结点的信息映射到主题层次结构屮并维护从结点的连接信息;方法2将网络屮的结点划分成不同的区域（Zone,在域内根据文档的相似度将结点聚类，并选出一个屮心结点作为区域的代表，然后将不同的区域合并形成一个语义覆盖网;方法3运用潜在语义索引（LatentSemanticIndexing,LSI方法将文档映射到一个语义逻辑层，然后通过支持向量机（SupportVectorMachine,SVM）模型进行训练，将结点划分到不同的语义覆盖网内；方法4利用结点的请求和应答的历史记录构建语义覆盖网，经常为某一查询提供解答的结点被认为具有相似的内容，将被划为同一类别；（我们有没有可能做）

3、方法5通过对邻居结点的语义相似度、信任程度、重合度和连接频率等指标的统计进行邻居结点的排序，排序靠前的结点划为同一类别，构建语义覆盖网。2.基于HNC句子分析这篇主要是句子分析，HNC是一种新的语言表示方法。HNC（hierarchicalnetworkofconcepts,概念层次网络）理论是一个关于自然语言理解处理的理论体系，以概念联想脉络为主线，出中国科学院声学研究生黄曾阳先生创立。基于HNC语义块的句子相似度计算（本文采用）——把句子的类型划分为作用句、过程句、转移句、效应句、关系句、状态句和判断句七大句类，每个句子是由四种主语义块和七种辅语义块构成的，根据HNC

4、理论进行句子的表示和相似度计算。HNC冇自己的一套表示和计算方式，可以分析同义词，例如，句子A：题廿是对的。句子B：题目是不错的。两个句子相似度HNC计算为下图是一个语义块识别，可以直接生成HNC方式的表示。哈尔滨工业大学的分词系统分词HNC词语知识库带flHNCtt念符号的词语组合简单举例：句了A张三吃了李四的番茄。句了B张三把李四的西红柿吃了。Iab.4.ITheresultsofsemanticblock'ssimilarityJK1张三JK2李四的矗茄E吃了JK1张三100JK2李四的曲红柿010E吃了001根据上农，我们可以得到例句A和B句的相似度为I・本文所作

5、的句子相似度研究的背景是主观题自动批阅系统，在主观题自动批阅屮句子相似度是一个关键的理论基础。句子相似度在主观题自动批阅系统屮的应用主要体现在：老师的参考答案和学生回答的答案Z间的相似度计算，从而得到学生的得分，结果显示能够比较好的理解句子的内部语义。目前对句子语义相似度计算的方法主要冇：基于相同词汇的句子相似度计算方法；基于相似词语的句子相似度计算方法（基于各种词典，区别词性）；基于词形和词序的方法计算句子相似度（当一个分句或短语整体发生长距离移动后,仍与原来的句子很相似）；基于向量空间模型的TF-IDF句子相似度计算方法（使用较多冃效果较好）。1.基于LDA主题模型的

6、文本相似度计算该方法利用LDA模型对文本集进行建模，即利用文本的统计特性，将文本语料库映射到各个主题空间，挖掘隐藏在文本内的不同主题与词之间的关系，得到文本的主题概率分布，通过此分布来计算主题的相似度（本文采用JS距离）。在文木相似度计算方面，利用LDA建立了文木主题空间，增强了文木的向量表示，大大缩小了文档的维度，加快了计算速度。LDA的结果与选取的主题个数有关，本文3200篇文章，当主题数为250最好。LDA多用于主题聚类、文本分类，以及主题词联想扩展等。LDA基于这样一种前提假设:文档是由若干个隐含主题构，而这些主题是由文木中若干个特定词汇构成，忽略文档中构成的句法

7、结构和词语出现的先后顺序。C2Cn主理特征词图1模型隐含主题的拓扑结构示意图1.基于潜在语义分析的文本检索算法研究潜在语义分析（LatentSemanticAnalysisLSA）是一种通过分析大量的文本集，自动生成关键字一概念（语义）Z间映射规则的方法。这篇文木用向量空间模型进行文木表示，再应用潜在语义索引模型进行奇异值分解，把文本表示在低维潜在语义空间中，对大容量文本进行非相关性排除（LSA有一个投影计算公式，阈值以下认为不相关），Z后以查询文木与检索文木Z间的相似度作为适应度函数值（本文中采用余弦距离，距离越小越好，使用