基于卷积神经网络的多文本特征问答系统

《基于卷积神经网络的多文本特征问答系统》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。基于卷积神经网络的多文本特征问答系统　　摘要：基于文档的问答系统的研究目标是从给定的文档集合中筛选出某些文档作为用户问题的正确答案，其核心在于计算问题和答案这两个语句的相似度。在该文中，我们研究了各项文本结构特征和文本统计特征：TermFrequency-inverseDocumentFrequency和最长公共子序列，同时我们设计了特定的卷积神经网络结构并融合研究的特征，从而得到一种表达能力好的问答对的

2、向量表示。我们提出的模型不依赖于任何外部的语言工具并且能够适用于多个领域和多种语言。实验结果表明，该卷积神经网络模型能够很好的表达文档之间的相似性，而且在加入TF-IDF和LCS特征之后该模型的性能进一步得到提升。我们利用这个模型在NLPCC-XXDocument-BasedQuestionAnswering比赛中MeanAveragePrecision值能达到和MeanReciprocalRank值达到。　　关键词：问答系统；卷积神经网络；TF-IDF；LCS　　中图分类号：TP311文献标识码：A文章编号：1009--0177-02　　1概述为了充分发挥“教学点数字教育资源全

3、覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　问答系统在自然语言处理和文本检索领域是一项重要的研究任务。基于搜索的问答系统[1]的主要任务是计算两个语句之间的语义相似度并依照相似度排序筛选出最相似的答案[2，3]。本文所研究的基于文档集合的问答系统任务可以表述成：给定一个用户问题和一系列答案文档集

4、合；我们需要从答案文档中挑选出最好的一个答案。通过对本文数据集的研究发现，当前的文本匹配方法[4]无法直接用于解决本文中的问题，因此我们提出新模型主要为了解决一下问题：　　1）如何得到问答对之间的最有价值的特征？通过分析DBQA数据集，我们发现问答对主要是短文本，甚至有的只是一个地名或者人名。因此问答对的这个特征使得很多次的频率很小，有可能是1或者2。这个特征表明问答对中的每一个词都可能含有重要的语义。　　2）如何得到一个能够考虑正负问答对样本的网络结构？在本文，对于DBQA数据集来说，我们同时将一个问题和它的正确、错误答案作为卷积神经网络模型的输入，从而得到一个效果好的网络模型

5、。　　本文主要通过构造一个卷积神经网络模型并利用文本特征提升模型效果。问答对集合通过该模型的训练我们能够得到问答对向量化表示，因此可以利用该向量化表示进一步计算问答对之间的相似度从而筛选出正确答案。　　2基于CNN的问答系统为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护

6、。　　我们的问答系统模型主要是基于卷积神经网络。目前，卷积神经网络模型在图像处理[5][6]以及机器翻译领域[7]中都取得了重大的突破。我们通过借鉴CNN在图像处理过程中的特点，从而利用CNN提取问答对的文本体征。　　在本文的模型QA-Model中，如图1所示，Q表示用户问题，首先它经过嵌入层的处理变为向量VQ，CNN将VQ作为输入并处理得到用户问题的向量化表示。同理，我们也可以同时得到答案文档A的向量化表示。最后通过计算两者的向量化表示的余弦值，并将其作为两者的相似度表示。　　文本预处理　　TermFrequency-InverseDocumentFrequency[8]可以用

7、于计算词语在文本语料中语义表达的重要性。通过研究DBQA数据集，我们发现大部分问答对的主题都是各不相同的。这意味着每对问答对的语义不同和重要的词语不同。因此，TF-IDF可以很好的用于处理该类型语料集合，同时我们将抽取出前3个TF-IDF值大的词语作为每个问答对的特征。通过实验可以证明，在加入该特征之后DBQA的MRR值可提升2%左右。　　LongestCommonSubsequence[9]利用了文本的统计学特征，将两个文本之间的最长子序列考虑在内。对于某个问答对来说，我们利用