智能问答系统研究综述

《智能问答系统研究综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、智能问答系统研究综述清华大学语音与语言技术中心骆天一1研究意义从早期的图书馆检索系统、专家系统到现在的搜索引擎，快速并准确的获取信息一直是人们梦寐以求的追求目标，尤其是在信息浩如烟海的互联网时代。随着时代的发展，一方面数据的量级已从TB发展到PB乃至ZB，可以称之为海量数据；另一方面，用户的需求越来越精细化、多样化，基于关键词组合或者基于浅层语义分析的检索系统越来越不能满足用户的需求，智能问答系统通过将数据经过深度加工处理形成具有某种固定结构的知识库，并通过最先进的自然语言处理技术解析用户的需求，从而快速地、准确地为用户提供所需要的信息。智能问答系统及其相关领域的研究

2、具有重要的研究价值。智能问答系统涉及的领域很广，其中主要关键技术有知识的抽取和表示，用户问句的语义理解和通过知识推理得到答案。这些领域都需要进行深入研究我们才会得到更好的智能问答系统。而无论我们在任一领域取得重大的突破，不仅仅对于智能问答系统，而且对于其它领域，包括文本分类、推荐系统等都会有相当大的促进作用。另一方面，智能问答系统也具有重大的实际应用价值。能够快速准确地找到信息可以让人们的生活变得非常便利，例如：查询天气，股票价格，飞机航班情况等。而且更让人激动人心的是智能问答系统可以部分地替代人工劳动，例如替代人工客服对客户进行自动回答，可以大大减少企业的人力成本。

3、2智能问答系统的发展简史智能问答系统已经有70年的发展历史。早期的智能问答系统大多针对特定的领域而设计，并且数据量也很有限，不容易进行扩展，例如：Baseball[1]和Lunar[2]，这些诞生在上世纪五六十年代的智能问答系统通常只接受特定形式的自然语言问句，而且可以供智能问答系统进行训练的数据也很少，所以无法进行基于大数据的开放领域的问答从而未被广泛使用。进入九十年代之后，由于互联网的发展，大量可供训练的问答对在网上可以被搜集和找到。尤其是TREC-QA[3]评测的推出，极大推动促进了智能问答系统的发展，研究人员在该语料库上训练和测试各种问答模型，先后提出了基于逻

4、辑推理的方法[4]，基于模板匹配的方法[5]，基于机器学习的方法[6]和基于数据冗余性的方法[7]等许多领先方法。在此阶段，人们主要利用信息检索或浅层语义理解技术去从大量候选集中寻找答案从而构建智能问答系统，故检索式问答技术取得了巨大发展。但是检索式问答技术存在一个缺陷，就是答案中一定至少包含一个用户问句中含有的字或者词，但是这在实际情况中往往是不成立的。虽然浅层语义理解技术部分解决了这个问题，但是由于用户问句是自然语言，自然语言有着天然的复杂性，由于存在着以上缺陷，检索式问答技术不能真正很好地解决用户的需求。一直以来，阻碍智能问答系统向前发展的两个最主要因素是缺乏高

5、质量的数据和强大的自然语言处理技术，不过随着维基百科，百度百科，搜狗百科这些基于用户协同生成内容的互联网应用的兴起，越来越多的高质量数据被积累和得到。基于此，大量的被精心设计以自动或半自动方式生成的知识库（例如Freebase、YAGO、DBpedia等）被建立起来。至于另一个问题，随着统计机器学习方法的兴起，自然语言处理技术各个子领域都取得了很大的进步，可以说阻碍智能问答系统最大的两个问题正在被科研人员逐步解决。近年来，智能问答系统取得了很大的发展和进步，已经有很多智能问答系统产品问世。例如IBM研发的智能问答机器人Watson在美国智力竞赛节目《Jeopardy!

6、》中战胜人了选手，其所拥有的DeepQA系统集成了统计机器学习、信息抽取、知识库集成和知识推理等深层技术。苹果公司的Siri系统和微软公司的cortana分别在iPhone手机中和Windows10操作系统中都取得了很好的效果。在国内，众多企业和研究团体也推出了很多以智能问答技术为核心的机器人，例如：微软公司的“小冰”、百度公司的“度秘”和中科汇联公司的“爱客服”，我们可以看到，这些机器人不仅提供情感聊天的闲聊功能，而且还能提供私人秘书和智能客服这样的专业功能。这些智能系统的出现标志着智能问答技术正在走向成熟，预计未来还会有更多功能的机器人问世和解决用户的各种需求。3

7、智能问答系统的研究前沿尽管已经取得了令人瞩目的成就，但是智能问答系统还远未完美，智能问答系统涉及的领域很广，其中主要关键技术有知识的抽取和表示，用户问句的语义理解和通过知识推理得到答案。这些领域都需要进行深入研究我们才会得到更好的智能问答系统，然而这些领域都各自相对独立的存在并且采用了非常不同的方法，并且这些方法都有着各自的瓶颈。所以智能问答系统的现代研究基本围绕这三方面展开。（1）自动信息抽取和构建知识图谱智能问答系统的实现需要非常强大和全面的知识作为基础，而目前虽然互联网拥有海量的知识资源，这些资源绝大多数都是非结构化的知识，并且存在多种不同的结