基于知识的智能问答技术.doc

《基于知识的智能问答技术.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、题目：基于知识的智能问答技术（PDF）作者：许坤，冯岩松（北京大学）————————————————————作者简介：许坤，北京大学计算机科学技术研究所博士生，研究方向为基于知识库的智能问答技术，已连续三年在面向结构化知识库的知识问答评测QALD-4,5,6中获得第一名。冯岩松，北京大学计算机科学与技术研究所讲师。2011年毕业于英国爱丁堡大学，获得信息科学博士学位。主要研究方向包括自然语言处理、信息抽取、智能问答以及机器学习在自然语言处理中的应用；研究小组已连续三年在面向结构化知识库的知识问答评测QALD中获得第一名；相关工作已发表在TPAMI、ACL、EMNLP等主

2、流期刊与会议上。作为项目负责人或课题骨干已承担多项国家自然科学基金及科技部863计划项目。分别在2014和2015年获得IBMFacultyAward。引言近年来，信息抽取技术的快速发展使得快速构建大规模结构化、半结构化知识库成为可能。一大批结构化知识库如雨后春笋般涌现出来，如GoogleKnolwedgeGraph（Freebase）、Yago，DBpedia、微软ProBase、搜狗知立方及百度等企业内部的知识图谱等。同时，这些大规模知识库也被应用于关联检索、个性化推荐、知识问答等任务中。相比于传统基于文本检索的问答系统，利用知识库回答自然语言问题可以为用户提供更精

3、确、简洁的答案，因此一直受到学术界和工业界的广泛关注。目前基于知识库的问答技术可以大致分为两类。第一类基于语义解析的方法。这类方法通过学习相关语法将自然语言转问题转换成可以用来描述语义的形式化语言，如逻辑表达式等。构建这样的语义解析器需要大量的标注数据，例如，自然语言问题及其对应的语义描述形式。然而，针对Freebase这样大规模的结构化知识库，在实际中很难收集到足够多的高质量训练数据。另外，语义描述形式与知识库的结构之间的不匹配也是这类方法普遍遇到的一个问题，例如，在Freebase中并没有“爸爸”或“妈妈”这样的谓词关系，只有“父母”，因此，如果想表示“A是B的母亲

4、”这样的关系，则需明确表示为“”并且“”。      另一类知识问答技术是传统的基于信息检索的方法。这类方法不会将自然语言问题完全转换成形式化的语义描述，而是首先利用实体链接技术从知识库中收集候选答案集合，然后构建排序模型对候选答案进行排序。因为不需要完整地解析自然语言问题的语义结构，因此，这类方法构造训练数据的过程相对简单，只需收集问题答案对即可。实验表明,基于检索的方法对语义简单的自然语言问题比较有效，但是难以处理语义结构复杂的问题，尤其是包含多个实体和关系的自然语言问题。例如，对于自然语言问题“Whatmountainistheh

5、ighestinNorthAmerica？”，检索类的方法由于缺乏对highest的正确解析，通常会将所有坐落在北美的山脉返回给用户。事实上，为了得到正确的答案，问答系统还需要根据山脉高度对候选答案进行排序，并选择海拔最高的山脉返回给用户。该过程通常需要人工编写解析规则对答案进行筛选，费时费力。此外，由于自然语言描述的多样性，人们也无法事先穷举所有这样的规则。      然而事实上，Freebase这样的结构化知识库希望存储关于真实世界的知识条目，而像维基百科页面这样的文本百科资源则存储支持这些事实的文本描述。例如，在维基百科页面中，我们可以找到一段与候选答案有关的文本

6、Denali(alsoknownasMountMcKinley,itsformerofficialname)isthehighestmountainpeakinNorthAmerica,withasummitelevationof20,310feet(6,190m)abovesealevel。很明显可以看出，这段文本描述可以帮助我们提升Denali或者MountMcKinley作为正确答案的置信度，并过滤掉候选集中的错误答案。正是受到这个发现的启发，我们提出同时利用结构化知识库与可信的文本百科资源，如维基百科页面，来回答知识类自然语言问题。基于多种知识资源的问答技术框架

7、图1：针对问题whodidshaqfirstplayfor的流程图以样例问题whodidshaqfirstplayfor的处理流程为例，图1展示了融合多种知识资源的问答框架。该问答系统框架主要包含基于结构化知识库Freebase的问题求解和基于非结构化知识资源Wikipedia文本的浅层推理。·基于结构化知识库的问题求解基于结构化知识资源的问题求解部分只需给出候选答案集合即可，因此既可采用基于语义解析的方法，也可以直接采用基于检索的方法来实现。这里我们采用的是基于检索的方案，主要包括实体链接，关系抽取，以及这两部分的联合消解三大部分。1)