自然语言处理和信息抽取.20110826

《自然语言处理和信息抽取.20110826》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、中国计算机学会《学科前沿讲习班》第21期面向互联网的自然语言处理技术——理论、方法与应用问题研究第二讲自然语言处理和信息抽取赵军（jzhao@nlpr.ia.ac.cn）共同讲者：刘康、韩先培、周光有、蔡黎中国科学院自动化研究所模式识别国家重点实验室引言(1/3)50-60年代：自然语言处理研究领域是作为人工智能的应用发展起来的最早的自然语言理解方面的研究工作是机器翻译，20世纪60年代，国外对机器翻译曾有大规模的研究工作普遍采用基于规则的方法，或者基于知识库的方法，在限定领域取得成功但

2、人们低估了自然语言的复杂性，在开放领域遇到很大的困难90年代开始：随着大规模词典和真实语料库的研制，给自然语言处理领域的研究带来了巨大变化基于语料库的统计自然语言学习成为一种重要的方法自然语言处理系统面向大规模真实文本的处理，使得研制的系统开始面向实用系统并不要求能对自然语言文本进行深层理解，而是从中抽取一些有用信息，作为自然语言部分理解的一种形式——信息抽取引言(2/3)过去10年：随着互联网的普及，为自然语言处理领域提供了强有力的应用牵引和海量语言资源自然语言处理技术和信息检索技

3、术结合，自然语言处理技术的应用领域大大扩大——问答系统等统计自然语言学习方法受限于语料库的规模，过拟合问题严重，缺乏推广能力目前：随着Web2.0的普及，网络上积累了规模巨大的UserGeneratedContent，为自然语言处理技术的发展提供了新的资源和技术创新的源泉例如Wikipedia、社区问答资源等，为建立大规模知识库奠定基础基于知识的方法在开放域自然语言处理处理任务中的应用成为可能基于知识的方法和基于统计的方法的融合受到关注引言(3/3)本课程将面向互联网应用，选取依存句

4、法分析、信息抽取、观点挖掘和倾向性分析、问答系统等四个自然语言处理领域的研究方向，系统介绍其中的基本概念、主要方法、最新研究进展、需要解决的问题和发展趋势目标：听者能够对以上几个研究方向的基本轮廓和发展脉络有较为系统的了解主要内容第一课09:00-10:00信息抽取第二课10:20-11:30观点挖掘和倾向性分析第三课14:00-15:00问答系统第四课15:20-16:20依存句法分析第五课16:30-17:00互动课主要内容之间的关系信息抽取：以实体为中心的事实性信息的抽取观

5、点挖掘和倾向性分析：主观性信息的抽取问答系统：信息抽取和自然语言处理技术结合的应用依存句法分析：自然语言处理关键技术第一课信息抽取中国科学院自动化研究所模式识别国家重点实验室概述引言实体识别与抽取实体消歧关系抽取问题与挑战引言互联网的迅速普及和发展信息资源极大丰富但“信息过载”问题日趋严重迫切需要快速、准确获取信息的技术手段信息抽取技术应运而生文本信息抽取自然语言文本信息抽取信息抽取与信息检索的区别(1/2)查找同查找同““恐怖恐怖袭击袭击””相关的文相关的文档档文本

6、信息检索www.google.com.hk互联网文档集信息抽取与信息检索的区别(2/2)根据恐怖袭击相关的文根据恐怖袭击相关的文档列出某日发生的恐怖档列出某日发生的恐怖事件事件将恐怖袭击事件按照发将恐怖袭击事件按照发生地点进行归类生地点进行归类需要文本信息抽取技术做支撑信息抽取定义信息抽取定义(Grishman,1997)从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术Makinginformationmoremachine-readable(W

7、u,2010)信息抽取的目标示例20112011年年44月月1111日日1717点点1616分，日本东北部的福岛和茨城地区发生里氏分，日本东北部的福岛和茨城地区发生里氏7.07.0级强级强烈地震（震中北纬烈地震（震中北纬36.936.9度、东经度、东经140.7140.7度，即福岛西南度，即福岛西南3030公里左右的地方，公里左右的地方，震源深度震源深度1010公里，属于浅层地震）当局已经发布海啸预警震后约公里，属于浅层地震）当局已经发布海啸预警震后约3030分钟后分钟后在日本海地区发生巨型海啸

8、，同时造成福岛核电站出现核泄漏震后第十在日本海地区发生巨型海啸，同时造成福岛核电站出现核泄漏震后第十天，国际原子能机构对于日本政府反应迟钝进行了谴责天，国际原子能机构对于日本政府反应迟钝进行了谴责话题话题日本地震日本地震地震事件地震事件核泄漏事件核泄漏事件名称：名称：日本福岛地震日本福岛地震浅层地震福岛核电站名称：名称：日本核泄漏日本核泄漏震级：震级：7.07.0级级时间：时间：震后两天震后两天地区：地区：日本福岛和茨城日本福岛和茨城地区：地区：福岛核电站福岛核电站震中：震中：北纬北纬36.93