《ch自然语言理解》PPT课件

《《ch自然语言理解》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、自然语言处理自然语言处理学习目标通过这一章的学习，我们将了解自然语言及其理解的一般问题，掌握句法自动分析的基本方法，了解统计方法在语言理解中的应用，在此基础上学习自然语言中的词性标注方法。学习指南自然语言理解是人工智能的一个重要领域，是一个困难和富有挑战性的研究任务，它需要大量的和广泛的知识，包括语法、语义和语言等语言学和语音学以及有关背景知识。在研究自然语言理解时，将用到多种知识表示和推理方法。这一点将在本章中充分体现出来。难重点句法分析，统计方法，词性标注。知识点句法分析，语义分析，乔姆斯基语法，基于统计的自然语言处理技术

2、。自然语言处理主要内容概述：语言及其理解的一般问题句法和语法的自动分析大规模汉语语料库加工的基本方法概述——语言概念和分类语言是用于传递信息的表示方法、约定和规则的集合，它由语句组成，每个语句又由单词组成；组成语句和语言时，应遵循一定的语法与语义规则。自然语言是指人类语言集团的本族语，如汉语、英语、日语等，以及人类用与交流的非发声语言，如手语、旗语等。自然语言是相对于人造语言而言的。人造语言是指世界语或计算机的各种程序设计语言。概述——语言的构成语言是音义结合的词汇和语法体系，是实现思维活动的物质形式。概述——语言构成语言的基

3、本单位是词词素是构成词的最小的有意义的单位。词汇又可分为词和熟语。词汇受到语法的支配才可构成有意义的和可理解的句子，句子按一定的形式再构成篇章等。熟语就是一些词的固定组合，如汉语中的成语。词由词素构成，词素是构成词的最小的有意义的单位。“教师”是由“教”和“师”这两个词素所构成的。概述——语言构成语法是语言的组织规律。语法规则制约着如何把词素构成词，词构成词组和句子。语法：包括词法和句法词法：包括构词法和构形法构词规则：用词素构成词的规则，如教+师-→教师。构形法：一个词又有不同的词形、单数、复数、阴性、阳性等等。这种构造词形

4、的规则称为，如教师+们-→教师们。句法：包括词组构造法和造句法。词组构造法是词搭配成词组的规则，如红+铅笔-→红铅笔。这里“红”是一个修饰铅笔的形容词，它与名词“铅笔”组合成了一个新的名词。造句法则是用词或词组造句的规则，"我是计算机科学系的学生"，这是按照汉语造句法构造的句子。概述——语言构成语言是音义结合的，每个词汇有其语音形式。音素是指一个发音动作所构成的最小的语音单位。一个词的发音由一个或多个音节组合而成。音节又由音素构成。音素分为元音音素和辅音音素。概述——自然语言理解自然语言理解就是如何让计算机能正确处理人类语言，

5、并据此作出人们期待的各种正确响应。从微观上讲，语言理解是指从自然语言到机器(计算机系统)内部之间的一种映射。从宏观上看，语言理解是指机器能够执行人类所期望的某些语言功能。(1)回答有关提问；(2)提取材料摘要；(3)不同词语叙述；(4)不同语言翻译。自然语言理解的研究书面语理解：容易用机器处理口语理解：语音识别、理解和合成概述——自然语言理解主要方面问题应答：机器能正确的回答输入文本的有关问题。文摘生成：机器有能力产生输入文本的摘要。文本释义：机器能用不同的词语和句型来复述或解释输入的文本。机器翻译：机器具有把一种语言翻译成为

6、另一种语言的能力。概述——自然语言理解的研究运用语言学词汇语法句法语用语义学大量的客观世界的知识相关学科的知识。概述——理解自然语言的难点目标表示的复杂性：语义的概念可以用语义网表示，要从语句中提取这种表示的关键字就相当的复杂。映射的歧义性：将语言看成是源语言和目标语言的二元组，两者存在着映射。一对一类型是最理想的。句子成分间的交互程度：每个语句都是由多个成分组成的，每个成分的映射与其他成分交互程度相当高。概述——理解自然语言的工作理解所出现的每个词词义表示语句意义的结构句子语义表示言语的结构。重点：解决如何有效地使用语法、语

7、义、语用及与其相关的各种知识问题。概述——自然语言理解的角度文字表达的句子是由词素→词或词形→词组或句子。声音表达的句子则是由音素→音节→音词→音句，其中每个层次都是受到语法规则的制约。概述——自然语言理解的步骤汉语理解的一般分为以下步骤：原文输入句子词语切分及词语属性特征标注语法及句法分析语义及语用和语境分析生成目标形式表示句群及篇章理解概述——自然语言理解的层次1语音分析找出最小可独立的声音单元----音素汉语的声母、韵母2词法分析找出词汇的各个词素(词根)从中获得语言学信息。"我们－研究所－有－东西""我们－研究－所有－

8、东西"概述——自然语言理解的层次3句法分析目的是找出词、短语等的相互关系以及各自在句子中的作用等，并以一种层次结构来加以表达。这种层次结构可为反映从属关系直接成分关系语法功能关系。对句子和短语的结构进行分析，找出词、短语等的相互关系以及各自在句子中的作用等。最为基本的，最成熟