第7章自然语言理解

《第7章自然语言理解》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第7章自然语言理解7.1自然语言及其理解7.3词法分析7.3句法分析7.4语义分析自然语言理解作为语言传息处理技术的一个高层次的重要方向，一直是人工智能界所关注的核心课题之一。如果计算机能够理解自然语言，人机间的信息交流能够以人们所熟悉的本族语言来进行，那将是计算技术的一项重大突破。另一方面，由于创造和使用自然语言是人类高度智能的表现，因此对自然语言理解的研究也有助于揭开人类智能的奥秘，深化我们对语言能力和思维本质的认识。所以说，这个研究方向在应用方面和理论方面都有重大意义。7.1自然语言及其理解1.什么是自然语言自然语言是指人类

2、语言集团的本族语，如汉语、英语、日语等。自然语言是相对于人造语言而言的。人造语言是指世界语或计算机的各种程序设计语言。众所周知，语言是思维的载体，是人际交流的重要工具。在人类历史上以语言文字形式记载和流传的知识占到知识总量的80％以上。就计算机的应用而言，据统计用于数学计算的仅占10％，用于过程控制的不到5％，其余85％左右都是用于语言文字的信息处理。在信息化社会中，语言信息处理的技术水平和每年所处理的信息总量已成为衡量一个国家现代化水平的重要标志之一。7.1.1自然语言及其构成句子：文字组成的句子、语音句子词素→词或词形→词组或

3、句子构成音素→音节→音词→音句构成其中每个层次都受到语法规则的制约。因此,语言的分析和理解过程也应当是一个层次化的过程。现代语言学家把这一过程分为三个层次：词法分析、句法分析和语义分析。2、自然语言的构成（如下图）7.1自然语言及其理解7.1.1自然语言及其构成7.1自然语言及其理解7.1.2自然语言理解的概念7.1.3自然语言理解的进展7.1.4自然语言过程的层次自然语言理解的功能包括：1.问答：机器能正确地回答输入文本中的有关问题;2.文摘生成：机器有能力产生输入文本的摘要；3.释义：机器能用不同的词语和句型来复述其输入文本

4、；4.翻译：机器具有把一种语言(源语)翻译成为另一种语言(目标语)的能力。1.语音分析在有声语言中,最小的、可独立的声音单元是音素,音素是一个或一组音,它可与其他音素相区别。如pin和bin中分别有/p/和/b/这两个不同的音素,但pin,spin和tip中的音素/p/是同一个音素,它对应了一组略有差异的音。语音分析则是根据音位规则,从语音流中区分出一个个独立的音素,再根据音位形态规则找出一个个音节及其对应的词素或词。2.词法分析2.词法分析词法分析的主要目的是找出词汇的各个词素,从中获得语言学信息,如unchangeable是由

5、un-change-able构成的。在英语等语言中,找出句子中的一个个词汇是一件很容易的事情,因为词与词之间是由空格来分隔的。但是要找出各个词素就复杂得多,如importable,它可以是im-port-able或import-able。这是因为im,port和import都是词素。而在汉语中要找出一个个词素则是再容易不过的事情,因为汉语中的每个字就是一个词素。但是要切分出各个词就远不是那么容易。如“我们研究所有东西”,可以是“我们—研究所—有—东西”也可以是“我们—研究—所有—东西”。3.句法分析句法分析是对句子和短语的结构进行

6、分析。自动句法分析的方法很多,有短语结构语法、格语法、扩充转移网络、功能语法等。句法分析的最大单位就是一个句子。分析的目的就是找出词、短语等的相互关系以及各自在句子中的作用等,并以一种层次结构来加以表达。这种层次结构可以是从属关系、直接成分关系,也可以是语法功能关系。4.语义分析语义分析就是通过分析找出词义、结构意义及其结合意义,从而确定语言所表达的真正含义或概念。在语言自动理解中,语义越来越成为一个重要的研究内容。句子是由词组成的,句子的意义与词义是直接相关的,但也不是词义的简单相加。要考虑句子的结构意义：“我打他”和“他打我”

7、的词是完全相同的,但表达的意义是完全相反的。英语中aredtable(一张红色的桌子),它的结构意义是形容词在名词之前修饰名词,但在法语中却不同,onetablerouge(一张桌子红色的),形容词在被修饰的名词之后。7.3句法分析1、短语结构语法理论一部短语结构语法G可以用如下的四元组来定义：G＝(Vt，Vn，P，S)其中，Vt是终结符的集合，终结符是指被定义的那个语言的词(或符号)；Vn是非终结符的集合，这些符号不能出现在最终生成的句子中，是专门用来描述语法的。显然，Vt和Vn的并构成了符号集V，而且Vt和Vn不相交，因此有：

8、V＝Vt∪Vn，Vt∩Vn＝φ(φ表示空集)；S是起始符，它是集合Vn中的一个成员；P是一个产生式规则集。每条产生式具有如下的形式：a→b其中a∈V+，b∈V*，且a≠b；V*表示由V中的符号所构成的全部符号串(包括空符号串φ)的集合，V+表示V*