人工智能第8章节自然语言理解

《人工智能第8章节自然语言理解》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1第8章自然语言理解8.1语言及其理解的基本概念8.2词法分析8.3语法分析8.4语义分析自然语言是指人类日常交流所使用的语言。自然语言理解主要研究如何使计算机能够理解和生成自然语言。自然语言理解既是人工智能研究较早的一个领域，同时也是现代计算机的一个必备特征。28.1语言及其理解的基本概念自然语言是音义结合的词汇和语法体系。词汇是语言的基本单位，它在语法的支配下可构成有意义和可理解的句子，句子再按一定的形式构成篇章等。其结构如图8.1所示：语言词汇语法词熟语词法句法词素构形法构词法词组构造法造句法词汇是语言的基本单位。熟语是指一些词的固定组合，如汉语中的成语。词又由词素构成，词素是构成词

2、的最小有意义的单位。如“学生”是由“学”和“生”这两个词素构成的。语法是语言的组织规律。词法是用词素或熟语构成词的规则，可分为构形法和构词法。构形法是指单数复数等。造句法是用词和词组构造句子的规则。语言词汇语法词熟语词法词素句法构形法构词法词组构造法语言词汇语法词熟语词法词素造句法句法构形法构词法词组构造法语言词汇语法词熟语词法词素3其主要任务是要找出词汇的各个词素，从中获得语言学信息，并确定单词的词义。以英语为例，其词法分析的基本算法如下：repeatlookforwordindictionaryifnotfoundthenmodifytheworduntilwordisfoundorn

3、ofurthermodificationpossible其中，word是一个变量，其初始值就是当前词。例8.1用上述算法分析catches。解：其分析过程如下：catches词典中查不到catche修改1：去掉scatch修改2：去掉e可以看出，在修改2时就查到了catch。当然，这只是一个很简单的例子，完整的词法分析还应该包括复合词的切分等。8.2词法分析48.3句法分析句法分析：一是对句子和短语的结构进行分析，目的是要找出词、短语等的相互关系，以及他们在句子中的作用等，并用一种层次结构加以表达；二是对句法结构规范化，对一个句子分析各个成分间的关系的推导过程用树形图表示，这种图称为句法分

4、析树。8.3.1短语结构语法8.3.2乔姆斯基形式语法8.3.3句法分析树8.3.4转移网络8.3.5扩充转移网络8.3.1短语结构语法短语结构语法和乔姆斯基语法是描述自然语言和程序设计语言强有力的形式化工具，可用于在计算机上对被分析的句子的形式化描述和分析。短语结构语法G的形式化定义：G=（T,N,S,P）式子中，T是终结符的集合，N是非终结符的集合，显然T和N不相交，T和N共同组成了符号集V，因此有：V=T∪N，T∩N=空集；S是起始符，它是集合N的一个成员；P是产生式规则集，形式如下：a→b由一部短语结构语法定义的语言L(G)就是可以从起始符S推导出的符号串W的集合。即一个符号串属于

5、L(G)必须满足：(1)该符号串只包含终结符；(2)该符号串能根据语法G从起始符S推导出来。例8.1the/amankilledthe/adeerthe/amanlikethe/adeerThe/Amanlikethe/adeer.经词法分析得到上面类型的符合语法G详见转移网络语法。8.3.2乔姆斯基形式语法根据形式语法中所使用的规则集，乔姆斯基定义了4种类型的语法：(1)无约束短语结构语法，又称0型语法；(2)上下文有关语法，又称1型语法；(3)上下文无关语法，又称2型语法；(4)正则语法，又称3型语法；型号越高所受约束越多，生成能力月若，能生成的语言集越小，也就是说它的描述能力越弱。A

6、TN就是基于上下文无关思想实现的一直自然语言句法分析技术。正则语法又称有限状态语法，只能生成非常简单的句子。有2种形式：左线型语法和右线型语法。8上下文无关文法(Context-freeGrammars)是乔姆斯基提出的一种对自然语言语法知识进行形式化描述的方法。在这种文法中，语法知识是用重写规则表示的。作为例子，下面给出了一个英语的很小的子集（图8.4）。语句→句子终标符句子→名词短语动词短语动词短语→动词名词短语名词短语→冠词名词名词短语→专用名词冠词→the名词→professor动词→wrote名词→book动词→trains专用名词→Jack终标符→..这就是一个英语子集的上下文

7、无关文法在该文法中，“语句”是一个特殊的非终极符，称为起始符。8.3.2句法规则的表示方法上下文无关文法(1/2)98.3.2句法规则的表示方法上下文无关文法(2/2)例8.2利用上述上下文无关文法，给出如下语句的分析树。TheprofessortrainsJack.语句句子终标符动词短语名词短语Theprofessor.trains冠词名词动词专用名词名词短语Jack解：如图8.5108.3.3句法分析树一个句子是由各