自然语言理解

《自然语言理解》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第十二章自然语言理解自然语言处理是人工智能领域中早期活跃的研究领域之一。由于它的难度很大，至今仍位能达到很高的水平。第一节自然语言处理的一般问题一、自然语言处理的概念和意义1.语言是人类进行通信的自然媒介，它包括口语、书面语以及动作语等。一种比较正规的提法是：语言是用于传递信息的表示方式、约定和规则的集合，她由语句组成，每个语句又由单词组成；组成语句和语言时，应遵循一定的语法和语义规则。2.自然语言处理，一方面，可以定义为计算机处理人类在日常生活中使用的自然语言——书面或口头能力；另一方面，可以定义为认知科学中研究人类语言的一个分支。3.自然语言处理意义在于：一方面，如果计算机

2、能够理解、处理自然语言，将是计算机技术的一项重大突破；另一方面，自然语言处理有助于揭开人类高度智能的奥秘，深化对语言能力和思维本质的认识二、自然语言处理的发展简史1.以关键词匹配为主流的时期（上世纪60年代）这个时期研制开发出的自然语言理解系统，大都没有真正意义上的语法分析，而主要依靠关键词匹配技术来识别输入的句子的意义。其特点是允许输入的句子不一定要遵循规范的语法，但这种近似匹配技术的不精确性也是其主要弱点。2.以句法-语义分析为主流的时期（上世纪70年代）采用这种思想的处理系统的典型系统框架如下句法分析语义解释语义规则词典句法分析规则输入句法树回答3.基于知识的语言处理系统

3、时期（上世纪80年代）这一时期的主要特点是引入了知识的表示和处理方法，引入了领域知识和推理机制，借鉴了许多人工智能和专家系统中的思想，使自然语言处理系统不再局限于单纯的语言句法和词法的研究，极大地提高了系统处理的正确性，使得系统越来越趋向实用化和工程化。4.基于大规模语料库自然语言处理系统（目前）实践证明，由于处理自然语言所需的知识“数量”巨大，且这些知识具有高度的不确定性和模糊性，因此提出了以计算机雨料库为基础的语言学及自然语言处理新思想。该思想认为语言学的知识大规模的来自生活的语料，计算语言学工作者的任务是使计算机自动或半自动的从中提取处理自然语言所需的各种知识。三、自然语

4、言处理的主要思想1.认知学观点将人类视为一种高级信息处理系统，强调对于人类智能活动的研究以及在计算机上的模拟和实现。2.语用学观点将语言视为人与人之间的通信媒介，任何对于话语的理解或生成都不能脱离该话语存在的前后语境和该话语使用者的心理背景。3.语言学观点对自然语言进行研究的最初也是最基本的方法，强调对于句子结构和语法的研究，重点在于描述语言，寻找或构造一组能包含尽可能多的语言现象的普遍适用的语法规则。四、自然语言处理的层次1.语音分析根据音位规则，从语音流中区分出一个个独立的音素，再根据音位形态规则找出一个个音节及其对应的词素或词。2.词法分析分析目的是找出词汇的各个词素，从

5、中获得语言学的信息。3.句法分析对句子和短语的结构进行分析，目的是找出词、短语等的相互关系以及各自在句中的作用。4.语义分析分析目的是找出词义、结构意义及其结合意义，从而确定语言所表达的真正含义或概念。5.语用分析研究语言所存在的外界环境对语言使用者所产生的影响。第二节形式语法分析一、转换生成语法1.乔姆斯基的生成语法乔姆斯基指出人类语言具有无限性，一个人学习一种语言时，并不是通过接触语言的所有语句，而是学习语言的内在结构知识。这种结构知识是一种严格形式化的规则系统，对自然语言进行描述，无须任何未在系统中明确表示的附加信息，就能生成符合所描述语言语法规范的自然语言语句，并且为每

6、个句子赋予一个结构化描述。该结构化结构通常为一种数形结构。例如：S→NP+VPNP→Det+NVP→VP+ADVVP→Aux+VADV→PPADV→AdvPP→Prep+NPDet→a,the,this…N→dog,baby,park,…Aux→must,can,…V→run,smile,sit…Adv→quickly,slowly…Prep→in,on,by,…Thedogcanruninthepark.SNDETVPNPVPADVVAUXPPPREPNPDETNThedogcanruninthepark2.短语结构语法G的形式化定义G=（T，N，S，P）T是终结符号的集合，

7、终结符号是指被定义的那个语言的词。N是非终结符号的集合，这些符号不能出现在最终生成的句子中，是专门用来描述语法的。S是起始符，是集合N中的一个成员。P是一个产生式规则集。3.乔姆斯基定义的四种形式语法（1）无约束短语结构词法，0型语法。（2）上下文有关语法，1型语法。（3）上下文无关语法，2型语法。（4）正则语法，3型语法。型号越高所受约束就越多，生成能力就越偌，能生成的语言集就越小。4.乔姆斯基的转换语法所谓“转换”就是把具有共同成分的句子成对地联系起来。乔姆斯基的转换语法由一个基础部件和