自然语言理解综述.doc

《自然语言理解综述.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、自然语言理解综述班级：芙蓉计科0701学号107120147姓名：薛璐摘要：为了解决计算机理解自然语言问题，产生了自然语言理解这一研究方向。文章介绍了自然语言理解的一些特点发展状况，并归纳了自然语言理解研究中的一些关键问题。关键词：自然语言理解；人工智能；信息技术1、引言1・1、自然语言理解的学科内涵自然语言处理(NLP,NaturalLanguageProcessing)是使用自然语言同计算机进行通讯的技术，因为处理自然语言的关键是要让计算机“理解''自然语言,所以自然语言处理乂叫做自然语言理解(NLU,NaturalLanguageUnders

2、tanding),也称为计算语言^(ComputationalLinguistics)□一方面它是语言信息处理的一个分支，另一方面它是人工會能(Al,ArtificialIntelligence)的核心课题之一。计算机理解的自然语言可分为两个方面：口语的理解(如语音识别、1、语音合成、语音分析等);2、书而语的理解(如机器翻译、自动文摘、信息过滤等)。1.2、自然语言理解的层次性从计算机处理的角度，对自然语言的研究和处理，一般划分为如下四个层次：第一层次是语音和文字，即基本语言信号的构成；第二层次是语法和句法(合称“语法")，即语言基本运用单位的构

3、成和组合的形式规律;第三层次是语义，即语言所要表达的概念结构；第四层次是语用，即语言与语言使用环境的相互作用。相应地，语言的分析和理解过程也应当是一个层次化的过程。许多语言学家把这一过程分为四个层次：语音分析、语法分析、语义分析、语用分析。其中，语法分析又可分为词法分析和句法分析。语音分析是根据音位规则，从语音中区分出一个个独立的音素，再根据音位形态规则找出一个个音节及其对应的词素或词。词法分析的主要日的是找出词汇的各个词素，从中获得语言学信息。需要说明的是，在汉语中找出词素容易，汉语分析难在词的切分。句法分析是对句子和短语的结构进行分析。句法分析

4、的方法有很多，格语法、扩充转移网络和功能语法等。分析的目的就是找出词、短语等的相互关系以及各自在句子中的作用等，并以一种层次结构来加以表达。这种层次结构可以是从属关系、直接成分关系和语法功能关系。语义分析就是通过分析找出词义、结构意义及其结合意义，从而确定语言所表达的真正含义或概念。语用分析，就是对语言符号与语用符号使用者之间联系的研究分析。2、自然语言理解的发展状况1956年以前，人们主要进行自然语言处理的基础性研究作。1948年Shannon把离散马尔可夫过程的概率模型应用于描述语言的自动机，同时又把“嫡"(Entropy)的概念引用到语言处理

5、中。而Kleene在同一时期研究了有限自动机和正则表达式。1956年,Chomsky又提出了上下文无关语法。这些工作导致了基于规则和基于概率两种不同的自然语言处理方法的诞生，使得该领域的研究分成了采用规则方法的符号派(Symbolic)和采用概率方法的随机派(Stochastic)两大阵营，进而引发了数十年有关这两种方法孰优孰劣的争执o!956年,人工智能诞牛以后，自然语言处理迅速融入了人工智能的研究中。随机派学者在这一时期利用贝叶斯方法等统计学原理取得了一定的进步；而以Chomsky为代表的符号派也进行了形式语言理论、生成句法和形式逻辑系统的研究

6、。由于这一时期，多数学者注重研究推理和逻辑问题，只有少数学者在研究统计方法和神经网络，所以符号派的势头明显强于随机派的势头。1967年美国心理学家Neisser提出了认知心理学，从而把自然语言处理与人类的认知联系起来。70年代初，由于自然语言处理研究中的一些问题未能在第1页短时间内得到解决，而新的问题又不断地涌现，许多人因此丧失了信心，自然语言处理的研究进入了低谷时期。尽管如此，一些发达国家的学者依旧地研究着。基于隐马尔可夫模型(HiddenMarkovModel,HMM)的统计方法和话语分析(DiscourseAnalysis)在这一时期取得了重

7、大进展。80年代，在人们对于过去的工作反思之后,有限状态模型和经验主义的研究方法开始复苏。90年代以后，随着计算机的速度和存储量大幅增加，自然语言处理的物质基础大幅改善，语音和语言处理的商品化开发成为可能；同时，网络技术的发展和1994年Internet商业化使得基于自然语言的信息检索和信息抽取的需求变得更加突出。自然语言处理的应用面不再局限于机器翻译、语音控制等早期研究领域了。从90年代末到21世纪初，人们逐渐认识到,仅用基于规则的方法或仅用基于统计的方法都是无法成功进行自然语言处理的。基于统计、基于实例和基于规则的语料库技术在这一时期开始蓬勃发

8、展，齐种处理技术开始融合，自然语言处理的研究乂开始兴旺起来。3、自然语言理解所面临的问题目前，自然语言理解研究已经取得了令