第10章-自然语言理解ppt课件.ppt

《第10章-自然语言理解ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第十章自然语言理解要点：1.自然语言理解的四个层次2.句法分析的4种方法10.1自然语言理解概述10.2词法分析10.3句法分析10.4语义分析10.5句子的自动理解10.6语料库语言学10.7文本的自动翻译——机器翻译10.8自然语言理解系统的主要模型10.9自然语言理解系统应用举例10.10小结210.1自然语言理解概述10.1.1语言与语言理解语言是用于传递信息的表示方法、约定和规则的集合，它由语句组成，每个语句又由单词组成；组成语句(sentence)和语言时，应遵循一定的语法(syntax)与语义(semantics)规则。语言

2、是音义结合的词汇和语法体系，是实现思维活动的物质形式，语言是一个符号体系。要研究自然语言理解，必须对自然语言的构成有个基本认识。语言的构成框图如图10.1所示。3语言词汇语法词熟语词法句法词素构词法词组构造法造句法构形法图10.1语言的构成图语言是以词为基本单位的，词汇又受到语法的支配才可构成有意义的和可理解的句子，句子按一定的形式再构成篇章。词汇又分为词和熟语，属于就是一些词的固定组合。语法是语言的组织规律。语法规则制约着如何把词素构成词、词构成词组和句子。45从微观上讲，语言理解是指从自然语言到机器(计算机系统)内部之间的一种映射。从宏

3、观上看，语言理解是指机器能够执行人类所期望的某些语言功能。这些功能包括：回答有关提问；提取材料摘要；不同词语叙述；不同语言翻译。6怎样才算理解了语言呢?归纳起来主要有以下几个方面：既能够理解句子的正确词序规则和概念，又能理解不合规则的句子知道词的确切含义、形式、词类及构词法了解词的语义分类以及词的多义性和歧义性指定、不定特性及所有(隶属)特性问题领域的结构知识和时间概念语言的语气信息和韵律表现有关语言表达形式的文学知识论域的背景知识710.1.2自然语言处理的概念和定义定义10.1自然语言处理是研究人类交际和人机通信的语言问题的一门学科。它

4、要开发表示语言能力和性能的模型，建立实现这种语言模型过程的计算框架，提出不断完善这些过程和模型的辨识方法，以及探究实际系统的评价技术。(BillManaris,1999)定义10.2自然语言处理是人工智能领域的主要内容，即利用计算机等工具对人类特有的语言信息（包括口语信息和文字信息）进行各种加工，并建立各种类型的人-机-人系统。自然语言理解是其核心，其中包括语音和语符的自动识别以及语音的自动合成。（刘涌泉，2002）8定义10.3自然语言处理是利用计算机工具对人类特有的书面形式和口头形式的语言进行各种类型处理和加工的技术。（冯志伟，1996

5、）定义10.4自然语言处理是用计算机对自然语言的音、形、义等语言信息进行加工和操作，包括对字、词、短语、句子和篇章的输入、输出、识别、转换、压缩、存储、检索、分析、理解和生成等的处理技术。它是在语言学、计算机科学、控制论、人工智能、认知心理学和数学等相关学科的基础上形成的一门边缘学科。（蔡自兴，2008）910.1.3自然语言处理的研究领域和意义1.自然语言理解的研究领域和方向文字识别（Opticalcharacterrecognition，OCR）语音识别(Speechrecognition)机器翻译(Machinetranslation

6、)自动文摘(Automaticsummarization或automaticabstracting)句法分析(Syntaxparsing)文本分类(Textcategorization/documentclassification)10信息检索(Informationretrieval)信息获取(Informationextraction)信息过滤（Informationfiltering）自然语言生成(Naturallanguagegeneration)中文自动分词(Chinesewordsegmentation)语音合成(Speechs

7、ynthesis)问答系统(Questionansweringsystem)2.自然语言理解研究的意义1110.1.4自然语言理解研究的基本方法和进展机器翻译是自然语言理解最早的研究领域。70年代初期，对语言理解对话系统的研究取得进展。80年代，自然语言理解的应用研究广泛开展，机器学习研究又十分活跃。自然语言理解的研究为专家系统的知识获取提供了新的途径。自然语言理解的研究已促进计算机辅助语言教学(CALI)和计算机语言设计(CLD)等的发展。1210.1.5自然语言理解过程的层次语言的分析和理解过程是一个层次化的过程，它主要包括如下四个层次

8、：语音分析：根据音位规则，从语音流中区分出独立的音素，再根据音位形态规则找出音节及对应的词素或词。词法分析：找出词汇的各个词素，从中获得语言学信息。例如：将句子“我们是新世界青年