第8章 自然语言理解.ppt

《第8章 自然语言理解.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第8章自然语言理解及其应用第8章自然语言理解及其应用8.1自然语言理解的概念与发展历史8.2语音分析8.3词法分析8.4句法分析8.5语义分析8.6基于语料库的大规模真实文本的处理8.7机器翻译8.8语音识别2第8章自然语言理解及其应用8.1自然语言理解的概念与发展历史8.2语音分析8.3词法分析8.4句法分析8.5语义分析8.6基于语料库的大规模真实文本的处理8.7机器翻译8.8语音识别38.1.1自然语言理解的概念微观角度：从自然语言到机器内部的一个映射。宏观角度：使机器能够执行人类所期望的某种语言功能。（1）回答问题：计算机正确地回

2、答用自然语言输入的有关问题。（2）文摘生成：机器能产生输入文本的摘要。（3）释义：机器能用不同的词语和句型来复述输入的自然语言信息。（4）翻译：机器能把一种语言翻译成另外一种语言。48.1.2自然语言理解研究的产生与发展1.萌芽时期（20世纪40年代末50年代初）2.以关键词匹配技术为主的时期（20世纪60年代始）A.DonaldBooth&W.WeaverM.Chomsky形式语言和文法3.以句法语义分析技术为主的时期（20世纪70年代后）4.基于知识的自然语言理解发展时期5.基于大规模语料库的自然语言理解发展时期68年B.Raphae

3、l：语义检索系统SIRJ.Weizenbaum：心理医疗ELIZA72年W.Woods：语音接口LUNART.Winograd：英语对话SHEDLU5第8章自然语言理解及其应用8.1自然语言理解的概念与发展历史8.2语音分析8.3词法分析8.4句法分析8.5语义分析8.6基于语料库的大规模真实文本的处理8.7机器翻译8.8语音识别6文字表达句子的层次：词素→词或词形→词组或句子。声音表达句子的层次：音素→音节→音词→音句。语言处理过程分为五个层次：语音分析、词法分析、句法分析、语义分析和语用分析。语用分析：研究语言所存在的外界环境对语言使

4、用产生的影响。构成单词发音的独立单元是音素。上下文不同而发音不同。语音分析就是根据音位规则，从语言流中区分出一个个独立的音素，再根据音位形态规则找出一个个音节及其对应的词素或词。8.2语音分析7第8章自然语言理解及其应用8.1自然语言理解的概念与发展历史8.2语音分析8.3词法分析8.4句法分析8.5语义分析8.6基于语料库的大规模真实文本的处理8.7机器翻译8.8语音识别88.3词法分析定义：从句子中切分出单词，找出词汇的各个词素，并确定其词义。例：unchangeable：un-change-able英语词法分析特点：切分单词容易，找

5、出词素复杂。例：importable分为import-able或im-port-able词法分析算法举例：repeatlookforwordindictionaryifnotfoundthenmodifythewordUntilwordisfoundornofurthermodificationpossible98.3词法分析例如：对于单词catches、ladies可以做如下的分析。catchesladies,词典中查不到catcheladie修改1：去掉scatchladi修改2：去掉elady修改3：把i变成y这样，在修改2的时候，

6、就可以找到catch，在修改3的时候就可以找到lady。例如：优秀人才学人才学1.优秀人－才学人才学2.优秀人才－学人才学汉语词法分析特点：找出词素简单，切分出词困难。ly副词后辍；ed动词过去分词10第8章自然语言理解及其应用8.1自然语言理解的概念与发展历史8.2语音分析8.3词法分析8.4句法分析8.5语义分析8.6基于语料库的大规模真实文本的处理8.7机器翻译8.8语音识别118.4句法分析8.4.1乔姆斯基的形式文法8.4.2句法分析树8.4.3转移网络8.4.4扩充转移网络128.4.1乔姆斯基的形式文法1950年提出，表示形

7、式：G=(T，N，S，P)T：终结符集合N：非终结符集合S：起始符P：产生式规则集T=（the,man,killed,a,deer,likes)N=（S,NP,VP,N,ART,V,Prep,PP)S=SP：(1)S→NP+VP(2)NP→N(3)NP→ART+N(4)VP→V(5)VP→V+NP(6)ART→the

8、a(7)N→man

9、deer(8)V→killed

10、likes例1G=（T，N，S，P）131型文法:上下文有关文法2型文法：上下文无关文法3型文法：正则文法左线性文法：A→Bt或A→t(A→Bt→Ct*t)右线性文法：A→

11、tB或A→t产生式规则:x→y产生式规则:x→y例：AB→CDE√ABC→DE×XaY→XbY产生式规则：A→x0型文法：无约束短语结构文法8.4.1乔姆斯基的形式文法148.4.2句法分析树