人工智能导论第10章自然语言理解

《人工智能导论第10章自然语言理解》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第10章自然语言处理及其应用教材：王万良《人工智能导论》（第3版）高等教育出版社，2011.2第10章自然语言处理及其应用如果计算机能够理解、处理自然语言，这将是计算机技术的一项重大突破。自然语言理解的研究在应用和理论两个方面都具有重大的意义。本章首先自然语言理解的概念以及发展历史，然后从应用角度介绍机器翻译和语音识别技术。2第10章自然语言处理及其应用10.1自然语言理解的概念与发展历史10.2语言处理过程的层次10.3机器翻译10.4语音识别3第10章自然语言处理及其应用10.1自然语言理解的概念与发展历史10.2语言处理过程的层次10.3机器翻译10.4语音识别410

2、.1.1自然语言理解的概念微观角度：从自然语言到机器内部的一个映射。宏观角度：使机器能够执行人类所期望的某种语言功能。（1）回答问题：计算机正确地回答用自然语言输入的有关问题。（2）文摘生成：机器能产生输入文本的摘要。（3）释义：机器能用不同的词语和句型来复述输入的自然语言信息。（4）翻译：机器能把一种语言翻译成另外一种语言。510.1.2自然语言理解研究的产生与发展1.萌芽时期（20世纪40年代末50年代初）2.以关键词匹配技术为主的时期（20世纪60年代始）A.DonaldBooth&W.WeaverM.Chomsky形式语言和文法3.以句法语义分析技术为主的时期（20

3、世纪70年代后）4.基于知识的自然语言理解发展时期5.基于大规模语料库的自然语言理解发展时期68年B.Raphael：语义检索系统SIRJ.Weizenbaum：心理医疗ELIZA72年W.Woods：语音接口LUNART.Winograd：英语对话SHEDLU6第10章自然语言处理及其应用10.1自然语言理解的概念与发展历史10.2语言处理过程的层次10.3机器翻译10.4语音识别7文字表达句子的层次：词素→词或词形→词组或句子。声音表达句子的层次：音素→音节→音词→音句。语言处理过程分为五个层次：语音分析、词法分析、句法分析、语义分析和语用分析。语用分析：研究语言所存在

4、的外界环境对语言使用产生的影响。构成单词发音的独立单元是音素。上下文不同而发音不同。语音分析就是根据音位规则，从语言流中区分出一个个独立的音素，再根据音位形态规则找出一个个音节及其对应的词素或词。10.2语言处理过程的层次81.词法分析定义：从句子中切分出单词，找出词汇的各个词素，并确定其词义。例：unchangeable：un-change-able英语词法分析特点：切分单词容易，找出词素复杂。例：importable分为import-able或im-port-able词法分析算法举例：repeatlookforwordindictionaryifnotfoundthen

5、modifythewordUntilwordisfoundornofurthermodificationpossible91.词法分析例如：对于单词catches、ladies可以做如下的分析。catchesladies,词典中查不到catcheladie修改1：去掉scatchladi修改2：去掉elady修改3：把i变成y这样，在修改2的时候，就可以找到catch，在修改3的时候就可以找到lady。例如：优秀人才学人才学1.优秀人－才学人才学2.优秀人才－学人才学汉语词法分析特点：找出词素简单，切分出词困难。ly副词后辍；ed动词过去分词101型文法:上下文有关文法2型

6、文法：上下文无关文法3型文法：正则文法左线性文法：A→Bt或A→t(A→Bt→Ct*t)右线性文法：A→tB或A→t产生式规则:x→y产生式规则:x→y例：AB→CDE√ABC→DE×XaY→XbY产生式规则：A→x0型文法：无约束短语结构文法2.句法分析:乔姆斯基的形式文法113.语义分析语义分析是将句法成分与应用领域中的目标表示相关联。简单做法：依次使用独立的句法分析程序和语义解释程序。缺点：使句法分析、语义分析分离语义文法格文法12语义文法是将文法知识和语义知识组合起来，以统一的方式定义为文法规则集。舰船信息：S→PRESENTtheATTRIBUTEOFSHIPPR

7、ESENT→Whatis

8、CanyoutellmeATTRIBUTE→length

9、classSHIP→theSHIPNAME

10、CLASSNAMESHIPNAME→HUANGHE

11、CHANGJIANGCLASSNAME→carrier

12、submarine3.语义分析13目的：为了找出动词和跟动词处在结构关系中的名词的语义关系，同时也涉及动词或动词短语与其他的各种名词短语之间的关系。特点：允许以动词为中心构造分析结果，尽管文法规则只描述句法，但分析结果产生的结构却对应于语义关系，而非严格的句法关系。例：Maryhit