04-词法分析-备课

《04-词法分析-备课》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、编译原理第四章词法分析主要内容本章学习目标4.1词法分析程序的设计4.2单词的描述工具4.3有穷自动机4.4正规式和有穷自动机的等价性4.5正规文法和有穷自动机的等价性4.6词法分析程序的自动生成器—LEX小结本章重点习题解析作业相关术语的回顾（英文版）2一起交流共同进步本章学习目标一．学习目标理解词法分析程序的功能和有限自动机及其化简方法；掌握正规表达式与正规文法和理解状态转换图的实现；了解词法分析器的自动产生。二．课程安排6学时3一起交流共同进步本章重点有穷自动机是构造词法分析程序的理论基础。本章主要介绍词法分析程序的设计原理和构造方法，重点介绍有穷自动机的基本

2、概念以及正规文法、正规表达式与有穷自动机之间的相互关系。4一起交流共同进步4.1词法分析程序的设计实现词法分析（lexicalanalysis）的程序逐个读入源程序字符并按照构词规则切分成一系列单词。单词是语言中具有独立意义的最小单位，包括保留字、标识符、运算符、标点符号和常量等。词法分析是编译过程中的一个阶段，在语法分析前进行。也可以和语法分析结合在一起作为一遍，由语法分析程序调用词法分析程序来获得当前单词供语法分析使用。5一起交流共同进步词法分析程序和语法分析程序的关系源程序词法分析程序语法分析程序Tokengettoken….6一起交流共同进步词法分析程序的任

3、务主要任务：读源程序，产生单词符号其他任务：滤掉空格，跳过注释、换行符追踪换行标志，复制出错源程序，宏展开，……7一起交流共同进步词法分析分离的考虑词法分析从语法分析独立出来的原因：简化设计改进编译效率增加编译系统的可移植性8一起交流共同进步常常遇到的术语Token单词,词标，符号lexeme词素，词位pattern模式，式样9一起交流共同进步帮助理解术语Ingeneral，thereisasetofstringsintheinputforwhichthesametokenisproducedasoutput.Thissetofstringsisdescribedb

4、yarulecalledapatternassociatedwiththetoken.Thepatternissaidtomatcheachstringintheset.Alexemeisasequenceofcharactersinthesourceprogramthatismatchedbythepatternforatoken.e.g.Constpi=3.14159；中的pi是token“identifier”的lexeme，其pattern为letterfollowedbylettersand/ordigit.10一起交流共同进步单词符号及输出单词的形式关键

5、字例如，C语言中的if，else，while,do等,这些字在语言中有固定的意义，一般不作为标识符使用。标识符表示各种名字，如变量名、常量名、数组名和函数名等。语言的单词符号是指语言中具有独立意义的最小语法单位。单词符号及输出单词的形式常数各种类型的常数，如整型常数125、实型常数0.718、布尔型常数TRUE等。运算符如＋、－、*、/、＜等。分界符如，、；、（、）等。单词符号及输出单词的形式词法分析程序所输出的单词符号通常表示成如下的二元式：（单词种别，单词自身的值）单词符号及输出单词的形式单词种别单词种别表示单词的种类，它是语法分析需要的信息。为处理方便通常让每

6、种单词对应一个整数码。单词符号及输出单词的形式常数:可统归为一种，也可按类型（整型、实型、布尔型等）分种。基本字:可将其全体视为一种，也可以一字一种。标识符:一般统归为一种。运算符和界符:可采用一符一种的分法，也可以统归为一种。单词符号及输出单词的形式单词自身的值一个种别只含一个单词符号一个种别含有多个单词符号(1)对于标识符其自身值是标识符自身的字符串；(2)常数自身值是常数本身的二进制数值。单词符号及输出单词的形式(3)用指向某类表格一个特定项目指针值来区分同类中不同的单词。例如,对于标识符用它在符号表的入口指针作为它自身值;常数用它在常数表的入口指针作为它自身

7、的值。单词符号及输出单词的形式常数自身的值用常数本身的值(转变成标准二进制形式)表示；例子:if(a＞1)b=100；假定:基本字、运算符和界符都是一符一种；标识符自身的值用自身的字符串表示；18一起交流共同进步单词符号及输出单词的形式假设:关键字if种别编码为1；标识符的种别编码为整数10；常数的种别编码为整数11；赋值号的种别编码为4；大于号的种别编码为23；分号的种别编码为26；左括号的种别编码为29；右括号的种别编码为30；则程序段：19一起交流共同进步单词符号及输出单词的形式if(a＞1)b=100；在经词法分析程序扫描后，它所输出的单词符号串是：（1