编译原理-西安交通大学(冯博琴)2 词法分析 30.ppt

《编译原理-西安交通大学(冯博琴)2 词法分析 30.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第二章词法分析词法分析的任务：从左至右逐个字符地扫描源程序，产生一个个的单词符号，把作为字符串的源程序改造成为单词符号串的中间程序。词法分析器/扫描器：执行词法分析的程序。源程序扫描器scanner1、关键字词法分析器的功能如下图所示：2、标识符5、界符4、运算符3、常数由程序语言定义的具有固定意义的标识符。也可称为保留字或基本字。例如：Pascal中的begin，end，if等。界符：如逗号、分号、括号、/*，*/等。它是确定的。运算符：如+、-、*、/等。它是确定的。常数的类型一般有整型、实型、布尔型、文字型等。它

2、是不限的。用来表示各种名字，如变量名、数组名、过程名等。它是不限的。2.1对词法分析器的要求2.1.1词法分析器的功能和输出形式词法分析器的功能：输入源程序，输出单词符号。单词符号：一个程序语言的基本语法符号。分为以下5种。1、关键字：由程序语言定义的具有固定意义的标识符。也可称为保留字或基本字。例如：Pascal中的begin，end，if等。它是确定的。2、标识符：用来表示各种名字，如变量名、数组名、过程名等。它是不限的。3、常数：常数的类型一般有整型、实型、布尔型、文字型等。它是不限的。4、运算符：如+、-、*、

3、/等。它是确定的。5、界符：如逗号、分号、括号、/*，*/等。它是确定的。确定不限单词符号的表示形式：词法分析器所输出的单词符号常常表示成二元式（单词种别，单词自身的值）。单词种别可以用以下形式表示：1、一类单词统一用一个整数值代表其属性。例如：1代表关键字，2代表标识符等。2、每一个单词一个类别。例如：1代表BEGIN，2代表END等。单词自身的值可以表示成：常量的二进制表示；常量、变量等在符号表种的地址码，等等。注意：一个语言的单词符号如何分种，分几种，怎样编码，是一个技术问题。标识符一般同归为一种。常数则宜按类型

4、（整、实、布尔）分。关键字可以将其全体视为一种，也可一字一种。运算符可采用一符一种，但也可把具有一定共性的视为一种。界符则一般采用一符一种。如何进行分种主要取决于处理上的方便。若是一符一种分种，单词自身值就不需要了。否则，要查符号表。例2-1：151－FORTRAN编译程序的词法分析器在扫描输入串IF(5·EQ·M)GOTO100后，它输出的单词符号串是：逻辑IF（34，_）左括号（2，_）整常数（20，‘5’的二进制表示）等号（6，_）标识符（26，‘M’）右括号（16，_）GOTO（30，_）标号（19，‘100’

5、的二进制表示）IF为关键字，种别编码34，采用一符一种的编码方式。常数类型，种别编码20，单词自身的值为‘5’的二进制表示。‘(’为界符，种别编码2，采用一符一种的编码方式。等号为运算符，种别编码6，采用一符一种的编码方式。M为标识符，种别编码26，单词自身值为‘M’。‘)’为界符，种别编码16，采用一符一种的编码方式。GOTO为关键字，种别编码30，采用一符一种的编码方式。100为标号，种别编码19，单词内部的值用100的二进制表示。例2-2：下述C++代码段：while(i>=j)i--；经词法分析器处理以后，它将

6、被转换为如下的单词符号串(while，_)((，_)(id，指向i的符号表指针)(>=，_)(id，指向j的符号表指针)()，_)(id，指向i的符号表指针)(--，_)(；，_)2.1.2词法分析与语法分析的关系1、把词法分析从语法分析中脱离出来的优点：使编译程序的结构更加简洁、清晰和条理化。词法分析和语法分析方法不同，词法分析可以使用正则文法自动构造scanner简单。有利于提高语法分析的效率。可以改善词法分析的细节，甚至于一个语法分析配几个scanner，把不同的输入变成一种内部表示。2、把词法分析作为独立的一遍

7、scanner当作一遍。把scanner当作子程序。外存scanner语法分析源程序单词符号scanner作为一遍语法分析scanner源程序scanner作为子程序2.2词法分析器的设计设计前提：把scanner作为一个独立的子程序；词法分析器的任务为输出单词符号。2.2.1预处理必要性：编辑性字符如空白符、回车符等，除了出现在文字和常数中以外，在别处出现都没有意义。功能：剔除无用字符。实现：预处理子程序。输入列表预处理子程序扫描器扫描缓冲区输入缓冲区单词符号图2.1词法分析器语法分析器预处理部分扫描器若识别输入语句

8、IF(5.EQ.M)GOTO100，若缓冲区情况如下所示：IF(5.EQ.M)GO起点指示器搜索指示器输入缓冲区TO100IF(5.EQ.M)GO起点指示器搜索指示器输入缓冲区TO100IF(5.EQ.M)GO起点指示器搜索指示器两个互补输入缓冲区120个字符扫描缓冲区的结构：缓冲区大小：120个字符。采用两个指示器：起点指示器、