欢迎来到天天文库
浏览记录
ID:51495001
大小:1.44 MB
页数:52页
时间:2020-03-24
《编译原理-西安交通大学(冯博琴)2 词法分析 30.ppt》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、第二章词法分析词法分析的任务:从左至右逐个字符地扫描源程序,产生一个个的单词符号,把作为字符串的源程序改造成为单词符号串的中间程序。词法分析器/扫描器:执行词法分析的程序。源程序扫描器scanner1、关键字词法分析器的功能如下图所示:2、标识符5、界符4、运算符3、常数由程序语言定义的具有固定意义的标识符。也可称为保留字或基本字。例如:Pascal中的begin,end,if等。界符:如逗号、分号、括号、/*,*/等。它是确定的。运算符:如+、-、*、/等。它是确定的。常数的类型一般有整型、实型、布尔型、文字型等。它
2、是不限的。用来表示各种名字,如变量名、数组名、过程名等。它是不限的。2.1对词法分析器的要求2.1.1词法分析器的功能和输出形式词法分析器的功能:输入源程序,输出单词符号。单词符号:一个程序语言的基本语法符号。分为以下5种。1、关键字:由程序语言定义的具有固定意义的标识符。也可称为保留字或基本字。例如:Pascal中的begin,end,if等。它是确定的。2、标识符:用来表示各种名字,如变量名、数组名、过程名等。它是不限的。3、常数:常数的类型一般有整型、实型、布尔型、文字型等。它是不限的。4、运算符:如+、-、*、
3、/等。它是确定的。5、界符:如逗号、分号、括号、/*,*/等。它是确定的。确定不限单词符号的表示形式:词法分析器所输出的单词符号常常表示成二元式(单词种别,单词自身的值)。单词种别可以用以下形式表示:1、一类单词统一用一个整数值代表其属性。例如:1代表关键字,2代表标识符等。2、每一个单词一个类别。例如:1代表BEGIN,2代表END等。单词自身的值可以表示成:常量的二进制表示;常量、变量等在符号表种的地址码,等等。注意:一个语言的单词符号如何分种,分几种,怎样编码,是一个技术问题。标识符一般同归为一种。常数则宜按类型
4、(整、实、布尔)分。关键字可以将其全体视为一种,也可一字一种。运算符可采用一符一种,但也可把具有一定共性的视为一种。界符则一般采用一符一种。如何进行分种主要取决于处理上的方便。若是一符一种分种,单词自身值就不需要了。否则,要查符号表。例2-1:151-FORTRAN编译程序的词法分析器在扫描输入串IF(5·EQ·M)GOTO100后,它输出的单词符号串是:逻辑IF(34,_)左括号(2,_)整常数(20,‘5’的二进制表示)等号(6,_)标识符(26,‘M’)右括号(16,_)GOTO(30,_)标号(19,‘100’
5、的二进制表示)IF为关键字,种别编码34,采用一符一种的编码方式。常数类型,种别编码20,单词自身的值为‘5’的二进制表示。‘(’为界符,种别编码2,采用一符一种的编码方式。等号为运算符,种别编码6,采用一符一种的编码方式。M为标识符,种别编码26,单词自身值为‘M’。‘)’为界符,种别编码16,采用一符一种的编码方式。GOTO为关键字,种别编码30,采用一符一种的编码方式。100为标号,种别编码19,单词内部的值用100的二进制表示。例2-2:下述C++代码段:while(i>=j)i--;经词法分析器处理以后,它将
6、被转换为如下的单词符号串(while,_)((,_)(id,指向i的符号表指针)(>=,_)(id,指向j的符号表指针)(),_)(id,指向i的符号表指针)(--,_)(;,_)2.1.2词法分析与语法分析的关系1、把词法分析从语法分析中脱离出来的优点:使编译程序的结构更加简洁、清晰和条理化。词法分析和语法分析方法不同,词法分析可以使用正则文法自动构造scanner简单。有利于提高语法分析的效率。可以改善词法分析的细节,甚至于一个语法分析配几个scanner,把不同的输入变成一种内部表示。2、把词法分析作为独立的一遍
7、scanner当作一遍。把scanner当作子程序。外存scanner语法分析源程序单词符号scanner作为一遍语法分析scanner源程序scanner作为子程序2.2词法分析器的设计设计前提:把scanner作为一个独立的子程序;词法分析器的任务为输出单词符号。2.2.1预处理必要性:编辑性字符如空白符、回车符等,除了出现在文字和常数中以外,在别处出现都没有意义。功能:剔除无用字符。实现:预处理子程序。输入列表预处理子程序扫描器扫描缓冲区输入缓冲区单词符号图2.1词法分析器语法分析器预处理部分扫描器若识别输入语句
8、IF(5.EQ.M)GOTO100,若缓冲区情况如下所示:IF(5.EQ.M)GO起点指示器搜索指示器输入缓冲区TO100IF(5.EQ.M)GO起点指示器搜索指示器输入缓冲区TO100IF(5.EQ.M)GO起点指示器搜索指示器两个互补输入缓冲区120个字符扫描缓冲区的结构:缓冲区大小:120个字符。采用两个指示器:起点指示器、
此文档下载收益归作者所有