词法分析器编译原理

《词法分析器编译原理》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《编译原理》——词法分析器学院：专业：姓名：学号：一、序言编译，简单的说，就是把源程序转换为可执行程序。编译程序的工作，从输入源程序开始到输出目标程序为止的整个过程，是非常复杂的。而此法分析是编译程序工作过程的第一环节。这篇报告主要讲了词法分析器的原理，最后会给出一个词法分析器的简单实现。二、实验目的设计一个词法分析程序，理解词法分析器实现的原理，掌握程序设计语言中的各类单词的词法分析方法，加深对词法分析原理的理解。三、词法分析原理3.1词法分析的任务是：输入源程序，对构成源程序的字符串进行扫描和分解，识别出一个个的单词（亦称为单词符号或简称符号），如基本字（begin、end、for

2、、if、while等），标识符、常数、算符、和界符（标点符号、左右括号等等）。例如，对于pascal的循环语句ForI:=1to100do词法分析的结果是识别出如下的单词符号：基本字for标识符I赋值号:=整常数1基本字to整常数100基本字do3.2输出：词法分析器所输出单词符号常常表示成如下的二元式：(单词种别，单词符号的属性值)单词种别通常用整数编码。标识符一般统归为一种。常数则宜按类型（整、实、布尔等）分种。关键字可将其全体视为一种。运算符可采用一符一种的方法。界符一般用一符一种的方法。对于每个单词符号，除了给出了种别编码之外，还应给出有关单词符号的属性信息。单词符号的属性是指

3、单词符号的特性或特征。例子：C++代码段：while(i>=j)i--经词法分析器处理后，它将被转为如下的单词符号序列：<(,_><>=,_><),_><--,_><;,_>3.3词法分析分析器作为一个独立子程序词法分析是编译过程中的一个阶段，在语法分析前进行。词法分析作为一遍，可以简化设计，改进编译效率，增加编译系统的可移植性。也可以和语法分析结合在一起作为一遍，由语法分析程序调用词法分析程序来获得当前单词供语法分析使用。一、实验说明(1)关键字："begin","end

4、","if","then","else","while","write","read","do","call","const","char","until","procedure","repeat"(2)运算符："+","-","*","/","="(3)界符："{","}","[","]",";",",",".","(",")",":"(4)其他标记如字符串，表示以字母开头的标识符(5)空格、回车、换行符跳过(6)运行结果在屏幕上以如下格式显示：1$无符号整数begin$关键字if$关键字+$运算符；$界符a$普通标识符//“$“为美元符号，不是大写字母S二、词法分析器的设计5.1输

5、入、预处理词法分析器工作的第一步是输入源程序文本。把输入串预处理一下，对单词符号的识别工作将是比较方便的。预处理可以剔掉空白符、跳格符、回车符和换行符等编辑性字符。5.2单词符号的识别：超前搜索单词符号识别的一个简单方法——超前搜索。在FORtRAN语言中，关键字不加特殊保护，可用作普通标识符。为确定词性，需超前搜索若干个字符。在FORTRAN中1DO99K=1,102IF(5.EQ.M)I=103DO99K=1.104IF(5)=55这四个语句都是正确的语句。语句1和2分别是DO和IF语句，语句3和4是赋值语句。为了正确区别1和3，2和4语句，需超前扫描若干个字符。1DO99K=1,

6、102IF(5.EQ.M)I=103DO99K=1.104IF(5)=55语句1和3的区别在于符号之后的第一个界符：一个为逗号，另一个为句末符。语句2和4的主要区别在于右括号后的第一个字符：一个为字母，另一个为等号。为了识别1、2中的关键字，必须超前扫描多个字符。超前到能够肯定词性的地方为止。为了区别1和3，必须超前扫描到等号后的第一个界符处。对于语句2、4来说，必须超前扫描到与IF后的左括号相对应的那个右括号之后的第一个字符为止。5.3状态转换图词法分析器使用状态转换图来识别单词符号。状态转换图是一张有限方向图。在状态转换图中，有一个初态，至少一个终态。其中0为初态，2为终态。这个转

7、换图识别（接受）标识符的过程是：从初态0开始，若在状态0之下输入字符是一个字母，则读进它，并转入状态1。在状态1之下，若下一个输入字符为字母或数字，则读进它，并重新进入状态1。一直重复这个过程直到状态1发现输入字符不再是字母或数字时（这个字符也已被读进）就进入状态2。状态2是终态，它意味着到此已识别出一个标识符，识别过程宣告终止。终态结上打个星号意味着多读进了一个不属于标识符部分的字符，应把它退还给输入口中。如果在状态0时输入字符不为“字母”，