《编译原理》ppt课件Chapt3词法分析.ppt

《《编译原理》ppt课件Chapt3词法分析.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、复习：程序语言的语法描述几个概念:考虑一个有穷字母表∑字符集其中每一个元素称为一个字符∑上的字(也叫字符串)是指由∑中的字符所构成的一个有穷序列不包含任何字符的序列称为空字，记为ε用∑*表示∑上的所有字的全体,包含空字ε复习：程序语言的语法描述∑*的子集U和V的连接（积）定义为UV＝{

2、U&V}V自身的n次积记为Vn=VV…V规定V0={}，令V*=V0∪V1∪V2∪V3∪…称V*是V的闭包;记V＋＝VV*，称V+是V的正规闭包。复习：程序语言的语法描述上下文无关文法的定义：一个上下文无关文

3、法G是一个四元式G=(VT，VN，S，P)，其中VT：终结符集合(非空)VN：非终结符集合(非空)，且VTVN=S：文法的开始符号，SVNP：产生式集合(有限)，每个产生式形式为P，PVN，(VTVN)*开始符S至少必须在某个产生式的左部出现一次。复习：程序语言的语法描述定义：称A直接推出，即A仅当A是一个产生式，且，(VTVN)*。如果12n，则我们称这个序列是从1到n的一个推导。若存在一个从1到n的推导，则称1可以推导出n。

4、通常，用表示：从1出发，经过一步或若干步，可以推出n。用表示：从1出发，经过0步或若干步，可以推出n。所以：即或定义：假定G是一个文法，S是它的开始符号。如果，则称是一个句型。仅含终结符号的句型是一个句子。文法G所产生的句子的全体是一个语言，将它记为L(G)。复习：程序语言的语法描述最左推导：任何一步都是对中的最左非终结符进行替换。最右推导：任何一步都是对中的最右非终结符进行替换。复习：程序语言的语法描述用一张图表示一个句型的推导,称为语法树。E(E)(E+E)(E*E+E

5、)(i*E+E)(i*i+E)(i*i+i)E(E)(E+E)(E+i)(E*E+i)(E*i+i)(i*i+i)复习：程序语言的语法描述定义：如果一个文法存在某个句子对应两颗不同的语法树，则说这个文法是二义的。语言的二义性：一个语言是二义性的，如果对它不存在无二义性的文法。复习：程序语言的语法描述形式语言鸟瞰0型(短语文法，图灵机)：产生式形如：其中：(VTVN)*且至少含有一个非终结符；(VTVN)*1型(上下文有关文法，线性界限自动机)：产生式形如：其中：

6、

7、

8、

9、

10、，仅S例外。复习：程序语言的语法描述形式语言鸟瞰2型(上下文无关文法，非确定下推自动机)：产生式形如：A其中：AVN；(VTVN)*。3型(正规文法，有限自动机)：产生式形如：AB或A其中：VT*；A，BVN产生式形如：AB或A其中：VT*；A，BVN第三章词法分析词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。词法分析器(LexicalAnalyzer)又称扫描器(Scanner)：执行词法分析的程序3.1对于词法分析器的要

11、求一、词法分析器的功能和输出形式功能:输入源程序、输出单词符号单词符号的种类：基本字：如begin，repeat，标识符——表示各种名字：如变量名、数组名和过程名常数：各种类型的常数运算符：+，-，*，/，界符：逗号、分号、括号和空白输出的单词符号的表示形式:(单词种别，单词自身的值)单词种别通常用整数编码表示。若一个种别只有一个单词符号，则种别编码就代表该单词符号。假定基本字、运算符和界符都是一符一种。若一个种别有多个单词符号，则对于每个单词符号，给出种别编码和自身的值。标识符单列一种；标识符自身的

12、值表示成按机器字节划分的内部码。常数按类型分种；常数的值则表示成标准的二进制形式。例C程序while(i>=j)i--;输出单词符号：<(,-><>=,-><),-><--,-><;,->例FORTRAN程序IF(5.EQ.M)GOTO100输出单词符号：逻辑IF(34，-)左括号(2，-)整常数(20，‘5’的二进制)等号(6，-)标识符(26，‘M’)右括号(16，-)GOTO(30，-)

13、标号(19，‘100’的二进制)二、词法分析器作为一个独立子程序词法分析是作为一个独立的阶段，是否应当将其处理为一遍呢？作为独立阶段的优点：结构简洁、清晰和条理化，有利于集中考虑词法分析一些枝节问题。不作为一遍：将其处理为一个子程序。词法分析器词法分析器语法分析器符号表源程序单词符号取下一单词...词法分析器的结构预处理子程序扫描器输入缓冲区扫描缓冲区单词符号输入列表3.2词法分析器的设计输入串放在输入缓冲区中。预处理子程序：