词法分析器实验报告

《词法分析器实验报告》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Java语言词法分析器班级：07111101学号：1120111822姓名：徐少杰实验目的强化对系统软件综合工程实现能力、规划能力的训练；加强对词法分析原理、方法和基本实现技术的理解。实验内容用C++作为宿主语言完成Java语言词法分析器的设计和实现。具体要求为：使用DFA实现词法分析器的设计；实现对Java源程序中注释的过滤；利用两对半缓冲区从文件中逐一读取单词；词法分析结果属性字流存放在独立文件中；统计源程序每行单词的数和整个源文件单词数；具有报告词法错误和出错位置（源程序行号和该行字符）的功能

2、。lFA设计非零数字：{1,2,3,4,5,6,7,8,9}数字：{非零数字,0}八进制数字：{0,1,2,3,4,5,6,7}十六进制数字：{数字,a,b,c,d,e,f,A,B,C,D,E,F}字母：{a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p,q,r,s,t,u,v,w,x,y,z,A,B,C,D,E,F,G,H,I,J,K,L,M,N,O,P,Q,R,S,T,U,V,W,X,Y,Z}标识符首字符：{字母,_,$}标识符字符：{标识符首字符,数字}特殊字符：{!,%,&,*

3、,?,+,-,:,<,=,>,^,

4、,~}关键字：{abstract,boolean,break,byte,case,catch,char,class,const,continue,default,do,double,else,extends,false,final,finally,float,for,goto,if,implements,import,instanceof,int,interface,long,native,new,null,package,private,protected,pu

5、blic,return,short,static,super,switch,synchronized,this,throw,throws,transient,true,try,void,volatile,while}运算符：{-,--,-=,!,!=,%,%=,&,&&,&=,*,*=,/,/=,?,:,^,^=,

6、,

7、

8、,

9、=,~,+,++,+=,<,<<,<<=,<=,=,==,>,>=,>>,>>=,>>>,>>>=}l数据结构说明程序中使用int类型定义了一系列常量来表示单词的类型属性与详细

10、属性。例如单词“+=”的类型属性为T_ASSIGN（0x110），表示赋值类运算符；详细属性为P_PLUSEQ（96），表示相加赋值。二者的映射关系存储在数组ATTR_MAP中。对于运算符类单词，还定义了其6优先级属性，存储在数组PRI_MAP中。Position类用于存储扫描器扫描到的字符位置，其line与col属性分别表示字符所在行与列，Set方法用于为Position对象赋值，Reset方法将行、列置零。+Reset()+Set(inl:int,inc:int)+line:int+col:in

11、tPositionpriamp结构用于存储各类运算符及其优先级之间的映射关系。attramp结构用于存储单词及其类型属性、详细属性之间的映射关系。具体关系参见附录表1。l程序说明使用本程序，只需运行可执行文件“JavaLex.exe”，依提示输入待分析的java源文件名，回车。程序随即将词法分析的属性字流写入名为“java源文件名_out.txt”的文件，错误列表写入名为“java源文件名_err.txt”的文件。辅助提示息（如单词总数）显示在控制台上。属性字流的格式如下：N:(L1,C1)-(L2

12、,C2)(Type)(Detail)[Token]-[Priority:P]uN：本行的第N个单词；uL1、C1：单词的起始行、列；uL2、C2：单词的结束行、列；uType：单词的类型属性代码；uDetail：单词的详细属性代码；uToken：单词；uP：运算符的优先级。程序流程由主控函数main()控制，词法分析任务由Scanner类完成。main()函数不断调用Scanner对象的NextToken()方法获得一个单词，并使用OutputToken()方法将单词的属性字流输出到记录文件。Sca

13、nner类的属性与方法如下：7-ScanChar()-ScanIdent()-ScanNumber(inradix:int)-ScanFraction()-ScanFractionAndSuffix()-ScanCommentChar()-ScanLitChar()-ScanOperator()-Digit(inbase:int):int-PutChar(inch:char)-SkipComment()-IsJavaIdentifierStart(inch:const