资源描述:
《词法分析器实验报告》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、Java语言词法分析器班级:07111101学号:1120111822姓名:徐少杰实验目的强化对系统软件综合工程实现能力、规划能力的训练;加强对词法分析原理、方法和基本实现技术的理解。实验内容用C++作为宿主语言完成Java语言词法分析器的设计和实现。具体要求为:使用DFA实现词法分析器的设计;实现对Java源程序中注释的过滤;利用两对半缓冲区从文件中逐一读取单词;词法分析结果属性字流存放在独立文件中;统计源程序每行单词的数和整个源文件单词数;具有报告词法错误和出错位置(源程序行号和该行字符)的功能。lFA设计非零数字:{1,
2、2,3,4,5,6,7,8,9}数字:{非零数字,0}八进制数字:{0,1,2,3,4,5,6,7}十六进制数字:{数字,a,b,c,d,e,f,A,B,C,D,E,F}字母:{a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p,q,r,s,t,u,v,w,x,y,z,A,B,C,D,E,F,G,H,I,J,K,L,M,N,O,P,Q,R,S,T,U,V,W,X,Y,Z}标识符首字符:{字母,_,$}标识符字符:{标识符首字符,数字}特殊字符:{!,%,&,*,?,+,-,:,<,=,>,^,
3、,~}关键字:{ab
4、stract,boolean,break,byte,case,catch,char,class,const,continue,default,do,double,else,extends,false,final,finally,float,for,goto,if,implements,import,instanceof,int,interface,long,native,new,null,package,private,protected,public,return,short,static,super,switch,sync
5、hronized,this,throw,throws,transient,true,try,void,volatile,while}运算符:{-,--,-=,!,!=,%,%=,&,&&,&=,*,*=,/,/=,?,:,^,^=,
6、,
7、
8、,
9、=,~,+,++,+=,<,<<,<<=,<=,=,==,>,>=,>>,>>=,>>>,>>>=}l数据结构说明程序中使用int类型定义了一系列常量来表示单词的类型属性与详细属性。例如单词“+=”的类型属性为T_ASSIGN(0x110),表示赋值类运算符;详细属性为P_PLUSEQ(
10、96),表示相加赋值。二者的映射关系存储在数组ATTR_MAP中。对于运算符类单词,还定义了其6优先级属性,存储在数组PRI_MAP中。Position类用于存储扫描器扫描到的字符位置,其line与col属性分别表示字符所在行与列,Set方法用于为Position对象赋值,Reset方法将行、列置零。+Reset()+Set(inl:int,inc:int)+line:int+col:intPositionpriamp结构用于存储各类运算符及其优先级之间的映射关系。attramp结构用于存储单词及其类型属性、详细属性之间的映射
11、关系。具体关系参见附录表1。l程序说明使用本程序,只需运行可执行文件“JavaLex.exe”,依提示输入待分析的java源文件名,回车。程序随即将词法分析的属性字流写入名为“java源文件名_out.txt”的文件,错误列表写入名为“java源文件名_err.txt”的文件。辅助提示息(如单词总数)显示在控制台上。属性字流的格式如下:N:(L1,C1)-(L2,C2)(Type)(Detail)[Token]-[Priority:P]uN:本行的第N个单词;uL1、C1:单词的起始行、列;uL2、C2:单词的结束行、列;uT
12、ype:单词的类型属性代码;uDetail:单词的详细属性代码;uToken:单词;uP:运算符的优先级。程序流程由主控函数main()控制,词法分析任务由Scanner类完成。main()函数不断调用Scanner对象的NextToken()方法获得一个单词,并使用OutputToken()方法将单词的属性字流输出到记录文件。Scanner类的属性与方法如下:7-ScanChar()-ScanIdent()-ScanNumber(inradix:int)-ScanFraction()-ScanFractionAndSuffi
13、x()-ScanCommentChar()-ScanLitChar()-ScanOperator()-Digit(inbase:int):int-PutChar(inch:char)-SkipComment()-IsJavaIdentifierStart(inch:const