4、体差异如下图所示:1中文分词算法之基于词典的逆向最大匹配算法杨尚川-下面看看正向和逆向的分词效果,使用如下代码:publicstaticvoidmain(String[]args){Listsentences=newArrayList<>();2中文分词算法之基于词典的逆向最大匹配算法杨尚川sentences.add("杨尚川是APDPlat应用级产品开发平台的作者");sentences.add("研究生命的起源");sentences.add("长春市长春节致辞");sentences.ad
5、d("他从马上下来");sentences.add("乒乓球拍卖完了");sentences.add("咬死猎人的狗");sentences.add("大学生活象白纸");sentences.add("他有各种才能");sentences.add("有意见分歧");for(Stringsentence:sentences){System.out.println("正向最大匹配:"+seg(sentence));System.out.println("逆向最大匹配:"+segReverse(sentence));
6、}}运行结果如下:开始初始化词典完成初始化词典,词数目:427452最大分词长度:16正向最大匹配:[杨尚川,是,APDPlat,应用,级,产品开发,平台,的,作者]逆向最大匹配:[杨尚川,是,APDPlat,应用,级,产品开发,平台,的,作者]正向最大匹配:[研究生,命,的,起源]逆向最大匹配:[研究,生命,的,起源]正向最大匹配:[长春市,长春,节,致辞]逆向最大匹配:[长春,市长,春节,致辞]正向最大匹配:[他,从,马上,下来]逆向最大匹配:[他,从,马上,下来]正向最大匹配:[乒乓球拍,卖完,了]逆向最
7、大匹配:[乒乓球拍,卖完,了]正向最大匹配:[咬,死,猎人,的,狗]逆向最大匹配:[咬,死,猎人,的,狗]正向最大匹配:[大学生,活象,白纸]逆向最大匹配:[大学生,活象,白纸]正向最大匹配:[他,有,各种,才能]逆向最大匹配:[他,有,各种,才能]正向最大匹配:[有意,见,分歧]逆向最大匹配:[有,意见分歧]3中文分词算法之基于词典的逆向最大匹配算法杨尚川下面看看实际的分词性能如何,对输入文件进行分词,然后将分词结果保存到输出文件,输入文本文件从这里下载,解压后大小为69M,词典文件从这里下载,解压后大小为4
8、.5M,项目源代码托管在GITHUB:/***将一个文件分词后保存到另一个文件*@author杨尚川*/publicclassSegFile{publicstaticvoidmain(String[]args)throwsException{Stringinput="input.txt";Stringoutput="output.txt";if(args.length==2){inpu