中科院分词系统古诗自动生成程序报告.docx

《中科院分词系统古诗自动生成程序报告.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1.先利用中科院计算所的ICTCLAS汉语词法分析系统对给定的诗句进行分词。对“铜雀春深锁二乔”分词为“铜雀/春/深/锁/二乔”.2.用全唐诗作为语料语料库。3.对步骤1分好的词进行训练：在全唐诗语料库中找出出现词（如“寒水”）的对句。然后再对句中找出该词（如“愁”）对句对应位置的词（称之为“候选词”，如“梦”），并统计出现了多少次；选出频率最高的10个（数量可以换）候选词。4.将步骤1中分好的所有的词，通过步骤3找出的候选词，进行频率统计。及“酒”对应“诗”的概率为250/(250+166+…+56).将所有的候选词及其频率存入HashMap中。5.为了提高效率需要缩小训练语

2、料库：再次遍历全唐诗，将含有HashMap中的候选词的并且候选词出现的位置和给定诗句出现的位置相同的诗句写入文件“首次选择结果.txt”中。1.因为“首次选择结果.txt”中的每句诗都在测试诗句对应位置含有高频候选词，理论上每一句都是有可能，下面的工作就是找到对应最大概率的诗句。2.遍历“首次选择结果.txt”所有的诗句，对每一句同样用中科院分词系统进行分词。定义sum变量存储当前诗句被选中概率，将分词每一个词中取HashMap中查找，若不在sum什么也不做，相当加零，若在高频词汇中，怎sum加上该词的概率。最后选出概率最大的诗句作为最优诗句，也就是选中的诗句。如“烟霞交隐映”

3、的概率最大对应诗句为“日月不想待”。3.将选中的诗句，作为给定诗句，重复步骤1-7直到集句达到要求为止。4.但是如果只是不加限制的按概率最大来求解，也不好。因为如“雨”对应候选词“风”的频率远大于其他。“人”甚至只要重复出现，不管本身多么糟糕，概率都很大而被选中。所以，需要加以限定：看给定的诗句中，重复出现的词有多少，要是候选诗句重复词和给定的诗句不一致，那么就舍弃。1.因为集诗系统要求集多句，而一手诗歌中一般是不会出现重复的词语的，所以我给将给定的诗句和选定的诗句用中科院分词系统分好词之后加入set集合中，以后继续进行选概率最大的诗句的时候，只要诗句中含有set集合中的词语，

4、就不考虑。不加set限定的运行结果：加上set限定之后1.候选词也不行越多越好，同样给定“枫叶芦花并客舟”，将候选词设置为10,运行结果：对比上面效果其实要差很多。所以本程序需要手工修改候选码参数来调节集诗效果。2.运行：在Test.java中运行即可。要修改参数也直接在Test.java中的mian函数中简单修改便可。生成结果可以在工程目录文件“集诗系统文件”中查看。候选词数目：10；集句长度：3候选词数目：10；集句长度：3候选词数目：3；集句长度：81.环境：jdk:1.70版本EclipseSDK版本2.“GuShiSystem.RAR”是完整的工程，执行的可以在ecl

5、ipse中直接导入工程，但是要注意的是需要修改包ICTCLAS.AC下面的ICTCLAS.java文件的path(改成工程路径)。如：我的在path="F:\WorkSpace\JAVA\GuShiSystem"；