基于句子相似度的文档复制检测算法研究

《基于句子相似度的文档复制检测算法研究》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、《现代图书情报技术》２００７年第１１期知识组织与知识管理总第１５７期基于句子相似度的文档复制检测算法研究秦新国（南京审计学院教务处南京２１００２９）【摘要】提出一种基于句子相似度的文档复制检测技术，在抓住文档的全局特征的同时又兼顾文档的结构信息，克服以往检测算法两者不可兼顾的缺陷，提高检测精度。最后，给出该算法与其他算法检测结果的比较情况。实验证明，该算法是可行的。【关键词】文档复制检测句子相似度指纹【分类号】ＴＰ３９１ＲｅｓｅａｒｃｈｏｎｔｈｅＣｏ

2、ｐｙＤｅｔｅｃｔｉｏｎＢａｓｅｄｏｎｔｈｅＳｉｍｉｌａｒｉｔｙｏｆＳｅｎｔｅｎｃｅｓＱｉｎＸｉｎｇｕｏ（Ｄｅａｎ’ｓＯｆｆｉｃｅｏｆＮａｎｊｉｎｇＡｕｄｉｔＣｏｌｌｅｇｅ，Ｎａｎｊｉｎｇ２１００２９，Ｃｈｉｎａ）【Ａｂｓｔｒａｃｔ】Ｉｎｔｈｅｐａｐｅｒ，ａｎｅｗｄｏｃｕｍｅｎｔｃｏｐｙｄｅｔｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｔｈｅｓｉｍｉｌａｒｉｔｙｏｆｔｈｅｓｅｎｔｅｎｃｅｓｉｓｐｒｏｐｏｓｅｄ．Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｄｅｔｅｃｔｉｏｎａｃｃｕｒａｃｙ，ｔｈｅａｕｔｈｏｒｓｎｏｔｏｎｌｙｅｍｐｈａｓｉｚｅｏｎｔｈｅｗ

3、ｈｏｌｅｄｏｃｕｍｅｎｔ，ｂｕｔａｌｓｏｏｎｔｈｅｓｔｒｕｃｔｕｒｅｏｆｔｈｅｄｏｃｕｍｅｎｔ．Ｉｎｔｈｅｅｎｄ，ｅｘｐｅｒｉｍｅｎｔｓａｎｄｃｏｍｐａｒｉｓｏｎａｒｅｔａｋｅｎｂｅｔｗｅｅｎｔｈｅｎｅｗａｌｇｏｒｉｔｈｍａｎｄｏｔｈｅｒｔｙｐｉｃａｌａｌｇｏｒｉｔｈｍｓ，ｔｈｅｒｅｓｕｌｔｓｈｏｗｓｔｈａｔｉｔｉｓｆｅａｓｉｂｌｅ．【Ｋｅｙｗｏｒｄｓ】ＤｏｃｕｍｅｎｔｃｏｐｙｄｅｔｅｃｔｉｏｎＳｅｎｔｅｎｃｅｓｉｍｉｌａｒｉｔｙＦｉｎｇｅｒｐｒｉｎｔｓ１引言２基于句子相似度的检测算法文档复制又称文档剽窃，对它的研究从２０世纪９０１９９５年美国

4、斯坦福大学数字实验室发明了用于文档年代开始兴起，很多相关产品相继问世。像ＣＯＰＳ、复制检测的ＣＯＰＳ原型系统。ＣＯＰＳ以标点符号（如“。”、ＳＣＡＭ、ＣＨＥＣＫ、ＳＳＫ、ＭＤＲ等。至今可用于文档复制检测“；”、“？”等）为界，将文档分解成句子序列，然后，统计两的方法大致分为两种：基于词频统计的方法和基于字符篇文档中相同句子的数量，并将它与两篇文档中共有的［１］串比较的方法。基于词频统计的方法虽然较好地抓住句子数量的比值作为衡量两篇文档之间相似程度的依了文本的全局信息，对文本的内容进行粗粒度重排，不会据。文档相似度计算公式如下所示：影响检测的结果

5、，但是它忽略了文档的语义和结构信息，｜Ｓ（Ａ）∩Ｓ（Ｂ）｜Ｓｉｍ（Ａ，Ｂ）＝（１）｜Ｓ（Ａ）∪Ｓ（Ｂ）｜从而导致检测准确率下降；采用基于字符串比较的方法其中，Ａ，Ｂ分别代表待测文档和候选文档，Ｓ（Ａ）和Ｓ（Ｂ）分别表虽然较好地抓住了文本的局部信息，考虑了文档的语义［２］示文档Ａ，Ｂ的指纹集合。和结构信息，但是在文档的特征提取上没有比较好的解ＣＯＰＳ系统的对于大规模的文档复制的检测比较有决方案。且对文本块的局部修改比较敏感，容易造成漏效，计算速度也比较快，但是它不能发现句子局部重叠的［１］判。现象。为此，笔者对ＣＯＰＳ算法进行了改进，提出了基于本

6、文将论述一种基于句子相似度的文档复制检测算句子相似度的文档复制检测算法，克服了ＣＯＰＳ对于局部法，它以句子为基本单元对文档进行指纹提取，在统计句修改过于敏感的缺点，提高了检测精度。算法的核心思子相等的基础上，加入了句子相似性计算，结合了基于词想是：以句子为单位，对文档进行指纹提取，在文档相似频统计的方法和基于字符串比较的方法的优点，提高了度计算的过程中，不再仅仅关注文档中精确相等的句子，检测的准确率。还包括那些大部分内容重叠的句子。对内容相似的句子进行加权，如果两个句子完全重叠，那么它们的权值就设收稿日期：２００７－０９－１８为１，如果两个句子

7、有９０％相互重叠，那么它们的权值就收修改稿日期：２００７－０９－２９设为０．９，以此类推，相似度越高，权值越大，相似度越低，·６３·《现代图书情报技术》２００７年第１１期知识组织与知识管理总第１５７期权值越低。同时，设定句子相似度阈值，过滤那些相似度算法可以保证为句子生成唯一的签名，相同的句子在不较低的句子。最后，统计相似句子的数量，并把它与两篇同的时刻产生的签名也是一致的，既保证了指纹的可再文档共有的句子数量的比值作为文档的相似度。现性，又保证了指

8、纹的高分布性。２．１文本块的选择２．３相似性度量ＮａｍＯｈＫａｎｇ等对文本块的选择做了详细分析，认为（１）句子相似度的计算句子是组成文档和段落的基本单