基于termid序列排序的标识符重分配的倒排索引压缩研究

《基于termid序列排序的标识符重分配的倒排索引压缩研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代風１０００４密级：公开如交分＃＾ＢＥＩＪＩＮＧＪＩＡＯＴＯＮＧＵＮＩＶＥＲＳＩＴＹ硕±学位论文３攝Ｍ基于ＴｅｒｍＩＤ序列排序的标识符重分配自倒排索引麵硏究：心＇，作者姓名郭争文？学科专业计算机科学与技术指导教师霍有利副教授１；培养院系计算机与信息技术学院議＾’＊而可巧麵；乃二円固＊进？罕；ｉｉｉ？ａ於《道乂攀硕±学位论文基于Ｔｅｒｍ瓜序列排序的标识符重分配的倒排索引压缩研究ＲｅｓｅａｒｃｈｏｎＩｎｖｅｒｔｅｄＩ

2、ｎｄｅｘＣｏｍｒｅｓｓｉｏｎＢａｓｅｄｏｎＴｅｒｍＩＤｐＳｅｕｅｎｃｅｓＳｏｒｔｉｎｏｆＩｄｅ打ｔｉｆｉｅｒｓ民ｅａｓｓｉｎｍｅｎｔｑｇｇ作者：郭争文导师：霍有利北京交通大学２０１６年３月学位论文版权使用授权书本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北京交通大学可Ｗ将学位论文的全部或部分内容编入有关数据库进行检索，提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编Ｗ供查阅和借阅。同意学校向国家有关部口或机构送交论

3、文的复印件和磁盘。学校可Ｗ为存在馆际合作关系的兄弟髙校用户提供文献传递服务和交换服务。（保密的学位论文在解密后适用本授权说明）学位论文作者签名：导师签名：炒签字日期：＞年ｊ月＞＾签字日期：如《年月万《２＾：学校代码：１０００４密级公开北京交通大学硕±学位论文基于ＴｅｒｍＩＤ序列排序的标识符重分配的倒排索引压缩研究ＲｅｓｅａｒｃｈｏｎＩｎｖｅｒｔｅｄＩｎｄｅｘＣｏｍｐｒｅｓｓｉｏｎＢａｓｅｄｏｎＴｅｒｍＩＤＳｅｕｅｎｃｅｓＳｏｒｔｉｎｏｆＩ

4、ｄｅｎｔｉｆｉｅｒｓＲｅａｓｓｉｇｎｍｅｎｔｑｇ３１２０３８８：１作者姓名：郭争文学号导师姓名；霍有利职称；副教授：学位类别：工学学位级别硕±：学科专业：计算机科学与技术研究方向信息检索北京交通大学２０１６年３月ｉ致谢时光似箭，岁月如梭，二年半的研究生生活马上就要结束了。在这段宝贵而短暂的研究生生活中，我不仅收获了专业知识，还学到了老师们严谨的治学态度，使我个人的综合素质有很大提高，。在即将毕业之际我由衷地对学校、老师和同学表达我的感谢。

5、、首先，我要感谢我的导师霍有利老师指导。我的论文是在嬰有利老师的悉屯下完成的，崔有利老师渊博的学识、严谨的治学态度和科学的工作方法给了我极大的帮助和影响，并将使我受益终身。在崔老师的指导下，我不仅学习到了丰富、的科研知识，，同时更好地明确了未来的人生发展方向在此我衷屯感谢两年多来、指导霍老师对我的关也和耐屯。真诚感谢毛福林硕±，他不仅在学术上给我指引，而且在生活上予帮助，再此向他表达我的感激之情。我还要感谢我的科研伙伴杨柳、李俊廷和孙梦等同学，在实验室学习及撰写论文期间

6、，他们对我论文中的相关研究工作给予了热情帮助，我在此向他们表达我的感激之情。最后，在此特别感谢我的父母，他们的理解和支持使我能够在学校专也完成我的学业。北京交通大学硕±学位论文摘要由于信息科技的飞速发展，，数据爆炸式增长形成了人类史上前所未有的海一量文本信息，，。面对海量的文本信息倒排索引作为种有效的全文索引技术能够快速准确地帮助人们查找所需要的信息。但是海量的文本信息形成了规模庞大的倒排索引，其规模最大可达原文的３００％，所レッ倒排索引的压缩是十分必要的。一ｏ

7、ｃ倒排索引生成算法的般流程是ｄＩＤ分配、Ｐｏｓｔｉｎｇｉｓｔｓ生成和ＰｏｓｔｉｎｉｓｔｓＬｇＬ压缩。常见的标识符分配算法有基于ＵＲＬ排序的标识符分配算法和基于交叉的标识符重分配算法；常见的ＰｏｓｔｉｎｇＬｉｓｔｓ压缩算法有ＵｎａｒｙＣｏｄｅ、ＶａｒｉａｂｌｅＢｙｔｅＣｏｄｅ、Ｓｉｍｅ－。ｐｌ９和ＰＦｏ瓜ｅｈａ等本文提出了基于ＴｅｒｍｌＤ序列排序的标识符重分配算法。通过遍历己创建的倒排索引生成正排表，规定正排表内ｔｅｒｎｉｌＤ序列的排序规则，并按照该规则对正排表中

8、的文档记录进行排序得到新顺序的文档序列，然后根据新的文档顺序依次为文档分配新标识符，重新创建倒排索引。）本文实现了基于ＵＲＬ排序的标识符分配算法（ＵＲＬ、基于交叉的标识符重分配算法ａＢＤＡ）、基于ＴｅｒｍｌＤ序列排序的标识符重分配算法（ＳＢＤＲＡ）等标识ｅ－－符分配算法和ＶＢｙｔ、Ｓｉｍｐｌｅ９、Ｓｉｍｐｌｅ１６、ＮｅｗＰＦＤ、ＯｐｔＰＦＤ、ＰＦｏｒＤｅｌｔａ等ｐｏｓｔｉｎｇ，ｌｉｓｔｓ压缩算法。使用Ｗｉｋｉｐ