大规模可扩展索引技术的研究和系统实现

《大规模可扩展索引技术的研究和系统实现》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、学位论文大规模可扩展索引技术的研究和系统实现学位论文题目：大规模可扩展索引技术的研究和系统实现姓名：学号：院系：信息科学技术学院专业：计算机系统结构研究方向：搜索引擎与Web信息挖掘导师：教授二〇〇八年五月2学位论文大规模可扩展索引技术的研究和系统实现版权声明任何收存和保管本论文各种版本的单位和个人，未经本论文作者同意，不得将本论文转借他人，亦不得随意复制、抄录、拍照或以任何方式传播。否则，引起有碍作者著作权之问题，将可能承担法律责任。2学位论文大规模可扩展索引技术的研究和系统实现摘要随着互联网的发展，原始的数据库系统无法满足大数据量相关性检索的需求。从而

2、基于倒排表的索引系统越来越多的应用在各项服务中。但是索引系统和数据库系统一样，有着较为复杂的内部逻辑和外部行为，如何创建我们需要的索引系统，如何优化我们的索引系统，是困扰很多索引系统构建者和使用者的难题。本文的研究范畴是用于信息检索的索引系统，通过一个真实的索引系统——Paradise索引系统，本文从三个方面进行分析和研究：对索引系统进行功能模块上的分析；对索引系统开发和使用中的性能问题的研究和分析；对一个实际系统的系统实现的详细。具体为：1)索引系统的模块分析本文详细分析了作为一个复杂系统的索引系统，其创建和使用都受到很多条件的制约。本文分析了索引系统的

3、常见的需求，比如如何对原始的文档集合进行分析，如何设计索引内部文档的表示能力，索引如何创建，如何存储等，划分了一系列基本的功能模块。2)索引系统的性能分析因为索引系统的目的是快速的响应检索需求，所以效率问题一直是索引技术的核心问题。在模块功能分析的基础之上，本文进一步分析了索引创建和检索中常见的性能问题，提出了基本的解决方案。同时，对于如何对索引系统进行整体的和局部的量化分析，引入了DQ法则，尝试给出一个指导实践的经验公式。3)Paradise索引系统的实现分析对于问题的分析，需要一个具体的系统进行实践。在深入研究天网搜索引擎已有的索引系统和相关索引系统基

4、础上，同时在大量阅读了相关专业文献之后，我们进行了分析和研究，设计实现了863课题支持的Paradise项目的索引系统。本文以系统的基本模块和重要接口为核心，分析了系统的基本框架能力以及如何进一步对系统进行扩充。关键词：信息检索，索引系统，索引优化，倒排表3北京大学硕士学位论文大规模可扩展索引技术的研究和系统实现TheresearchandimplementationofLargeScaleandExtensibleIndexingSystemAbstractAlongwiththerapiddevelopmentofInternet,thedatabas

5、esystemisnotsuitableforthelargedatasetininformationretrievaltask.Theindexingsystemisusedmoreandmoreinlotsofwebapplications.Asthedatabasesystem,indexingsystemhaveit’sowndifficultyininternallogicandexternalbehavior.Howtobuildourownindexingsystemandhowtooptimizeitisdifficultfortheind

6、exingsystemdeveloperanduser.Theresearchofthisthesisisindexingsystemusedforinformationretrieval.Thisthesiswillpresentthreeaspectofindexingsystemthroughonerealsystem–Paradiseindexingsystem.(1)Tomodularizetheindexingsystembasingonthefunctionpointofview;(2)Toanalyzetheoptimizationprob

7、lemsinthedevelopanduseofindexingsystem;(3)Toanalyzetheimplementationoftheindexingsystem.(1)ModularizingtheindexingsystemDuetothecomplexityoftheindexingsystem,theconstructionandtheusageofitisrestrictedbylotsofconditions.Inthisthesis,commonquestionsexistedinthesystemarepresented,cor

8、respondingsolutionsareoffered.Suc