全文搜索引擎技术研究与实现 毕业设计(论文)

《全文搜索引擎技术研究与实现 毕业设计(论文)》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、重庆理工大学毕业论文搜索引擎技术研究与实现编号毕业设计（论文）题目全文搜索引擎技术研究与实现二级学院计算机科学与工程学院专业计算机科学与技术班级学生姓名学号指导教师职称讲师时间2011.643重庆理工大学毕业论文搜索引擎技术研究与实现目录摘要IAbstractII1绪论11.1搜索引擎的出现背景及意义11.2现阶段搜索引擎的研究现状11.3本文主要工作42搜索引擎工作原理分析52.1搜索引擎基本原理52.1网页搜集62.2索引建立62.3提供检索服务72.4搜索引擎的分类73系统关键技术问题及解决方案93.1网页访问问题及解决方案93.2网页解析问题及解决方案103.3倒排索引存储问题及解决

2、方案113.4检索系统评分问题及解决方案114系统需求分析144.1系统的功能需求144.2系统的非功能性需求154.3可行性分析155系统设计185.1系统总体结构185.2网络爬虫模块设计185.3索引系统模块设计195.4检索系统模块设计205.5数据库表设计206系统实现236.1系统界面实现236.2爬虫程序模块实现256.3索引系统模块实现266.4信息检索系统模块实现287系统测试307.1系统测试的目的307.2系统测试的原则317.3测试环境317.4测试记录318结论40致谢41参考文献4243重庆理工大学毕业论文搜索引擎技术研究与实现摘要随着互联网的不断发展和日益普及，

3、网络成为信息极其重要的来源地，越来越多的人从网络上获取自己所需要的信息，网上的信息量在爆炸式增长，如何在最短时间内找到我们所需要的资料就成了一个非常关键的问题。为了解决这个问题，Web搜索引擎就随之出现了，并得到了飞速发展，使得像Google，百度这样的通用搜索引擎变成了人们寻找信息必不可少的工具，搜索引擎现在也已经成为互联网上仅次于电子邮件的第二大网络服务。本文论述了搜索引擎的开发背景以及搜索引擎的历史和发展趋势，分析了搜索引擎的开发需求，在深入研究了通用搜索引擎基本原理、架构设计和核心技术的基础上，结合搜索引擎的需求，构建了一个运行稳定，性能良好而且可扩充的搜索引擎系统，本文不仅仅完成了

4、对整个系统的设计，对系统开发中的一些关键技术问题，都给出了解决方案（包括网络爬虫、倒排索引、信息检索及结果排序等，这些技术将被应用到文中提出的系统设计方案中），并且完成了所有的编码实现工作。关键词：搜索引擎，网络爬虫，倒排索引，信息检索43重庆理工大学毕业论文搜索引擎技术研究与实现AbstractAlongwiththecontinuousdevelopmentoftheInternetandgrowingpopularity,networkbecomesanextremelyimportantsourceofinformation,moreandmorepeoplefromthenetwo

5、rktoobtaintheinformationtheyneed,andtheamountofinformationonlineintheexplosivegrowth,Howtofindtheshortestpossibletimetheinformationweneedtobecomeaverycriticalissue.Tosolvethisproblem,Websearchenginesappearedonthesubsequent,andhasbeentherapiddevelopmentof,makelikeGoogle,Baidu,intoageneralsearchengin

6、eindispensabletoolforpeopletofindinformation,searchenginesarenowsecondonlytoe-mailontheInternethasbecomethesecondlargestInternetservice.Thisarticlediscussesthebackgroundanddevelopmentofsearchenginesearchenginehistoryandtrends,analysisofthesearchengine'sdevelopmentneeds,indepthstudyofthebasicprincip

7、lesofgeneralsearchengines,architecturedesignandcoretechnologyonthebasisof,withtheneedsofsearchengine,constructastable,goodperformanceandscalablesearchenginesystem.Thispapernotonlycompletedthedesignofthewhol