基于深度网络的信息检索模型研究

《基于深度网络的信息检索模型研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、武汉理工大学硕士学位论文基于深度网络的信息检索模型研究姓名：吴兵华申请学位级别：硕士专业：计算机应用技术指导教师：王舜燕20080401武汉理工大学硕士学位论文摘要在Interact快速发展和普及的时代，人们对信息存取的理解和要求不同于以前，．希望方便快速地获取大量而准确的信息。越来越多的传统资源正在向Internet上转移，网上资源数量急剧膨胀，传统的资源检索方式已经无法满足人们对信息检索的需求。网络搜索引擎(WebSearchEngine)因其强大而易于使用的功能，成为了人们在组织和检索Internet信息资源时最常用的工具。然

2、而由于深度网络(DeepWeb)的存在，常规的网络搜索引擎并不能发现所有存在于Interact上的信息。因此，从深度网络的特点和常规网络搜索引擎的缺陷出发，研究深度网络信息资源的组织和检索方法，对Interact信息资源的组织与检索具有很大的意义。本文从Interact信息资源的现状入手，系统地、深入地分析了现阶段深度网络信息资源的分布特点以及其组织模式，针对常规网络搜索引擎存在的信息覆盖率问题，设计并实现了一个可以收集更多网页的网络爬虫——深度爬虫，并在此基础上提出了一个针对深度网络的信息组织与检索的模型。主要工作包括：分析当前常

3、规搜索引擎的不足，认为由于网络爬虫的缺陷导致其信息覆盖率不高；分析当前深度网络中信息资源的特点；针对深度网络提出信息组织和检索模型，对模型的功能和目标进行定义；分析深度网页的获取方式，设计并实现基于ID3分类算法的深度爬虫；提出几种可以改进网页获取效率的改进措施；改进了中文分词算法；结合全文检索技术实现了一个原型系统。实验结果表明，该原型系统是有效的。，关键词：信息检索；深度网络；检索模型；搜索引擎武汉理工大学硕士学位论文AbstractWiththerapiddevelopmentanddiffusionofInternet，pe

4、oplehavedifferentunderstandingandrequirementsaboutinformationaccesscomparedwiththepast．TheyneedmoreaccurateandrapidaccesstosubstantialinformationontheWeb．MoreandmoretraditionalresourcesarebeingtransferredtotheInternet，whichleadtotherapidexpansionofthenumberofonlinereso

5、urces．However，thetraditionalresourcesretrievalmethodscannotmeetpeople’Srequirements．Asitspowerfulandeasy-to—userfeatures，WebSearchEngineisthemostfrequentlyusedtoolforinformationorganizationandretrieval．However,conventionalWebsearchenginescannotfmdalltheinformationonthe

6、InternetfortheexistenceofcertainresourcesknownasDeepWeb．Therefore，takingthehiddenresourcesbehindtheDeepWebasastartingpoint，itissignificanttostudyhowtofullyutilizetheinformationontheW曲．FromthesceneofinformationresourcesontheInteract，thepaperperformedasystematicanddeepan

7、alysisonthedistributionandstructureofDeepWeb．Tosolvetheproblemoflowinformationcoverageofconventionalsearchengine，thepaperdesignedandimplementedadeepWebcrawlerwhichcandiscoveranddownloadmorepagesfromInternet．Also，thepaperproposedaninformationretrievalframeworkbasedonthi

8、scrawler．Studiescanbeconcluded弱follows：(1)DefectsofaWebcrawlercanleadtolowinformationcoverageofconventionalsearchengi