海量的基于web的ftp搜索引擎系统的设计与实现-pku-北京大学

《海量的基于web的ftp搜索引擎系统的设计与实现-pku-北京大学》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、海量的基于Web的FTP搜索引擎系统的设计与实现海量的基于Web的FTP搜索引擎系统的设计与实现TheDesign&RealizationofaPowerfulFTPSearchEngineSystem---陈华2001.6.10摘要在因特网上对众多FTP站点进行快速的文件条目查找，是网络信息搜索的重要组成部分。本文以“天网”FTP搜索引擎为例，介绍了千万级基于WEB的强大的FTP搜索引擎的设计与实现，并重点分析了系统所采用的关键技术和方法。关键词FTP,搜索引擎，WWWlAbstractFTPSearchEngineisapowerfultooltosearchuseful

2、filesforusersfromvariousresourcefulFTPsites.Inthispaper,mainlydescribedarethedesignandimplementationofourFTPsearchengine,aswellasthekeytechnologiesandmethodsweadopt.lKeywordFTP,SearchEngine,WorldWideWeb29海量的基于Web的FTP搜索引擎系统的设计与实现目录一、引言………………………………………………………………………………...4二、搜索引擎的历史与发展……………………………

3、…………………………………4a)搜索引擎的起源…………………………………………………………………4b)真正意义的搜索引擎…………………………………………………………….4c)Ftp的搜索引擎………………………………………………………………….5I、基于文本的ftp搜索引擎：Archie。…………………………………………..5II、基于Web的Ftp搜索引擎。…………………………………………………5三、天网ftp搜索引擎的现状…………………………………………………………….5a)天网Ftp搜索产生的起源与发展历史。………………………………………….5b)天网ftp搜索引擎的现状

4、………………………………………………………6i.提供的功能…………………………………………………………………61.文件类型的分类………………………………………………………..62.时间过滤………………………………………………………………63.大小过滤………………………………………………………………64.精确匹配………………………………………………………………65.站点限制………………………………………………………………66.结果中查询功能……………………………………………………….67.支持常用的*，?，与，并操作………………………………………...78.多语言版本……………

5、………………………………………………79.快捷方式系统………………………………………………………….7ii.数据量……………………………………………………………………..71.站点数量在3000以上…………………………………………………72.文件条目1300万左右…………………………………………………73.快捷方式约一千条……………………………………………………..7iii.访问量……………………………………………………………………..71.日页面下载量在3万左右……………………………………………...72.日访问人数在1.5万以上………………………………………………8四、海

6、量ftp搜索引擎的系统结构设计…………………………………………………….9a)系统的结构设计：四大模块和五个数据库………………………………………9b)数据库功能和结构说明…………………………………………………………10i.文件类型库………………………………………………………………...10ii.站点列表库…………………………………………………………………11iii.素材数据库…………………………………………………………………11iv.索引数据库…………………………………………………………………12v.快捷方式数据库……………………………………………………………13c)搜集建库

7、模块…………………………………………………………………...14i.搜集建库过程说明………………………………………………………….14ii.站点获得策略………………………………………………………………14iii.并发搜集策略………………………………………………………………15iv.分布搜集策略………………………………………………………………15v.多次尝试和断点续搜………………………………………………………..15vi.线性的建库过程…………………………………………………………….1529海量的基于We