基于java网络蜘蛛程序

《基于java网络蜘蛛程序》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于java网络蜘蛛程序-->摘要:在互联网发展初期，网站相对较少，信息查找比较容易。然而伴随互联网爆炸性的发展，普通网络用户想找到所需的资料简直如同大海捞针，这时为满足大众信息检索需求的专业搜索网站便应运而生了。网络蜘蛛程序是everyhardtomon.Thispaperrealizedthefollogivetheakeuseofdatabaseliningtechnologytomanage(municationcore，spiderprogramentofsourcesandsearch.Thoughthedesignanalysis，Ihavefi

2、nishedmyo.Theprogramisfinishedbasedoninitialdesign，implementthecollectionandarrangingofsources.Thesefunctionspassedthetest，andisabletorunnormally.Keywords:HTTP，routine，spider，Lucene目录1绪论11.1课题研究背景11.2国内外研究现状11.3本论文的结构42程序设计目标及策略52.1程序分析52.1.1多线程搜索52.1.2数据库队列管理52.1.3检索引擎——Lucene62.2功

3、能点技术分析62.2.1Spider如何获取URL链接的获取62.2.2程序结构的选择62.2.3利用递归构造Spider62.2.4利用非递归构造Spider72.2.5Spider程序的队列72.2.6全文索引83程序设计与实现、测试93.1HTTP类及相关类的设计与实现93.2蜘蛛程序工作核心类设计与实现133.2.1蜘蛛程序中线程的设计133.2.2多线程同步143.3Spider类及其相关类的实现153.3.1ISpiderReportable接口153.3.2IWorkloadStorable接口153.3.3SpiderSQLWorklo-->a

4、d类163.3.4SpiderWorker类163.3.5SpiderDone类183.3.6Spider类193.4程序测试203.4.1硬件环境203.4.2软件环境203.4.3测试用例203.4.4测试结论214总结22致谢25