主题网络爬虫的设计与实现——界面及数据库模块设计-毕业论文.doc

《主题网络爬虫的设计与实现——界面及数据库模块设计-毕业论文.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、主题网络爬虫的设计与实现本科毕业论文(科研训练、毕业设计)题目：主题网络爬虫的设计与实现——界面及数据库模块设计姓名：学院：软件学院系：软件工程专业：软件工程年级：学号：指导教师：职称：年月X主题网络爬虫的设计与实现摘要随着网络信息的迅速发展，搜索引擎已成为人们获取有用信息必不可少的工具。以何种策略有效地访问网络资源是专业搜索引擎中网络爬虫研究的主要问题。本文对搜索引擎中网络爬虫的搜索策略进行简要分析，总结提高搜索效率的因素，使人们对网络爬虫的搜索算法有个大概了解，以及对新一代搜索引擎的期望,以便更快捷获取自己需要的信息。搜索引擎作为网络信息搜寻的工具，它以一定的策略在互联网中搜集

2、、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务。爬虫搜索引擎主要由三部分组成：搜索器、数据库和用户界面。搜索器搜索到Internet的Web页面后,将页面信息存入索引数据库，最后通过用户界面提供给用户。文章主要介绍数据库的组织和索引过程的实现。本文简要描述了主题爬虫设计中主题相关度分析以及爬虫具体实现过程，侧重点在于系统的界面设计及数据库设计模块。界面部分通过引入插件来改变原有面板的外观，以达到美化的效果；数据库部分对数据库的设计特点、方法以及步骤等做了简单的介绍，通过对系统的需求分析进行数据库的概念结构设计、逻辑结构设计和物理结构设计。另外本文还介绍了爬虫系统

3、的各模块之间的相互关系，结合图例给于说明分析，通过对爬虫系统的运行流程进行简要分析，测试并验证了系统的可行性和有效性。最后对开发工具以及所用到的插件做了相关说明。关键词：网络爬虫搜索引擎插件索引X主题网络爬虫的设计与实现AbstractInrecentyears,searchengineturnsmoreandmoreimportantforustogetusefulinformation.HowcanWebcrawlervisitthewebefficientlyinthedomainofTopicSpecificSearchEnginehasbecomethemainprobl

4、em.Thispaperanalysizeswebcrawler’ssearchingstrategies.Thispaperwantstomakepeopleknowthewebcrawler’sstrategyandlongforthenewsearchingenginesoastogetinformationquicklywhichtheyneed.Searchengineisatoolofserchinginformationintheinternet,itcollect,discoversaninformationintheInternetbycertainstrateg

5、yandcarryoncomprehension,withdrawtotheinformation,organizationandprocessing,andprovideanindexserviceforthecustomer.Webcrawler’ssearchengineofaInternetconsistsofthreeparts:searcher,Databaseanduserinterface.SearchersearchesWebpageofaInternetandthensavesthepageinformationintoindexDatabaseandprovi

6、desthemforusersbyinterfaceintheend.ThispaperintroducesorganizationofDatabaseandtheimplementofindexprocess.Thispapersynopsisintroducetherelateddegreeanalysisandtheprocessofthewebcrawlerdesign.Themainpartistheinterfacedesignandthedatabasedesign.Theinterfacepartleadsplug-instochangeoriginalextern

7、alappearanceoffront-panelsoastochangetheeffectofbeautification.Andsimplyintroducethedesigncharacteristics,methodandstepofdatabasepart,designthelogicstructure,theconceptstructureandthephysicalstructureofthedatabaseaftertheneedanalysis.Mo