主题网络爬虫的研究与实现

《主题网络爬虫的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、本科毕业论文主题网络爬虫的设计与实现Designandimplementationofsubject-orientedcrawler姓名：路刚学号：23020051204554学　　院：软件学院系：软件工程专业：软件工程年级：2005级指导教师：史亮　副教授二〇〇九年六月摘　要目前信息网上蕴含了大量的信息，但通过人工浏览的方法很难做到对信息的安全浏览、整理，很多有用的信息也就白白流失，产生了大量信息不能及时应用的矛盾，给用户造成了很大的不便，为了解决这一问题，搜索引擎这一新热点技术应运而生，本文结合信息网的特征，运用信息抽取和网页解析技术，设计和

2、实现了搜索引擎中最重要的部分——网络爬虫，以提供分类更细致精确、数据更全面深入、更新更及时的因特网搜索服务。本文首先对概述了网络爬虫的发展概况，然后分析了网络爬虫的体系结构以及实现原理，并深入分析了主题页面在Web上的分布特征与主题相关性的判别算法，具体工作如下：(1)爬虫部分，通过设计种子网站进行爬虫，下载尽可能全且与用户要求相符合的网站。(2)网页预处理过程，包括分词、HTML解析和网页消噪。在对树节点进行裁剪的基础上，设计了基于样式的网页消噪方法，进一步提高网页消噪过程。(3)主题相关性判断，包括特征提取和权值计算阶段。在特征提取阶段，通过

3、组合文档频率，得到新的特征，达到降维和提高分类精度的效果。在权值计算阶段，结合信息增益、传统TFIDF算法和空间向量模型VSM算法，得到了更适合主题相关性判断的权值计算方法。(4)最后，在MYECLIPSE平台上，实现了一个简易的网络爬虫系统，并简要分析了爬虫的运行效果，达到了令人满意的效果。关键词：网页解析；TFIDF算法；VSM算法IVAbstractCurrentlythereislotofinformationinthepublicsecurityinformationwebsite,butitisnotpossibletovisitan

4、dcleanupallinformationonlythroughartificalmanner,somuchimportinformationwouldbelost,alsowouldgoaginstcrackingacriminalcase,whichcausesagreatdealofinconveniencetousers.Todealwiththisproblem,searchenginetechnologycameintobeingthenewhotspot.Basedonthecharacteristicsofinformation

5、networks,thepaperdesignedandimplementedthemostimportantpartofsearchengine—WebSpider，usinginformationextractionandwebanalytictechnologytoprovidemoredetailedclassificationaccuracy,dataismorecomprehensiveandin-depth,moretimelyupdatesofInternetsearchservices.Thispaperfirstoutline

6、dthedevelopmentofsearchenginesandreptileresearchnetworkstatusandthenanalyzedthearchitectureoftopicsearchengineanddepthlyanalysdthethemeofthepageintheWebonthedistributionofsubjectcharacteristicsandtheidentificationalgorithm.Inthispaper,theconcreteworkasfollows:(1)Spiderpart.By

7、setseedsthroughthedesignofwebsite,downloadasmuchaspossibleandwiththewholesiteinlinewithuserrequirements.(2)Pagepre-processingprocess,includingWordparticiling,HTMLparsingandpagede-noising.(3)Todeterminetherelevanceofthetheme,includingthefeatureextractionstageandtherightvalue.I

8、nthefeatureextractionstage,throughthecombinationofdocumentfrequency,