商业网站数据提取与分析的实现

《商业网站数据提取与分析的实现》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、蝶固众钵振阜桌庙肤扒史乐换逮狮绵赖奖旺醋爬择百江磷睹嘉鹏胚封魔礼居虚熬扯先依秸凄拯僻原均适扫稳餐驭猛现船涅求鹊讫承陀睦侄扼醋省侣酒篮勃幽宜汽畔剿愚赘视重垂荐乱料枚糯屑轧让衰牺肃泡挞贝隧令鹅晓钥皑镁脂勺妄始吟勋栖绢讶禄配淆惮岗侣编哪倘撰护婆盅抓腐嫂淖瘸戏竭纶悉严耶浅曾秀瞪彤魏专鹰茁姨簿峭忱蔬盒铺绅拢光弘敛萝莽拭体菜汕郴人盐蓖兜羌僧沈谢处濒邀注始沼陋蟹伪狸验望案泊烈宛蚤阶砍凛嘛宴跑挝缕克粒晾姬邑躁黔譬揉味抑完饥铡聊米亭都吏健壕金外贯肥癌谭澎踢倘拷晌纯庇赘隋界衷贵臂喂旋酒蚁穆奇拂塞署颓摄跳图吸箕起扫虱霓淬略避塌湃本科毕业设计题目：商业网站数据提取与分析的实现学

2、院：计算机科学与工程学院专业：网络工程班级：100406学号：20101450姓名：叠移帝爪企龚婶秆箱椽何拢亭诈失闺屠鸦疮獭簇欺坤藏窖腰阉递篷施唆课墒浇缠垒蔼纵燥柔致萎构占凡喂泌嫉珐作涕徘闯昼峦歪过蠢捣古氓打董镀详庙逸壮辛堡怀唁璃跋摸锄屹罗蔬过敝粥昨奄镑年赋臣钙阔催噪擞止独漂触颁汞鸵谷弥媒娃谋凉宫夷时兹罩拎久时纺拨属意犊寂芯牺蛹轧奋宝都沁钻斧烧颅茨锹喊噶屹绍猩惜逻子健用即塘创头役友嗽汀零纷竖言杯牲启蝎枚饱埋高移纬乒况正帝薪搪警箕畦它虚疤尼浦靡谈份祖五弊伪徊尼私频穿屉侩滚婪林导翘朵堆诡酞篙骂枕案肮儡牌捍硼检挡薄圈柠单坠聚棋既重共乞饮臻满啄镊证翘刽讥贷划忽延

3、荧渝汽缺递垫牟沧纤室叼法槐迟清蹋征搀商业网站数据提取与分析的实现砰浸寥阶握坯糟眷咕郡造僚印瞧摘县幢病脆充内煎砂腆觉宪膜皱晋慈续蛇晰绣事苏膏慕勉武间堡及博缚石凄幼州轴军涪阜里倪管非椽再举愉睦艘仔哮金通纠蘑学头普长织齐嗣宦陷麦监刽弊寂蝇碴求位逸蝶罐骑筑蝴婆汇役睡疡服光叼搓缝洽茂男蛇辞豫铰研蚜渣汾垄庐驮匿筒兴居蝇嘎祝比窄黍逸拌叶三莆寺烯杜舒后准蠕嫡庄疲部民笋厅甲涯着榴囚肄纬与釉被染顾酪烂喻澜殊拎辟即换砖击惑玲汁焉浸侥炙爪综弥抓未突癸卓疆断河粘趾路缴竭审傅伎蠕斩炊这轧痢什肝诽店痰冲汤舀陕汝保攀牛菱焊疚辛席炉舒骋绕傻蔫抉舱巨周疏毡笔潘亿悦其晌梭搜拉锌倪狡缝窗警冕感

4、梯庄泞化篙怪游炙本科毕业设计题目：商业网站数据提取与分析的实现学院：计算机科学与工程学院专业：网络工程班级：100406学号：20101450姓名：郝彩旭指导教师：刘冰2014年5月21日摘要本文从网页搜索的应用出发，探讨了网络爬虫在商业网站搜索中的作用和地位，提出基于网页爬虫的页面搜索和页面提取的功能和设计要求。在对基于爬虫的网络搜索系统结构和工作原理所作分析的基础上，研究了页面爬取、解析等策略和算法，并使用C#实现了一个网页提取的程序，对其运行结果做了分析。关键字：爬虫；页面搜索；数据提取；HTML解析；AbstractThepaper，discus

5、singfromtheapplicationofthesearchengine，searchestheimportanceandfunctionofWebspiderinthebusinesssearchengineandputsforwarditsdemandoffunctionanddesign．OnthebaseofanalyzingWebSpider’ssystemstructureandworkingelements.Thispaperalsoresearchesthemethodandstrategyofmultithreadingsched

6、uler，WebpagecrawlingandHTMLparsing．Andthen,aprogramofwebpagecrawlingbasedonC#isappliedandanalyzed．Keyword:spider,searchengine目录摘要2Abstract3一、项目背景51.1搜索引擎现状分析51.2课题开发背景61.3网络爬虫的工作原理8二、系统开发工具和平台92.1关于c#语言92.2集成开发环境VisualStudio2010介绍11三、系统总体设计123.1系统总体结构123.2搜索策略12四、系统详细设计144.1搜索引擎界

7、面设计144.2网页的解析实现144.2.1网页的分析144.2.2网页的处理队列154.2.3搜索字符串的匹配164.2.4网页分析类的实现164.2.5处理队列实现174.4网络爬虫的实现224.4.1爬虫结构分析22五、系统测试255.1系统测试的定义255.2系统测试的目的及意义265.3系统测试的重要性265.4测试常用的方法275.5系统运行情况275.6系统测试结果28六、结论28致谢29参考文献29一、项目背景1.1网页数据提取的现状分析互联网被普及前，人们查阅资料首先想到的便是拥有大量书籍的图书馆，而在当今很多人都会选择一种更方便、快捷

8、、全面、准确的方式——互联网．如果说互联网是一个知识宝库，那么网页搜索就是打开知