资源描述:
《毕业论文--基于Deep Web的ebay数据分析挖掘系统》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、毕业论文本科毕业设计(论文)题目基于DeepWeb的ebay数据分析挖掘系统学院专业姓名指导老师班级(1)班学号二O一三年十二月浙江理工大学经济管理学院65毕业论文65毕业论文摘要Deepweb从网页上抓取数据,按照存储信息的结构化程度可以进一步划分为结构化信息、文档信息和非文本文件,网上购物网站存储的信息属于结构化信息,新闻网站存储的信息属于文档信息,二者因结构化程度的不同对其查询所应用的技术也差别很大,而非文本文件,主要包括多媒体文件、图像文件、软件和特定格式的文档(比如PDF文件)。数据挖
2、掘任务和数据挖掘方法的多样性对数据挖掘提出了许多挑战性的研究问题,在将来会形成更大的高潮,研究焦点可能会集中到以下几个方面:研究专门用于知识发现的数据挖掘语言,走向形式化和标准化;寻求数据挖掘过程中的可视化方法,使得知识发现的过程能够被用户理解,也便于在知识发现过程中的人机交互;研究在网络与分布式环境下的数据挖掘技术,特别是在Internet上建立数据挖掘服务器,与数据库服务器配合,实现数据挖掘;加强对各种非结构化数据的挖掘,如文本数据、图形图像数据、多媒体数据;本次毕业设计目的:通过从ebay
3、上抓取数据,帮助卖家了解竞争对手销售情况,以及相同产品不同卖家ebay市场上的定价策略。本系统的开发数据抓取主要使用了Jsoup,Dom解析技术保存到数据库,采用了K-means算法以及数据归并等方法对数据进行分类,得到有价值的信息。本文首先介绍了deepweb的研究背景以及国内外相关技术的研究,然后论述了该系统的需求分析、可行性分析、开发所需的技术及工具、关键技术的实现等。关键词:deepweb,网页抓取,数据分析65毕业论文AbstractDeepwebcrawldatafromtheweb
4、sitetostoreinformationinaccordancewiththedegreeofstructurecanbefurtherdividedintostructuredinformation,documents,information,andnon-textfiles,theinformationisstoredonlineshoppingsitesarestructuredinformation,informationnewssitebelongstodocumentinform
5、ationstored,eitherbecauseofdifferenttechnicalapplicationsquerythestructureofitsdegreecanvarywidely,nottextfiles,includingmediafiles,imagefiles,softwareanddocumentation(forexampleaPDFfile)inaspecificformat.Diversityofdataminingtasksanddataminingmethod
6、sfordataminingresearchquestionsraisedmanychallengesinthefuturewillformtheclimaxofalargerresearchfocusmayfocusonthefollowingaspects:researchdevotedtoknowledgediscoverydatamininglanguagetowardsformalizationandstandardization;seekdataminingprocessvisual
7、izationmethods,makingtheprocessofknowledgediscoverycanbeunderstoodbyusers,butalsofacilitatetheprocessofhuman-computerinteractioninknowledgediscovery;researchundernetworkenvironmentwithdistributeddataminingtechniques,inparticulartheestablishmentofdata
8、miningserverontheInternet,withthedatabaseserver,datamining;strengthenthevariousminingunstructureddata,suchastextdata,graphicsandvideodata,multimediadata;Thegraduationprojectpurpose:bygrabbingdatafromebaytohelpsellersunderstandcompetitorssalesandprici