新闻爬虫系统的设计与实现本科毕业设计论文

《新闻爬虫系统的设计与实现本科毕业设计论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、山东科技大学本科毕业设计（论文）摘要随着网络在世界范围的飞速发展，互联网作为最具潜力与活力的媒体已经被公认是继报纸，广播，电视之后的“第四媒体”，成为反映社会新闻热点的重要载体。为了及时了解网络新闻热点，相关机构引入了新闻热点分析系统。本文设计的新闻爬虫系统是新闻热点分析系统的数据源，负责新闻信息的采集。本文借助于爬虫领域的相关技术与工具，结合新闻热点分析系统的需求从原理或工作流程上详细论述了爬虫系统中核心模块的具体实现。本文所描述的新闻爬虫系统其数据来源主要是新浪新闻，首先利用爬虫工具将新闻数据获取到本地数据库中，然后将新闻信息以及新闻分析的结果将在前台网页中进行可视化输出。本文

2、主要进行了以下几个方面的工作：1）利用Java语言结合HTTPClient开源工具编写了一个针对新浪新闻的可扩展的网络爬虫，该爬虫程序能够按照广度优先的爬行策略对新闻数据（包括图片信息）进行全面的定向抓取以及周期性的增量抓取；2）采用HTMLParser对获取到的新闻信息进行元数据抽取，将新闻的编号、标题、内容、发布方、发布时间等元数据以及新闻图片等元数据解析出来并存入SQLServer数据库中；3）前端界面利用开源AJAX框架ExtJS结合Servlet进行实现，兼顾用户交互方式的多样性以及系统的跨浏览器兼容性。通过使用该新闻爬取系统，用户能够实时的更新新闻信息，及时、全面、准确

3、地掌握新闻热点动态，提高对于重大突发事件的处理能力，对于更及时，全面的了解各地的实时信息具有重要意义。VI山东科技大学本科毕业设计（论文）关键词：新闻热点，网络爬虫，元数据抽取，可视化VI山东科技大学本科毕业设计（论文）ABSTRACTWiththerapiddevelopmentofWorldWideWeb(WWW),itiswidelyacceptedthattheinternet,calledtheFourthMedia,willbethemostpotentialandenergeticmediaafternewspaper,radioandtelevisionasanim

4、portantcarrierofthehotsocietynews.Inordertoknowtheinternethotnewsintime,therelatedorganizationsintroducedthehotnewsandanalysissystem.Thenewsspidersystemisintheinformationcollectionlayerandisthefundamentalpartofhotnewsanalysissystem.Itisresponsiblefortheinformationcollection.Inthehelpofrelatedt

5、echnologiesandtoolsandwiththeneedsofthesystemitself,thepaperdiscusstheconcreterealizationofthecodemoduleindetail.Thedataofthenewsspidersystemcomesfromnewsofsina.Firstusingwebcrawlertogetdatafromnewstolocaldatabase,finallyvisualizethepublicopinioninformationonthefrontpage.Thisarticlemainlyhasca

6、rriedonthefollowingseveralaspectswork:1)UsingJavaandHTTPClientdevelopedascalablewebcrawlerwhichfocusonDISCUZBBS.Besides,thiscrawlercanconductacomprehensiveorientationoffetchingandperiodicincrementoffetchingfromBBSdata(includingtheBBSpostinformationandallitsreplies)underbreadth-firststrategy.2）

7、UsingHTMLParsertoextractmeta-datafromtheBBSinformation,parsedandstoredthemeta-data,suchasnumber,title,content,poster,postingtimeandthecorrespondingreplyinaSQLServerdatabase.3）front-endinterfacecombinedwiththeuseofopensourceAJAXframework