欢迎来到天天文库
浏览记录
ID:35058280
大小:3.87 MB
页数:49页
时间:2019-03-17
《基于python的图书信息系统的设计与实现》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、分类号:TP311单位代码:10183研究生学号1353H800密级:公开:20參吉林大学硕女学位论文专业学位()基于Python的图书信息系统的设计与实现n-D色sigandRealizationofPythonbasedBookInformationSystem作者姓名:王朝晒类别;工程硕±领域(方向):软件工程指导教师:李雄飞教授培养单位:软件学晓2016年6月未经本论文作者的书面授权,依法收存和保管本论文书面版本、电子版本的任何单位和个人,均不得对本论文的
2、全部或部分内容进行任何形式的复制、修改、发行、出租、改编等有碍作者著作权的商业性使用(但纯学术性使用不在此限)。否则,应承担侵权的法律责任。吉林大学硕±学位论文原创性声明本人郑重声明:所呈交学位论文,是本人在指导教师的指导下,独立进行研究王作所取得的成果。除文中已经注明引用的内容外,本论文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体,均已在文中W明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名:是!日期;2016年5月22日基于Py
3、thon的图书信息系统的设计与实现DesignandRealizationofPython-basedBookInformationSystem作者姓名:王朝阳领域(方向):软件工程指导教师:李雄飞类别:在职工程硕士答辩日期:2016年5月22日摘要摘要基于Python的网络应用框架问题研究随着数据的不断发展,人们对数据的需求量也与日俱增,对于个人或中小型企业需要的较小规模数据可以通过网络爬虫来获取。网络爬虫程序通过URL地址读取网页信息,对网页文本信息加以解析和筛选,以形成目标数据。用Python编写的网络爬虫可以使用多线程技术提高程序运行效率
4、,通过加锁来保证所获取数据的正确性,使用数据库存储爬取的大规模数据。爬虫程序的主要应用是实现信息的聚合,为用户提供更多可选择的信息。本设计中的爬虫程序主要为用户提供多个网站的图书信息,最终以网页的形式呈现给使用者。首先从数据库读取网页地址以及相应的规则,爬虫程序结合网页规则提取数据,把数据存入到已连接的数据库中,再把这些数据写入到HTML文本中,这样便完成了整个信息的聚合过程。关键词:网络爬虫;提取数据;信息聚合;数据库IAbstractPython-basedWebApplicationFrameworkResearchWiththeconti
5、nuousdevelopmentofthedata,itisalsoincreasingdemandfordata,thedataforindividualorsmallerSMEsmayneedtogetthroughthewebcrawler.WebcrawlerstoreadthroughthewebURLaddressinformation,tobescreenedonthewebpageparsingandtexttoformthetargetdata.WebcrawlerwritteninPythonusingmulti-thread
6、ingtechnologytoimprovetheefficiencyoftheprogram,bylockingtoensuretheaccuracyofthedataobtained,theuseoflarge-scaledatastoredinthedatabasecrawling.Themainapplicationistoachievecrawlersaggregationofinformation,toprovideuserswithmorechoiceofinformation.Thedesignofthecrawlerbookin
7、formationprimarilytoprovideuserswithmultiplesites,andultimatelyintheformofWebpagespresentedtotheuser.First,readthewebaddressfromthedatabaseandthecorrespondingrules,combinedwithwebcrawlersrulestoextractdata,thestoreddatatoaconnecteddatabase,andthenwritesthedatatoHTMLtext,thusc
8、ompletingtheentireaggregationofinformationprocess.Keywords:Webcrawle
此文档下载收益归作者所有