基于爬虫技术的烟草行业网络舆情监控系统的设计与实现

《基于爬虫技术的烟草行业网络舆情监控系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、１０４５９学校代码：Ｚ２０１６３３４９２学号或申请号：密级：０专业硕士学位论文基于爬虫技术的烟草行业网络舆情监控系统的设计与实现作者姓名：文婉莹导师姓名：李润知副教授专业学位名称：工程硕士培养院系：省网中心完成时间：２０１８年１１月学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研宄所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的科研成果。对本文的研宄作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明

2、的法律责任由本人承担。学位论文作者：日期：如《年“月Ｗ日学位论文使用授权声明本人在导师指导下完成的论文及相关的职务作品，知识产权归属郑州大学。根据郑州大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅；本人授权郑州大学可以将本学位论文的全部或部分编入有关数据库进行检索，可以采用影印、缩印或者其他复制手段保存论文和汇编本学位论文。本人离校后发表、使用学位论文或与该学位论文直接相关的学术论一文或成果时，第署名单位仍然为郑州大学。保密论文在解密后应

3、遵守此规定。学位论文作者：日期｜：七（月４日／《年摘要烟草行业在中国是一种备受争议的专卖专营特殊行业，行业的各种行为极易引发舆情讨论。烟草行业在发展过程中一直很重视对网络舆情的监控，但是行业内部对网络舆情的监测大部分还处于人工模式。本文设计并实现了一个烟草行业网络舆情监控系统，利用网络爬虫技术在采集、处理海量数据方面的优势，以实现对涉烟网络舆情全方位的抓取，并提供给用户可视化的舆情信息查询、主题追踪、统计分析等监控服务。本文首先对网络舆情监控研究现状，网络爬虫、自然语言处理、机器学习技术进行考察分析调研。其次，本文对烟草行业网

4、络舆情监控系统的采集对象、需求进行分析，并根据需求及业务流程，进行了系统总体架构设计、数据库设计、子系统设计。本系统主要分为舆情采集、舆情应用、系统管理三个子系统。在系统实现部分，本文按照各子系统的实现进行说明。包括选用基于Python语言的Scrapy爬虫框架，自定义策略应对网站的反爬措施，运用Selenium解决了动态网页数据的抓取问题；通过正则表达式、XPath选择器，配合Pandas、Numpy库进行数据清洗提取筛选；基于Jieba的中文分词构建涉烟舆情词典和词性库，自定义涉烟舆情特色关键词的提取规则；通过Word2Vec训练词向量

5、、PCA进行数据降维、SVM模型进行基于机器学习和情感词的文本倾向性分析；通过Wordcloud生成词云、Matplotlib绘制图表，构建Web项目实现系统可视化展示。最后，本文对系统进行测试分析，包括设置测试内容、测试方法、测试结果等方面。本系统的设计与实现，大大提高了涉烟舆情的监控效率，对于烟草行业的社会形象维护具有重要的现实意义。关键词：烟草行业网络舆情监控分析网络爬虫IAbstractInChinathetobaccoindustryisacontroversialmonopolyspecialindustry,andvariou

6、sbehaviorsintheindustrycaneasilyleadtosensationaldiscussions.Inthedevelopmentprocess,thetobaccoindustryhasalwaysattachedgreatimportancetothemonitoringofnetworkpublicopinion,butmostoftheinternalmonitoringofnetworkpublicopinionintheindustryisstillintheartificialmode.Thispape

7、rdesignsandimplementsatobaccoindustrynetworkpublicopinionmonitoringsystem,whichusethewebcrawlingtechnologyincollectingandprocessingmassivedata,torealizethefull-scalecrawlingofthetobacco-relatednetwork,andprovideuserswithvisualsensationInformationinquiry,subjecttracking,sta

8、tisticalanalysis,publicopinionmonitoringservices.Thispaperfirstlyinvestigatesandanalyzest