最新舆情监测系统采集技术分享

《最新舆情监测系统采集技术分享》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、舆情系统原理-参考舆情调查软件就从舆情监测系统的架构说起是：1、舆情采集系统：一、只要是互联网上发生的与“我”相关的舆情信息，都可以第一时间监测到，并且以最直观的方式显示出来，“一网打尽，一目了然”。监测网站类型包括：新闻、论坛、博客、贴吧、微博、电子报、搜索引擎等。二、对于重点舆情以及负面信息通过手机短信等方式及时预警，不需要有专人值守就可以随时掌握舆情。三、自动分析舆情信息的发展变化趋势、舆情信息的首发网站、作者、转载情况、热度变化、评估干预处理之后的效果等。四、自动生成各种统计分析报表和舆情报告，助力舆情工作。配合相应的工作机制，可以

2、有效提升舆情监管的质量和效率，提升舆情应对水平。五、除了提供系统级7*24小时的运维服务，还配备专门的舆情分析师协助监测，人工预警。系统建设目标是整合互联网信息渠道，形成系统、有效的舆情监测机制。实现系统运行，监控互联网信息、新浪、腾讯等主要微博微博，对其进行实时数据采集、全网监控、分析、检索，对敏感信息进行预警，防止负面信息传播，对重大事件做出最及时的反应和相应处理建议。并对近一段时期的热点问题、敏感词句进行搜索，从而掌握网络舆情，辅助领导决策服务。主要的门户网站，主要的报纸、主要的大型网络论坛、社区、贴吧、博客、微博。例如新浪新闻、各大

3、报纸的电子报、天涯论坛、新浪微博、百度贴吧等。各类与我相关的以及区域内有影响力的网站。百度、谷歌、360搜索等搜索引擎。论坛搜索，博客搜索、微博搜索等专业搜索引擎。重点网站提供的站内搜索等。2、舆情分析系统：分析引擎是本系统的关键组成部分。其主要作用是对采集系统采集的数据，自动进行智能分析。分析引擎的主要功能包括：自定分析舆情级别、自动生成热点、负面舆情研判、自动分类、自动生成专题、转载计算、自动抽取舆情要素和关键词、自动摘要、自动预警、自动生成统计图表等功能。例如：多瑞科舆情数据分析站系统引擎内置了政府舆情模型、企业舆情模型和垂直监控模型

4、，这些分析模型，是在多年舆情行业中按照客户的实际需求，不断重构和完善起来的，具有良好的实际应用效果。在实际项目中，不用通过二次开发就可以全面满足政府、企业单独应用。或者通过SAAS平台完成从上到下的垂直监测需求。对于特殊的应用需要，分析引擎还支持扩展插件，用于快速完成二次开发，支持各种需求定制。3、舆情服务平台：主要是用户进行日常舆情管理的平台，能够及时接受舆情信息，进行一些常规的舆情管理工作。4.舆情系统原理:全网舆情监测的手段：数据源的获取是做舆情监测的第一步，有了米才能做粥嘛。从获取的方法上有简单的取巧办法，也有复杂到需要应对各类网站

5、难题的情况。方法大致如下：使用搜索入口作为捷径搜索入口有两类：一类是搜索引擎的入口，一类是网站的站内搜索。做舆情监测往往是有主题、有定向的去做，所以很容易就可以找到监测对象相关的关键字，然后利用这些关键字去各类搜索入口爬取数据。当然也会遇到反扒的问题，例如你长时间、高频次的爬取搜索引擎的结果页面，网站的反扒策略就会被触发，让你输入验证码来核实是否是人类行为。使用搜索入口作为捷径也会带来一些好处，除了爬取门槛低，不需要自己收录各类网站信息外，另一个特别明显的好处是可验证性非常好，程序搜索跟人搜索的结果会是一致的，所以人很难验证出你获取的数据有

6、偏颇。爬虫根据网站入口遍历爬取网站内容第一步要规划好待爬取的网站有哪些？根据不同的业务场景梳理不同的网站列表，例如主题中谈到的只要监测热门的话题，这部分最容易的就是找门户类、热门类网站，爬取他们的首页推荐，做文章的聚合，这样就知道哪类是最热门的了。思路很简单，大家都关注的就是热门。至于内容网站怎么判断热门，这个是可以有反馈机制的：一类是编辑推荐；一类是用户行为点击收集，然后反馈排序到首页。第二步是使用爬虫获取数据。爬虫怎么写是个非常大的话题，在这里不展开说明，需要提一嘴的是，爬虫是个门槛很低但是上升曲线极高的技术。难度在于：网站五花八门；反

7、扒策略各有不同；数据获取后怎么提取到想要的内容。数据检索与聚合数据获取下来后哪些是你关心的、哪些是垃圾噪声，需要用一些NLP处理算法来解决这些问题。这方面门槛高、难度大。首先大规模的数据如何被有效的检索使用就是个难题。比如一天收录一百万个页面（真实环境往往比这个数量级高很多），上百G的数据如何存储、如何检索都是难题。值得高兴的是业内已经有一些成熟的方案，比如使用solr或者es来做存储检索，但随着数据量的增多、增大，这些也会面临着各种问题。通常对热门的判断逻辑是被各家网站转载、报道的多，所以使用NLP的手段来做相似性计算是必须的，业内常用的

8、方法有Simhash或者计算相似性余弦夹角。有些场景不单单是文章相似，还需要把类似谈及的文章都做聚合，这时就需要用到一些聚类算法，例如LDA算法。从实践经验来看，聚类算法的效果良