一种基于消息中间件的网页实时处理技术

《一种基于消息中间件的网页实时处理技术》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、一种基于消息中间件的网页实时处理技术：针对传统X页采集分析系统在实时性上的不足，提出了一种基于消息中间件的X页实时处理技术。该技术利用消息中间件在消息队列驱动流程中引入并行调度策略，既继承了传统X页处理系统的可靠性，又实现信息抽取、话题聚类和X页分类等模块的分布式并行处理，增强了系统的实时处理能力。实验证明该文提出的技术在舆情实时采集、处理中较传统方法实时性高。　　关键词：消息中间件；X页处理；实时性；并行调度；舆情　　：TP391：A：1009-3044(2011)10-2269-03　　AReal-ti

2、meessage-OrientedMiddleationSystemsEngineeringLaboratoryinNationalUniv.ofDefenseTechnology,Changsha410073,China)　　Abstract:Forthetraditionallackingofreal-time,thisarticleproposedaeprocessingtechniquebasedonmessage-orientedmiddlepleprincipleoftraditionaltoe

3、nsurethereliabilityofit;butalsobringsinparallelschedulingstrategies,akemodules,suchasinformationextractionmodule,topicclusteringmoduleandodule,achievedistributedparallelprocessingeprocessingcapabilityofsystem.Experimentalresultsshoorereal-timethantradition

4、almethod.　　Keye;parallelscheduling;publicopinion　　互联X已经被确立为继报纸、广播、电视之后的第四代媒体。X络的广泛普及、X络信息的爆炸增长和X民参与热情的空前高涨，使得对X络内容的监控和管理变得十分迫切。面对海量的互联X信息，人工监管费时费力，X络舆情监控系统应运而生。　　X络舆情是指通过互联X传播的公众对现实生活中某些问题所持的有较强影响力、倾向性的观点和言论，是X民关注的热点，是民众讨论的焦点。X络舆情主要通过新闻评论、BBS论坛、博客、聚合新闻(RSS

5、)、转贴等实现并加以强化，集中反映一个时期X络舆论的中心[1]。X络舆情监控系统是针对X络舆情进行信息采集、话题发现、热度评估、跟踪预警和分析处理的信息系统。在海量信息环境下，如何保证舆情分析的及时性和有效性，分析挖掘相关数据，以满足实用性要求，是舆情分析的难点。同时，舆情分析结果可为真实社会系统与人工社会系统的平行互动提供指导意义。　　目前国内外大量学者对X络舆情进行了相关研究。Atkinson等[2]提出了一种近实时的多语种新闻监测与分析系统。该系统集成文本挖掘、机器学习、统计分析等技术，自动确定新闻文

6、章报道的是谁，在何地，做何事，但是文章没有具体谈及如何实现近实时的问题。刘兰等[3]针对国内X络信息采集和保存现状，对X络信息采集方式进行梳理和分析，根据采集对象、采集目的和实施者的不同将X络信息采集归纳为四类，期望对X络信息采集与保存提供参考，但是该文章未针对X络采集信息的分析进行论述，缺乏实用性。丁杰等[4]描述了一个X络舆情监控系统，该系统试图将X络新闻及论坛上的帖子依关键词搜索，并依“事件”聚类，让管理者通过阅读事件可以了解正在发生或已发生的事件，并提供自动持续追踪事件发展的功能，以协助管理者快速全

7、面地了解事件全貌。虽然该系统应用了X页清洗及k-dtree分类方法，有效提升了系统效率，但该系统处理的是事先已爬取好的海量X页，这导致跟踪的热点并非当前态势，无法满足热点发现的实时性。　　目前，X络舆情监控系统大多是针对事先已爬取的X页进行分析，而X页更新速度非常快，这就导致很难满足实时性需求。为解决这一问题，本文提出基于消息中间件的X页实时采集、处理方法，该方法以消息中间件的消息队列驱动各个模块异步、稳定地执行，兼顾了X络舆情监控的实时性要求，并在实验中验证其可行性和有效性。　　1消息中间件　　1.1消息

8、中间件　　消息中间件(MOM,Message-OrientedMiddleQ　　ActiveMQ[8]是一个基于Apache2.0licenced发布并实现了JavaTM消息服务(JMS)开放标准的消息传送解决方案。此外，ActiveMQ还提供了大规模企业部署所需的互操作性、安全性、可伸缩性、可用性、易管理性以及其他功能。　　AetiveMQ采用Java语言开发，支持所有主流的操作系统和硬件平台，同时提供多种语言