面向数据流的通用实时监控平台的研究与实现.pdf

《面向数据流的通用实时监控平台的研究与实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、ADisertationSubmitedtoZhejiangUn"9r。fortheDegreeofUn1vers1tYMasterofEngineering⑧TITLE：TheResearchandAppli—catio—nOfGenericDataStream—OrientedAuthor：!望Lingg坠垒望gSupervisor：￡3=Q至：§!』丛：。工i垒n里至ngSubject：．ComputerSoftwareandTheory。——————————__-________I_●___

2、_____I-_●_______●________———————————————一College：gQ!里金geofComputerScience—————-________-__________—_一————_-__●_____’________一SubmittedDate：2012．1．8浙江大学硕士学位论文摘要信息的价值随着时间的流逝而降低，及时捕获关键信息并做出响应才能先发制人。实时监控是一个非常有挑战性的课题。实时监控应用要求系统在最短的时间做出响应，能处理海量数据，能快速的应对用户不断变

3、化的业务需求并提供不间断的服务。根据实时监控场景下接入应用和业务人员的需求，本文设计并实现了一个高实时性、高可靠、可扩展、可定制、面向数据流的通用实时监控平台。本文抽象了信息模型来描述通用的监控场景，包括主题、监控项、数据源、请求和风险；用户可以根据自己的业务创建对应的数据实体并轻松的接入到实时监控平台；本文通过一个金融风险监控应用进一步说明了如何在这个平台搭建自己的应用。其次，本文设计了一个实时数据流处理引擎，定义了一个SQL风格的流处理语言，实现了在数据流上做支持滑动时间窗口的查询和常用的集聚表

4、达式，提供了API与其他软件集成，并设计了持久化和故障恢复的模块。最后，本文分析了软件系统中普遍存在的数据一致性问题，并讨论了如何在性能和一致性之间作权衡。针对实时监控平台提出了衡量系统数据一致性的方法，并量化地分析了数据一致性和系统吞吐率、延时之间的关系；实时监控平台的用户可以根据自身业务对数据一致性和性能的需求做出合理的配置。关键词：实时监控平台，数据流处理引擎，数据一致性浙江大学硕士学位论文AbstractAbstractAsthevalueoftheinformationreducedwit

5、hthelapseoftime．apreemptivewayistocapturekeyinformationandrespondintime．Real-timemonitoringisaverychallengingissue．Real—timemonitoringapplicationsneedtorespondassoonaspossible，dealwithbigdataandchangingbusinessrules，andprovideuninterruptedservice．Accor

6、dingtotherequirementsofreal-timemonitoringapplicationandbusinesspeople，wedesignedandimplementedahighlyreliable，scalable，customizable，genericdatastream—orientedreal—timemonitoringplatform．Weabstractinformationmodelwhichincludingtheme，monitoringentry,dat

7、asource，requestandrisktodescribeageneralreal-timemonitoringsystem．UsersCancreatethedataentityaccordingtotheirownbusinessandeasyaccesstoreal-timemonitoringplatform．Thisarticleillustrateshowtobuildapplicationsonthisplatformbyafinancialriskmonitoringappli

8、cationscase．Secondly,wedesignedareal-timeeventstreamprocessingengine，userCanquerybyaSQL’stylestreamprocessinglanguageondatastreamwhichsupportslidingtimewindowandgatheringexpressions，andwealsoprovidesAPItointegratewithothersoftware．Wedes