面向实时监控系统的计算平台的设计与实现

《面向实时监控系统的计算平台的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201676156学校代码10487密级硕士学位论文面向实时监控系统的计算平台的设计与实现学位申请人：向万鹏学科专业：软件工程指导教师：方少红副教授答辩日期：2018.12.17AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreefortheMasterofEngineeringDesignandImplementationofComputingPlatformforReal-TimeMonitoringSystemCandidate:XiangWanpengMajor:SoftwareEngi

2、neeringSupervisor:Assoc.Prof.FangShaohongHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaDecember,2018华中科技大学硕士学位论文摘要信息时代飞速发展，单台服务器的部署模式已经很难满足大中型企业的业务需求，取而代之的是服务器的集群部署模式。服务器集群规模扩大的同时，集群的运维面临着挑战。运维依赖于监控，而计算是监控系统中最重要的模块，当今的运维环境，直接对监控计算平台的功能、成本、性能、实时性及可靠性等各方面都提出了新的要求。经过对服务器集群监控的计算需求进行深入分

3、析，发现可以将大数据等相关技术应用到监控计算领域，即用多台计算机对海量的监控原始数据进行并行的计算处理。先从目前业界盛行的开源并行计算框架HadoopMapReduce和Spark着手，分析它们的设计思想和基本实现，以及IO、并行化、容错等方面的实现和优化方案。随后介绍适合监控环境下使用的高性能计算平台的设计与实现。以监控领域内的计算需求作为驱动，结合上述开源并行计算框架，引申出本计算平台的架构设计和基本工作原理，然后介绍本计算平台如何在插件化设计的基础上，构建出用于解决不同监控问题的功能插件，以实现对应的监控计算功能。功能实现之后，从性能优化的角度出发，分析计算平台在线程与调度、输

4、入共享、容错等方面的设计与实现。在对该计算平台进行研讨和试验之后，发现该平台已基本满足监控领域内的计算需求，不管是监控的基本计算功能，还是基于性能考虑而设计的线程调度、任务管理、插件化、输入共享等特点特性，都已基本满足预期。关键词：运维实时监控并行计算大数据MapReduceSparkI华中科技大学硕士学位论文AbstractTheinformationageisdevelopingrapidly,thedeploymentmodeofasingleserverhasbeendifficulttomeetthebusinessneedsoflargeandmedium-sizeden

5、terprises,andthedeploymentmodeisreplacedtoclustermode.Astheserverclustergrowsinsize,theoperationandmaintenanceoftheclusterfaceschallenges.Operationandmaintenancereliesonmonitoring,andcomputingisthemostimportantpartofthemonitoringlifecycle.Today'soperationandmaintenanceenvironmentdirectlyputsfor

6、wardnewrequirementsforthefunctions,cost,performance,real-timeandreliabilityofthemonitoringcomputingplatform.Afterin-depthanalysisofthecomputingrequirementsofserverclustermonitoring,itisfoundthatbigdataandotherrelatedtechnologiescanbeappliedtothefieldofmonitoringcomputing,thatis,multiplecomputer

7、sareusedtoperformparallelcomputingonmassivemonitoringrawdata.StartwiththepopularopensourceparallelbigdatacomputingframeworkHadoopMapReduceandSpark,analyzetheirdesignideasandbasicimplementation,aswellasimplementationandoptimization