大数据平台的自动化部署与监控系统设计与实现

《大数据平台的自动化部署与监控系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文论文题目：大数据平台的自动化部署与监控系统设计与实现作者姓名那超指导教师姚明海教授、顾勤龙讲师学科专业控制工程培养类别全日制专业学位硕士所在学院信息工程学院提交日期2016年10月17日浙江工业大学硕士学位论文大数据平台的自动化部署与监控系统设计与实现作者姓名：那超指导教师：姚明海教授、顾勤龙讲师浙江工业大学信息工程学院2016年10月DissertationSubmittedtoZhejiangUniversityofTechnologyfortheDegreeofMasterDesignandImplementationo

2、fAutomaticDeploymentandMonitoringSystemforBigDataPlatformCandidate:NaChaoAdvisor:ProfessorYaoMinghaiLecturerGuQinlongCollegeofInformationEngineeringZhejiangUniversityofTechnologyOct2016浙江工业大学学位论文原创性声明本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作所取得的研究成果。除文中己经加标注引用的内容外，本论文不包含其他

3、个人或集体己经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均己在文中明确方式标明。本人承担本声明的法律责任。：如年曰作者签名：邪盤曰期／Ｉ月＾学位论文版权使用授权书、本学位论文作者完全了解学校有关保留使用学位论文的规定，同意学校保留并向国家有关部口或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权浙江工业大学可将本学位论文的全部或部分内容编入有关数据库进行检。索，可Ｗ采用影印、缩印或扫描等复制手段保存和汇

4、编本学位论文本学位论文属于＾。１、保密〇，在年解密后适用本授权书２、保密□，兰年解密后适用本授权书。＾３、不保密＂＂（请在Ｗ上相应方框内打Ｖ）：作者签名：鄭若曰期如／占年／Ｉ月曰＾导师签爸备如日期年化月日＾浙江工业大学硕士学位论文大数据平台的自动化部署与监控系统设计与实现摘要随着计算机应用的推广以及智能设备的广泛普及，互联网服务所产生的数据量正在快速飙升。“大数据”的概念也应运而生。而在大数据飞速发展的同时，人们也面临着诸多问题。如在整个大数据生态系统当中，很多都是开源软件，部署起来无从下手，即使专业人员从部

5、署到测试完成也需要消耗大量精力。其次对于整个大数据系统的监控来说，各个大数据组件间的监控还相对独立，并且获取监控信息方式也参差不齐。针对这些问题，本论文设计并实现了一套大数据平台自动化部署与监控一体化的系统。主要工作及取得的研究成果有以下几个方面：（1）针对不同大数据组件的部署方式，考虑部署程序的可扩展性和可配置性，以及一些组件的主从配置。用shell脚本以及expect交互语言设计了一套完整的大数据集群自动化部署系统，涵盖Hadoop，Mysql，Kafka，Redis，Jstorm等主要大数据组件。成功设计与实现了自动化部署模块。（2

6、）研究和设计了监控信息初始化模块，并通过自动化部署将集群信息和监控项信息初始化到Zookeeper配置中心。（3）针对现有的大数据集群监控方式，通过研究比较，选择了以JMX为主的系统监控解决方案，并对所有大数据组件以及物理服务器进行监控程序的设计与编写。通过研究nosql数据库，选取了MongoDB作为缓存数据库模块用来储存监控模块采集到的监控信息并响应给Web前端进行展示。（4）将自动化部署模块与监控模块整合到一起，作为解决大数据集群的部署与监控管理的整体解决方案。关键词：大数据，集群监控，自动化部署，JMXi浙江工业大学硕士学位论文D

7、ESIGNANDIMPLEMENTATIONOFAUTOMATICDEPLOYMENTANDMONITORINGSYSTEMFORBIGDATAPLATFORMABSTRACTWiththepromotionofthecomputerapplicationandthepopularityofthesmartequipment,thedatavolumeproducedthroughinternetservicesarerapidlyincreasing.Theconceptof―Bigdata‖isbornattherightmoment

8、.However,peoplefacewithmanyproblemswiththerapiddevelopmentofbigdata.Forexample,firstly,intheecos