大数据平台运行监控系统的研究与应用

《大数据平台运行监控系统的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、斯《猶，ｍＢＥＩＪＩＮＧＪＩＡＯＴＯＮＧＵＮＩＶＥＲＳＩＴＹ专业学位论；３：！＾Ｂ｜ｐｉｐＨ大数据平台运行监控系统麵究与应用ｗＵ旨导教师李红辉研究员省养院系计麵与信脯术学院ｐＨＶ＾Ｐ＾＾ＢＢ７ＪＷ硕±专业学位论文大数据平台运行监控系统的研究与应用Ｒｅｓｅａｒｃｈａｎｄａｌｉｃａｔｉｏｎｏｆｂｉｄａｔａｌａｔｆｂｒｍｐｐｇｐｏｅｒａｔｉｏｎｍｏｎｉｔｏｒｉｎｓｓｔｅｍｐｇｙ作者：赵宇导师：李红辉北京交通大学２０１６年６月学位论文版权使用授权书本学位论文作者完全了解北京交通大学有关保留、使用学位论

2、文的规定。特授权北京交通大学可Ｗ将学位论文的全部或部分内容编入有关数据库进行检索，、、提供阅览服务，并采用影印缩印或扫描等复制手段保存汇编レッ供查阅和借阅。同意学校向国家有关部口或机构送交论文的复印件和磁盘。学校可Ｗ为存在馆际合作关系的兄弟高校用户提供文献传递服务和交换服务。（保密的学位论文在解密后适用本授权说明）学位论文作者签名；导师签名：？签字日期：＞０化年６月Ｗ日签字日期：＞《年／月Ｙ日价０泌：公化节投代中１（１密北京交通大学硕：ｔ专业学位论文大数据平台运行监控系统的研究与应用Ｒｅｓｅａｒｃｈａｎｄａｌｉｃａｔｉｏｎｏｆ

3、ｂｉｄａｔａｌａｔｆｏｒｍｐｐｇｐｏｐｅｒａｔｉｏｎｍｏｎｉｔｏｒｉｎｇｓｓｔｅｍｙ作者姓名：赵宇学号：１４１２５２２３导师姓名：李红辉职称：研究员工程硕±专业领域；计算机技术学位级别；硕±北京交通大学２０１６年６月ｉ致谢时光巧巧，。两年的研究生的生活就耍过去了，回想起来充实而美好两年学习化活教会了我许多做人做事的道理，也使我各方面的专业能力得到了锻炼，这所巧的收获和进步都离不开老师的悉屯、培养和同学的无私帮助，更窝不开家人的、。因此，在论文完成之际支持和鼓励，对他们表示真屯的感谢。首先我要感谢我的导师李红辉老师巧项

4、目组导师杨芳南老师，我的论文从定题到定稿，倾注了两位老师大量的必血。在我攻读硕±研究生期间，深深受益于、李老师的关屯、爱护和谭谭教导，在学习和生活上都给予了我很大的帮助。她作。为老师，点拨迷津，让人如沐春风，关怀备至，让人感念至深能师；作为长辈从李老师！，我为自己感到庆幸，在此谨向李老师表示我最诚挈的敬意和感谢在项目的开发过程中，杨老师的专业能力让我获益良多，悉也指导我完成了科研工作。当我遇到开发瓶颈或者难Ｗ及解决的问题，杨老师总会根据经验给我提出宝。贵的意见和建议，让我及时拨正思路，顺利完成课题工作杨老师让我领略了真正的学术精神，严谨的治学态度和坚初的探

5、索精神，我将终生受益。感谢网管中心实验室的同学们，他们与我并肩战斗。在我的研巧过程中遇到问题时，他们总是热也帮助我解决，使我的论文更完善，我们共同营造了实验室良好的学习氛围和学习环境，我为这个集体感到骄傲。他们的眷智和勤勉，他们的帮助和鼓励一，都是我生的财富。一感谢每位授课老师，他们不仅无私的传授给我们知识，而且更重要的是他们高尚的人格品德在无形之中教会了我许多为人处事的道理。在此，我将深深的一位平凡却伟大的老师敬意和赞美献给每。一一北京交通大学一感谢我生活学习了六年的母校，母校给了我个宽阔的学习平台，让我不断汲取新知，充实自己。一感谢我的家人一，

6、是他们在我每次跌倒时给我再次奋斗的力量，在我每次失意时给我最温暖的安慰和关怀，是他们的爱让我更加坚强。！学业即将完成感谢所有在我成长中给予我关怀和帮助的人们，我将带着母■校、师长、家人、同学的鼓励巧期望，迈向新的人生阶段。１１ｉ北京交通乂学硕±专化学化论文？摘要近年來，，大数据技术迅猛发展越来越多的互联网企业开始将项目部署巧集群上。在实际应用中，集群资源丰富、环境复杂，保证集群的正常运行尤为重耍，于是大数据平台运行监控系统应运而生。监控系统旨在实时监拉集群、节点Ｗ及节点上计算作业的疫行情况，及时发现异常并告警，保证调度任务的顺利完成。本文

7、对集群监控关键技术进行了深入的研究与分析，针对实时监控集群健康状况的迫切需求，为解决现有系统在作业运行监控方面的局限及不足，重点研究了针对集群作业运行的监控方法，提出了基于ｓｎｍｐ协议的监控代理和监控插件的实现方案，并搭建了大数据集群实验环境，通过实验验证了方案的有效性，结果表明本文的监控策略是有效可行的，可Ｗ保证大数据平台的稳定运行，满足集群监控实际需求。本文的主要工作及研究成果如下：（１）通过研究大数据平