hadoop自动化运维管理系统的设计与实现

《hadoop自动化运维管理系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、觀，。。。／如交猶ｍＢＥＩＪＩＮＧＪＩＡＯＴＯＮＧＵＮＩＶＥＲＳＩＴＹ硕ｉ专业学位论文３ｍＨａｄｏｏｐ自动化运维管理系统的设计与实现作者姓名陈炼ｘｍｗｍ訓师赵宏副教授彝二零－六年六月ｒｎｂ＾ｉ＾ｍ如交４乂攀硕±专业学位论文化ｄｏｏｐ自动化运维管理系统的设计与实现ＤｅｓｉｎａｎｄｉｍｌｅｍｅｎｔａｔｉｏｎｏｆＨａｄｏｏｐＡｉＵｏｍａｔｅｄＯｅｒａｔｉｏｎｇｐｐＭａｎａｇｅｍｅｎｔＳｙｓｔｅｍ作者：陈炼导师：赵宏北京交通大学２０１６年６月学位论文

2、版权使用授权书本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北京交通大学可将学位论文的全部或部分内容编入有关数据库进行检索，提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编＾｜。１供査阅和借阅同意学校向国家有关部口或机构送交论文的复印件和磁盘。学校可Ｗ为存在馆际合作关系的兄弟离校用户提供文献传递服务和交换服务。（保密的学位论文在解密后适用本授权说明）学位论文作者签名：除悚导师签名；地心签字日期；年＾月（心日签字日期：如占年ｔ月，日１学校代码：０００４密级：公开北

3、京交通大学硕±专业学位论文Ｈａｄｏｏｐ自动化运维管理系统的设计与实现ＤｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＨａｄｏｏｐＡｕｔｏｍａｔｅｄＯｐｅｒａｔｉｏｎＭａｎａｅｍｅｎｔＳｓｔｅｍｇｙ作者姓名；陈炼学号：１４１２６０７３导师姓名；赵宏职称；副教授工程硕±专业领域：软件工程学位级别；硕±北京交通大学２０化年６月ｉ致谢本论文的工作是在我的导师赵宏教授的悉也指导下完成的，赵宏教授严谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷也感谢两年来赵宏老

4、师对我的关也和指导。赵宏教授用也指导我完成了实验室的各项科研工作，在生活上Ｗ及学习上都给予了我巨大的关也与帮助，对我的论文提出了很多宝贵的意见，尤其在论文的编写上对我进行了无私的指导和帮助，不厌其烦的帮助我进行论文的修改和改进，、的谢意在此向赵宏老师表示衷屯。在实习工作期间，，刘鸦房工程师悉如指导我完成了系统的需求分析工作对工程师表示衷屯、于我的技术工作和论文都提出了许多的宝贵意见，在此向刘鸦房的谢意。另外也感谢家人、。，他们的理解和支持使我能够在学校专屯完成我的学业ｉｉ北京交通大学硕±专业学位论文＾

5、摘要近年来，随着互联网的快速发展，特别是移动互联网的到来，上网的人群越。来越多，随么而来的是产生大呈的数据同时，数据的增长速度十分迅速，对海星数据进行存储与计算将变得非常的困难ａｄｏｏ一。Ｈｐ是个能够对大量数据进行分ａｄｏｏ布式处理的软件框架，通过Ｈｐ能够帮助很多企业解决海虽数据的存储与计算一—问题。Ｈａｄｏｏｐ作为个开源的分布式框架，Ｗ种可靠、島效、可伸缩的方式进行数据处理，受到很多公司的青睐，很多大公司的Ｈａｄｏｏｐ集群的规模己经非常庞大。所Ｗ，对Ｈａｄｏｏｐ集群进行有效的运维，可Ｗ极大地提升运维人员工作的

6、效率，避免重复巧杂的运维工作。Ｈａｄｏｏｐ自动化运维管理系统是公司实际的Ｈａｄｏｏｐ运维项目，严格按照标准软件系统建设流程进行。项目从数据流上可划分成两大部分，基于Ａｎｓｉｂｌｅ的Ｈａｄｏｏｐ自动化运维平台和基于Ｊ２ＥＥ（Ｊａｖａ２ＰｌａｔｆｏｒｍＥｎｔｅｒｐｒｉ化Ｅｄｉｔｉｏｎ，Ｊａｖａ２平台企业版）的Ｈａｄｏｏ。动化运维平台主要是通过Ａｎｓｉｂｌｐ管理平台其中，Ｈａｄｏｏｐ自ｅ对Ｈａｄｏｏｐ集群进行自动化运维，Ｈａｄｏｏｐ管理平台主要是对Ｈａｄｏｏｐ集群的信息进行管理一沈的可，给用户提供工单服

7、务，给运维人员提供个基于Ｗ视化图形操作界面，对接Ａｎｓｉｂｌｅ。本人独立完成Ｈａｄｏｏｐ管理平台的设计与实现，主要包括五、个模块，分别是资产管理模块权限管理模块、工单模块、运维模块、用户中也模块。资产管理主要负贵登记管理集群信息、网格信息、服务器信息、客户机信息和项目信息。权限管理主要负责对用户的操作权限进行划分。工单模块主要负责为公司员工提供公司业务需求解决通道，例如，申请ｈｄｆｓ空间扩容。运维模块主要负责为ｈａｄｏｏ运维人员提供便捷运维通道、ｐ。用户中屯主要负责管理用户基本信息，工单处理记录，待审批工单及待处理

8、工单等操作入口。整个项目采用ＭＶＣ设计模式，由ＳｐｒｉｎｇＭＶＣ，Ｓｐｒｉｎｇ，ＨｉｂｅｒｎａｔｅＨ■大Ｗｅｂ开发框架整合而成，其中工单模块基于Ａｃｔ