基于hadoop的运维日志采集分析平台的设计与实现

《基于hadoop的运维日志采集分析平台的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：了？３１１单位代码：１０４２２密级：学号；馨硕±学位论文ＴｈｅｓｉｓｆｏｒＭａｓｔｅｒＤｅｒｅｅｇ（专业学位）论文题目；募子Ｈａｄｏｅｐ的运维Ｓ志震薦分祈平台巧硬计与窮现Ｄｅｓｉｎａｎｄｈ‘、ｌｅｍ：ｎ化攻；ｆｉｏｆｔｈｅｌａｔｂｎｎｏｆｇｐｐｏｐｅｉｕｄｏｎａｎｄｍ泣ｉｎｔｅｎａｎｔｅｉｏ廷ｉｉ〇！！ｅｃｔｉｏｎａｎａｖａｎｄｌｙｓｉｓｂａｓｅｄｏｎ！ｄｄｏｏｐ作者姓名肖东方。培养单位计算机科学与

2、技术学院专业名称计算化技恭指导教师互時靴站巧巧合作导师＇．，—２０１Ｓ年４月？０日，＇．’．．．＇－，＇；分类号：ＴＰ３１１单位代码：１０４２２密级：学号；２０１３１３３２３ＳＨＡＮＤＯＮＧＵＮＩＶＥＲＳＩＴＹ硕±学位论文ＴｈｅｓｉｓｆｏｒＭａｓｔｅｒＤｅｒｅｅｇ（专业学位）论文题目：基于Ｈａｄｏｏｐ的运维日志采集分祈平台的设计与实现Ｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｔｈ

3、ｅｐｌａｔｆｏｒｍｏｆｏｐｅｒａｔｉｏｎａｎｄｍａｉｎｔｅｎａｎｃｅｌｏｇｃｏｌｌｅｃｔｉｏｎａｎｄａｎａｌｙｓｉｓｂａｓｅｄｏｎＨａｄｏｏｐ作者姓名肖东方培养单位计算机科学与技术学院专业名称计算机技术指导教师王晓琳則教授合作导师２０１６年４月２０日原创性声明，独本人郑重声明：所呈交的学位论文，是本人在导师的指导下立进行研巧所取得的成果，本论文不。除文中己经注明引用的内容外包含任何其他个人或集体已经发表或撰写过的科研成果。

4、对本文的研究作出重要贡献的个人和集体，均已在文中Ｗ明确方式标明。本声明的法律责任由本人承担。－－论文作者签名日期：２０１６３２０：啥知关于学位论文使用授权的声明本人同意学校保留或向国家有关部口或机构送交论文的印刷件和电子版，允许论文被查阅和借阅；本人授权山东大学可将本学位论－文的全部或部分内容编入有关数据库进行检索，可采用影印、缩印或其他复制手段保存论文和汇编本学位论文。保密论文在解密后应遵守此（导师答金戸日期－３－２０；２０１６论文作者签名：的Ａ

5、－山东大学硕±学位论文目泉巧要ＩＡＢＳＴＲＡＣＴＩＩ第１章绪论１１．１研究背景及意义１１２国．内外相关研究２１．３论文主要工作３１４论文３．结构第２章系统架构设计５２．１平台整体架构５２．２分布式存储管理５２．３数据加载子系统６２．４运维日志关联分析子系统７２．５本章小结９巧３章系统律细设计１０３．１数据存储方案设计１０３丄１数据类型１０３．１．２数据访问接口１１３．２数据加载

6、子系统设计１２３．２．１数据接入模块设计１３３．２．２数据落地模块设计１５３．３运维日志关联分析子系统设计１６３．３．１数据预处理模块设计１６３．３．２特征训练模块设计１６３．３．３流日志分类模块设计１７３．３．４离线日志分类模块设计１８３．３．５频繁项集挖掘模块设计巧３．４本章小结２０巧４章系统实现与測试２１４１２．数据加载子系统１４．１．１数据接入模块２１４．１．２数据落地模块２６Ｉ山东大

7、学硕击学位论文４．２运维日志关联分析子系统２７４２７．２．１数据预处理模块４３１．２．２特征训练模块４３２．２．３流日志分类模块４３４．２．４离线日志分类模块４３５．２．５频繁项集挖掘模块４．３本章小结３７巧５章接建Ｈａｄｏｏｐ平台３８５．１集群规划如５．２部署前准备巧５３９．２．１修改主机名５ｈｏ３９．２．２配置并同步ｓｔｓ文件５．２．３安装并配置ｃｌｕｓｈ３９５．２４４０．配置免登

8、陆５ｉａｂｌ的ｌｉｎ４１．２．５关闲ｐｔ及ｓｅｕｘ５．２．６删除旧版本的ｒｐｍ包４１５．２．７安装配置ＨＴＴＰＤ服务４２５．２．８发布ＨＴＴＰＤ内容４２５．２．９分发ｙｕｍ配置文件４５５．２．１０安装ＭｙＳＱＬＪＤＢＣ驱动４６５－．３安装ＣＭＳｅｒｖｅｒ．．．４６５．４燃ＣＤＨＳ４７．５５安装ＣＤＨ服务４８５．５．１安装ＺＯＯＫＥＥＰＥＲ４８５．５．２安装皿ＦＳ４８５．５．３