基于docker的日志平台系统的设计与实现

《基于docker的日志平台系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Docker的日志平台系统的设计与实现TheDesignandImplementationOfDocker–BasedLogPlatform工程领域：软件工程作者姓名：苟晶晶指导教师：宗群教授企业导师：杨宏青研究员天津大学软件学院2017年5月万方数据万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得天津大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已

2、在论文中作了明确的说明并表示了谢意。学位论文作者签名：签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解天津大学有关保留、使用学位论文的规定。特授权天津大学可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。（保密的学位论文在解密后适用本授权说明）学位论文作者签名：导师签名：签字日期：年月日签字日期：年月日万方数据万方数据中文摘要日志是解决软件在运行过程中出现问题的重要依据，在企业日常的业务平台上会产生大量的日

3、志数据，管理人员如果以传统的方式在多节点上采集、传输、分析和存储相关日志数据，那么将会是繁琐耗时，降低工作效率的方式，如何解决自动采集、传输、分析和存储这些日志数据，以管理TB级的日志数据为目的，基于Docker技术，设计并实现了具备高可用性，高可靠性和可扩展性的日志平台系统。针对分布式系统上的多节点日志数据自动采集、采集过程中产生与消费不同步所造成的系统瓶颈压力、分布式环境下应用服务器集群自动部署和扩展、日志数据查询、统计和分析等技术问题，对日志平台系统进行了需求分析，根据需求分析，设计了客户端-服务器模型的日志平台的总体结构、

4、工作流程。其软件框架采用分层结构。提出了解决日志平台系统的日志采集、聚合、解析索引、检索与存储功能模块的设计方案。针对日志平台系统的分布式环境下的部署和扩展，提出了以Docker容器技术的解决方法。基于日志平台整体架构，对日志平台进行了详细设计，确定了各功能模块的工作流程，并且通过关键技术编程，满足了各功能模块的设计需求。实现了日志数据的采集、聚合、解析索引、检索与存储等功能。体现了企业提高日志管理水平的业务思想。对Docker容器部署策略和其扩展性进行了阐述。完成了对日志平台系统瓶颈进行传输日志数据压力测试，验证了系统的高可用性

5、、高可靠性。本平台设计并实现了复杂业务和部署环境下的日志采集、聚合，解析索引、存储与检索功能，提供了外部第三方分析平台的接口，帮助用户进行线上业务的准实时监控、业务异常定位、业务趋势分析、安全与合规审计，通过Docker的部署方式有效的支撑了后续的水平扩展，为深度挖掘日志的大数据价值提供了基础平台。关键词：Docker容器，日志采集，日志聚合，消息中间件Ⅰ万方数据万方数据ABSTARCTLogsprovideanaudittrailthatcanbeusedtounderstandtheactivityofthesystemand

6、todiagnoseproblems.Alargeamountoflogfilescanbegeneratedinday-to-dayoperationsofacompany.Itwouldbetime-consumingandinefficientifstaffusestheconventionalmulti-nodemethodofcollecting,delivering,analyzingandstoringlogdata.Inordertomanageterabytesofdata,itisnecessarytocomp

7、letethetaskautomatically.ThelogplatformbasedontheDockertechnologyprovidesauseful,reliableandexpandablemethod.TheDocker-basedlogplatformisdesignedforthemulti-nodedatacollectionandsystematicpressureduetounsynchronizationduringdatacollection.Theplatformsolvesseveralprobl

8、ems.Forexample,logdatacouldnotbestoredforalongperiodoftime.Inaddition,theoutputformatsoflogdataarenotunique.Theplatformcanau