基于大数据的日志管理系统的设计与实现

《基于大数据的日志管理系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据锌滥呈／J7弋々UDC密级学位论文基于大数据的日志管理系统的设计与实现作者姓名：指导教师：申请学位级别：学科专业名称：论文提交日期：学位授予日期：评阅人：牟肖蓬卢朝霞教授’东北大学研究院硕士学科类别：工学计算机软件与理论2014年6月论文答辩日期：’2014年6月25日答辩委员会主席：栾贵兴栾贵兴柳玉辉东北大学2014年6月万方数据AThesisinComputerSoftwareandTheoryDesignandImplementationofLogManagementSystemBasedonLargeDat

2、aByMuXiaopengSupervisor：ProfessorLuZhaoxiaNortheasternUniversityJune2014万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢=也思0学位论文作者签名：乡幺芝．日期：加／夕、乡．≯舌学位论文版权使用授权书．本学位论文作者和指导教师完全了解东

3、北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年口一年口一年半口两年√学位论文作者签名：签字日期：劫／笋、／。≯<翮虢修签字日期：少／垆．

4、l口、≯b万方数据东北大学硕士学位论文摘要基于大数据的日志管理系统的设计与实现摘要云计算技术实现了软硬件资源的共享，极大节省了用户基础设备的购置和管理成本，促使越来越多的企业将应用程序部署在云

5、平台之上。云计算提供按需服务，动态分配资源，造成了应用程序日志的丢失，同时分布式存储的日志也不便于查看和分析。同志信息对于系统的维护和优化具有重要意义，因此，将云平台下应用程序的日志进行统一的收集和管理是非常必要的。针对云计算环境下应用程序日志的特点，本文做了如下的研究工作：(1)云计算根据应用程序的负载变化情况，动态分配计算资源，造成了应用程序日志容易丢失的问题。本文研究和对比了主流的分布式日志收集系统，从中选择Flume对日志进行集中收集管理。(2)各种应用、中间件、系统等每天都会产生大量的同志，这些同志经过日志收集系

6、统聚合之后，形成了海量的日志信息。传统的关系型数据库已经不能很好的面对海量数据的存储需求。本文考察了当前流行的非关系型数据库，重点研究了其中代表性的MongoDB数据库。研究发现，MongoDB无模式的存储方式、简便的集群扩充等特点非常适合作为海量异构日志的载体。在进一步的研究中发现，MongoDB基于Chunk块的数据均衡策略存在性能严重下降的问题。本文提出基于Chord环的数据均衡策略，依此改造了MongoDB集群，并通过实验验证了改造的有效性。(3)传统的单机日志分析方法面对海量日志时已经力不从心，本文对并行化日志分

7、析方法进行了研究。并行计算模型MapReduce具有简单、适用性强、处理数据规模大等优点，可以满足海量日志的分析需求。最后，基于以上的研究，本文使用Flume、MongoDB和MongoDB自带的MapReduce实现了日志的收集、存储和并行分析，设计并实现了日志管理系统。该系统实现了对日志的集中管理，方便了开发人员和运维人员查看和分析曰志信息，充分利用了日志的价值。关键词：云计算；分布式日志；Flume：大数据；MongoDB：MapReduce．II．万方数据东北大学硕士学位论文AbstractDesignandImp

8、lementationofLogManagementSystemBasedonLargeDataAbstractCloudcomputingtechnologysharesthehardwareandsoftwaresourcesandsavestheusecostininfrastructureandmanagement，whichpromptsmoreandmoreenterprisesdeployapplicationsoncloudplatforms．Cloudcomputingprovideson．demands

9、ervices，dynamicallocationofresources，resultinginalossofapplicationlog，whilethedistributedlogisnoteasyforviewingandanalysis．Loginformationisveryimportant