基于hadoop海量日志文件的网站并发性能分析

《基于hadoop海量日志文件的网站并发性能分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、单位代码：10293密级：硕士学位论文论文题目：基于Hadoop海量日志文件的网站并发性能分析学号1011041017姓名赵莹映导师章韵教授学科专业计算机应用技术研究方向计算机网络申请学位类别工学硕士论文提交日期二零一四年二月万方数据WebsiteConcurrentPerformanceAnalysisBasedonMassiveLogFilesinHadoopThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngin

2、eeringByZhaoYingyingSupervisor:Prof.ZhangYunFebruary2014万方数据南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。研究生签名：_

3、____________日期：____________南京邮电大学学位论文使用授权声明本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索；可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。涉密学位论文在解密后适用本授权书。研究生签名：____________导师签名：____________日期：_____________万方数据摘要商业数

4、据、科学数据、网页数据这三大类海量数据凭借着异构性、动态性和膨胀性等特点给传统的数据处理方式带来巨大压力。以Hadoop为代表的大规模数据处理技术突破以往的单机数据处理模式，引入大规模分布式计算机集群来提升数据处理性能，大大减轻了数据处理压力。Hadoop技术现已凭借着可伸缩性、健壮性以及计算性能和成本上无可替代的优势逐渐发展为海量数据处理的最佳解决方案，受到越来越多IT企业的重视。本文首先研究海量数据相关技术的应用现状及Hadoop平台的设计架构，选取网站自动生成的日志文件为处理对象，提出一种基于Hadoop的海量日志文件处理模型。根据

5、日志文件信息冗余、格式不统一的特点，该模型在设计时首先对格式进行解析处理，提取其中有价值的信息并将其键值化。再遵循MapReduce编程框架，分两阶段设计任务汇总模块和对结果的求平均排序模块，目的是能根据日志提供的信息统计出网站的并发量及平均响应时间，以此探索网站并发量高的时候响应时间的变化情况，分析网站性能的优劣。该方法优势在于简化了分布式程序，一次性解决了底层封装、任务分配、并行处理、容错支持等细节，改善了运行效率。之后再通过具体部署实例、搭建集群，比较该方法与传统方法的区别，验证该模型能达到在分布式环境下高效处理海量日志文件的设计目

6、的，并同时具备健壮性和可扩展性。关键词:Hadoop，海量数据，分布式系统，日志处理，集群计算I万方数据AbstractThethreecategoriesofmassivedata,businessdata,scientificdataandwebdata,havethreefeatures,heterogeneity,dynamicandexpansive.Thesebringenormouspressurestotraditionaldataprocessing.Developerstrytobreaktheconventional

7、stand-alonedataprocessingmode,andtrytouselarge-scaledistributedcomputerclusterstoimprovedataprocessingperformance.ThemassdataprocessingtechnologyrepresentedbyHadoopstandsoutinanumberofcompetitors.Itgreatlyreducesthepressureofdataprocessing.Thereforalltosee,becauseofthevir

8、tuesofscalability,robustnessandirreplaceableadvantagesincomputationalperformanceandcost,itgradua