基于分布式计算平台的海量日志分析系统的设计与实现

《基于分布式计算平台的海量日志分析系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于分布式计算平台的海量日志分析系统的设计与实现代号10701学号0981490382分类号TP3115密级公开UDC编号题中英文目基于分布式计算平台的海量日志分析系统的设计与实现TheDesignandImplementationofaLogAnalysisSystemBasedonDistributedComputingPlatform作者姓名孙寅林学校指导教师姓名职称黄健斌副教授工程领域软件工程企业指导教师姓名职称刘跃高工提交论文日期二〇一二年二月西安电子科技大学学位论文创新性声明秉承学校严谨的学分和优良的科学道德本人声明所

2、呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果尽我所知除了文中特别加以标注和致谢中所罗列的内容以外论文中不包含其他人已经发表或撰写过的研究成果也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意申请学位论文与资料若有不实之处本人承担一切的法律责任本人签名日期西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定即研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学学校有权保

3、留送交论文的复印件允许查阅和借阅论文学校可以公布论文的全部或部分内容可以允许采用影印缩印或其它复制手段保存论文同时本人保证毕业后结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学保密的论文在解密后遵守此规定本学位论文属于保密在年解密后适用本授权书本人签名日期导师签名日期摘要随着互联网的迅猛发展每天由网络产生的日志数据量越来越庞大如何解决海量日志数据处理的问题一直是日志分析领域一个非常重要的研究课题尤其是随着网络技术的迅猛发展Web上的数据正以指数级形式飞速增长且Web上的数据具有海量多样异构动态变化等特点这使得基于单一

4、节点的集中式日志分析平台无法满足目前海量数据网络的分析要求了设计一个通用可扩展的日志分析平台来有效地处理海量日志数据分析Web页面的访问量成为互联网企业发展的必然选择针对该问题本文在分析现有分布式储存和计算等关键技术基础上结合对Hadoop平台的分析与研究设计实现了一种基于分布式计算平台的海量日志分析系统并用本系统进行Web访问量统计本文对该系统的各个功能模块进行了详细的阐述并对本文给出的分布式平台的高效性进行了实验比较分析实验表明采用该分析系统通过多个资源完成原先由一个节点承担的工作无论是在数据处理还是任务执行上其效率都高于基于

5、单机集中式环境的Web日志分析关键词Web日志海量数据Hadoop分布式文件系统日志分析AbstractWiththerapiddevelopmentoftheInternetlogtheamountofdatageneratedbythenetworkeverydayishugeHowtosolvetheproblemofmassivelogdataprocessinghasbeenthefieldofloganalysisisaveryimportantresearchtopicWiththerapiddevelopmento

6、fnetworktechnologydataontheWebistheexponentialformofrapidgrowthandthedataontheWebhasamassivediverseheterogeneousdynamicchangewhichmakescentralizedloganalysisbasedonasinglenodetheplatformcannotmeetthemassivedatanetworkanalysisrequirementsTodesignacommonscalableplatform

7、toeffectivelydealwiththemassivelogdataandanalysisofWebpagevisitstheinevitablechoiceoftheInternetenterprisedevelopmentFortheproblemtheanalysisofthekeytechnicalbasisoftheexistingdistributedstorageandcomputingcombinedwiththeanalysisandresearchontheHadoopplatformwasdesign

8、edandimplementedbasedonthemassofthedistributedcomputingplatformloganalysissystemandusethissystemforWebvisitsstatisticsThispa