基于hadoop的网络日志分析系统研究

《基于hadoop的网络日志分析系统研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于Hadoop的网络日志分析系统研究ISSN1009—3044Compu-rKnowle内eandTechnology电脑知识与技术Vol.6,No.22.August2010,PP.6163—6164,6185E一mail:init)@CCCC.net.cnhttp://www.dnzs.net.cnTel汁86—551—56909635690964基于Hadoop的网络口志分析系统研究胡光民•周亮2•柯立新(1」海海洋犬学现代信息与教育技术中心E海201306;2_上海海洋大学信息学院,上海20

2、1306)摘耍:查看网络H志是调查系统故障，监控系统运行状况的重要手段•管理员可以查看在某段时间内所发生的事件•也可以通过对各个日志文件进行分析获取知识..由于日志具有数据量大，不易读懂的特点，如果仅凭借管理员查看日志记录的手段，其中所蕴含的有用信息也难以发现.分布式计算技术正好可以用来解决这一难题.阐述了syslogFl志收集流程，详细介绍了Hadoop分布式计算框架，设计并实现了一套基于Hadoop的网络日志分析系统.实验证明该系统是有效而实用的关键词:Hadoop框架;分布式;日志分析;sysl

3、og中图分类号:TP393文献标识码:A文章编号:1009—3044(2010)22—6163—02ResearchonHadoop一basedNetworkLogAnalysisSystemHUGuang—min.ZHOULiangi.KELi—xin(l.ModemInforiTiationandEducationTechnologyCenter,ShanghaiOceanUniversity,Shanghai201306,China;2.CollegeoflnformationScience,S

4、hanghaiOceanUniversity,Shanghai201306,China)Abstract:ViewingWeblogisanimportantmeasuretOinvestigatesystemfailuresandmmfitoroperatingstatusofthesystem.Administra一torscanexaminewhathappenedatacertaintime.theycanalsoanalyzeeachlogfileforpurposeofacquiringk

5、nowledge.Iftheadministra一toronlyreviewthestatusbyvirtueofcheckinglogfilesJtisdifficulttOfindusefulinformationthatcontainedinthosefiles,asthelogfilesischaracterizedbylargevolumeofdataanduneasytoread.DistributedcomputingtechnologycanbeusedtOsolvethisprobl

6、emexacdy.ProcessofSysloglogcollectionisexplained.detailsoftheHadoopdistributedcomputingframeworkisintroducedinthispaper.andaHadoop一basednetworkloganalysissystemisalsodesignedandimplemented.Experimentalresultsshowthatthesystemiseffectiveandpractical.Keyw

7、ords:Hadoopframework;distributed;loganaIysis;syslog随着计算机技术的发展，高校数字化建设的步伐越来越快，采用的系统越来越多,为了保护系统的安全，方便调查系统故障，监控系统运行状况，查看日志己经成为一个垂要的手段.管理员可以查看在某段时间内所发牛的事件，也可以通过对各个日志义件进行分析获取知识•由于日志具有数据量大，不易读懂的特点,如果仅凭借管理员查看H志记录的手段，其中所蕴含的有用信息也难以发现.挖掘出口志屮蕴藏的信息來改进用户体验提升管理水平是非常有

8、价值的,然而使用传统的技术对这些海量日志进行分析时无论在存储和计算量上都遇到了瓶颈，此时分布式计算技术进入了人们的视野.Hadoop作为着名开源组织TheApacheSoftwareFoundation旗下专注于分布式计算的开源项目最近广受业界的关注.在Yahoo!Hadoop被广泛应用到网页搜索，口志分析，广告计算和科学实验中•着名网站Facebook使用600个节点的Hadoop集群进行网站日志分析和数据挖掘，此外AOLJBM,Amazon等众多IT