基于hadoop平台的流量异常检测的方法研究

《基于hadoop平台的流量异常检测的方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、讀爲式於：＾專ＷｕｈａｎＩｎｓｔｉｔｕｔｅＯｆＴｅｃｈｎｏｌｏｇｙ硕：ｔ学位论文基于Ｈａｄｏｏｐ平台的流量异常检测的＂方法硏究．．識＇．．打三．Ｉ■－一祭砖巧学科专业：升算机技术喊研究生：視洁：心丐指导教师；蔡琼教授；＼培养单位：计算机科学与工程学踪二〇—六年九月独创性声明本人声明所扯义的学位论义是我个人在导师指导Ｋ进巧的硏巧■．．丄；作及取待的研究成化。尽我所知陈文中已经标明引用的巧容外，本论文不包巧巧何巧他个乂或銀体曲经发表或撰骂过的研巧成采。巧本文的硕究做化巧献化个人巧浓体

2、，，巧Ｌｉ在文中抖明确方巧巧明本人距全患识到本芦明的法律结果化本人承驻。巧位论文化巧签名：的；Ｉ２０於年／ｎ学位论文版权使巧沒极书本举位论义作齐完全Ｔ解我校朽关保留、化Ｗ学位论义的规定，即：巧校信奴保留巧向固家钉关祐。或机构送义论义的技印件巧电子Ｉ：程乂巧研究化处婚本巧位飯，允巧抢文敲查阅。本人授化風议论义的金部或部分巧容骗入巧义数据库巧行检樂．＂八处采用渺印、縮印或巧描等控賴手段保巧巧汇编本学化论义＝保密曰，在年解密后适巧本授权书。本论义陋于不保密换＂＂（帘化ＷＪ：方髓内打Ｖ）举位论义化者签名：Ｓ４若指导教师签名：、之寺

3、化爲２０／＾＞年巧／ｎ２０《年ｆ巧ｆ日分类号：TP393.081学校代号：10490学号：201405008密级：公开武汉工程大学硕士学位论文基于Hadoop平台的流量异常检测的方法研究作者姓名：指导教师姓名、职称：申请学位类别：学科专业名称：研究方向：论文提交日期：年月日论文答辩日期：年月日学位授予单位：学位授予日期：年月日答辩委员会主席：ResearchonthemethodoftrafficanomalydetectionbasedonHadoopplatformAThesisSubmittedfortheDegreeofMasterMajor：ComputerTech

4、nologyCandidate：HuJieSupervisor：Prof.CaiQiongWuhanInstituteofTechnologyWuhan,Hubei430073,P.R.China摘要流量异常指的是网络中的流量呈现不规则的明显变化。网络中间隙的拥塞、分布式拒绝服务攻击、端口扫描或者网络环境异常等都能够引起网络的异常。这些网络异常情况给运营商和用户都带来了很不好的体验，在这时候流量异常检测就突出了其必要性。互联网的告诉发展也带来了数据的急剧增长，而网络中的流量异常情况也随之增多。面对这种情况，传统的流量异常检测在针对大数据量方面具有很大的局限性了。而Hadoop在海量数据

5、的处理上具有高效、高容错、高扩展和高可靠等优势。因此，流将量异常检测和Hadoop相结合能够更好的检测大的数据量中的流量异常现象。本文通过对网络中异常流量特征进行分析检测之后提出了一种通过对固定的包数进行流量特征分析的检测流量异常的方法。应用这种方法对流量特征的异常变化进行分析,我们可以得到下面的结论：在短暂的时间区间里正常的网络环境下流量会保持着一个相对的稳定性，而在异常的网络环境下流量的特征分布会呈现剧烈的变化，这会使得其产生不稳定性。通过这样的区别，我们可以对流量异常情况进行判断。在整体过程中，使用Hadoop的HDFS分布式文件系统存储数据文件，通过提出一种基于MapReduc

6、e流量异常检测的算法将其代入到MapReduce的计算模型之中。根据前面提出的算法，本文设计并提出了一种基于Hadoop的流量异常检测系统。通过对实验数据的对比分析我们可以确定该算法是可行与有效的。关键词：流量异常；异常检测；Hadoop；MapReduce；流量特征IAbstractTrafficanomalyissignificantchangesinthenetworktrafficrules.Theshortofcongestioninthenetwork,distributeddenialofserviceattacks,awiderangeoflocaleventsorne

7、tworkroutinganomaliescancausenetworkanomalies.Thesenetworkanomaliesbroughtverybadexperiencetooperatorsandusers,andtrafficanomalydetectionisveryimportantatthistime.ThedatahaveexplodedwiththerapiddevelopmentoftheInternetandthe