ntci-flow一种可扩展的高速网络流量处理框架

《ntci-flow一种可扩展的高速网络流量处理框架》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、NTCI-Flow：一种可扩展的高速网络流量处理框架王煜骢1，陈兴蜀*，罗永刚，王岳（四川大学计算机学院，四川成都610065）摘要：针对当前基于软/硬件的流导出技术存在的数据失真、不易扩展等问题，提出了一种准确、通用、易扩展的高速网络流量处理框架NTCI-Flow。该框架通过增加高性能包抓取工具，改进与优化传输性能，实现万兆流量的准确采集与转发；通过引入消息系统将流量高速导入实时处理平台进行分布式的包解析与流重组，实现分布式的包解析与流重组功能；通过增加Hive流数据导入模块，实时存储网络流量，实现了万兆流量的准确

2、采集及可扩展处理，为大数据分析网络流量奠定基础。实验结果表明，NTCI-Flow可实现万兆流量的采集与处理，每秒可处理1260万个包，易于在大规模集群中部署，具有良好的扩展性，且得到的流量统计信息比NetStream更准确。关键词：包抓取;大数据;分布式;Storm;流重组中图分类号：TP302文献标志码：ANTCI-Flow：AScalableHigh-speedNetworkTrafficProcessingFrameworkWANGYucong,CHENXingshu*,LUOYonggang,WANGYue(

3、SchoolofComputerSci.,SichuanUniv.,Chengdu610065,China)Abstract:Currentsoftware-basedandhardware-basednetworkflowexporttechnologiesarelackofscalabilityanddataaccuracy.Inordertosolvetheseproblems,aaccurate,generic,scalablehigh-speednetworktrafficprocessingframewo

4、rkNTCI-Flowwaspresented.Firstly,thecollectionandforwardingof10Gbpsnetworktrafficwasrealizedbyaddinghigh-performancepacketcapturetoolandimprovingtransmissionperformance;Secondly,thefunctionofdistributedpacketparsingandflowrestructuringwasachievedbyimportingnetwo

5、rktrafficintorealtimeprocessingplatformwithmessagesystem;Finally,networktrafficwasstoredintoHiveinrealtimebyimplementingstreamingdatastoragemoduletoachievethegoalofBigdataanalysisofnetworktraffic.ExperimentalresultsshowedthatNTCI-Flowcouldrealizethecollectionan

6、dhandlingof10Gbpsnetworktrafficandprocess12.6millionpacketspersecond.Inaddition,NTCI-Flowcouldbeeasilydeployedinlarge-scaleclusterwithbetterscalabilityandtrafficstatisticsaccuracythenNetStream.KeyWords:packetcapture;BigData;distributed;Storm;flowrestructuring99

7、网络流量信息是网络安全分析系统中的重要数据源，但随着网络流量规模的不断增加，处理网络流量变得更加困难。为应对该问题，已有解决方案大致可分为以下几类：1）基于硬件的解决方案基于硬件板卡采集网络流量是目前较通用的解决方案，即使用IPFIX[1]、NetFlow[2]或NetStream[3]采集板卡实现流量采集及网络流导出。但是，该方案需网络设备（如路由器）支持，并且由于它使用采样的方式采集网络流量，牺牲了数据的准确性，导出的网络流信息与实际流量存在偏差，不适用于网络安全分析的场景。2）基于软件的解决方案随着x86平台的

8、发展，已有许多机构研究利用单机多核的软件方式对网络流量进行采集与处理。99收稿日期：2016-05-31.基金项目:国家自然科学基金资助项目“基于动态多维特征的网络行为模型研究”（61272447）作者简介：王煜骢（1991-），男，硕士生.研究方向：大数据安全.E-mail:stwwxjs@163.com.*通信联系人E-mail:chenx