基于Spark框架的分布式入侵检测方法-论文.pdf

《基于Spark框架的分布式入侵检测方法-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2015年7月计算机工程与设计July2015第36卷第7期COMPUTERENGINEERINGANDDESIGNVoL36No．7基于Spark框架的分布式入侵检测方法左晓军，董立勉，曲武(1．河北电力科学研究院，河北石家庄050021；2．北京启明星辰信息安全技术有限公司核心研究院，北京100193；3．清华大学计算机科学与技术系，北京100084)摘要：为以较低的误报率和较高的检测率对攻击和恶意行为进行实时检测，基于Spark框架和位置敏感哈希算法，提出一种分布式数据流聚类方法DSCLS，能够处理实时数据流，可根据数据流速进

2、行横向分布式扩展。基于DSCLS分布式聚类算法，建立网络入侵检测系统，能够高速实时分析数据流，聚类相关模式，实时检测已知攻击和入侵，能够对未知的新型攻击进行检测。理论分析和实验结果表明，与主流的数据流聚类算法D-Stream相比，DSCLS方法能够有效提高检测率并降低误报率，在时间性能和可扩展性方面更有优势。关键词：入侵检测；数据流；聚类；位置敏感哈希；DSCLS算法中图法分类号：TP391文献标识号：A文章编号：1000—7024(2015)07—1720—07doi：10．162o8／j．issnlO00-7024．2015．0

3、7．009DistributedintrusiondetectionapproachbasedontheSparkframeworkZUOXiao-jun．DONGLi—mian。QuWu。'。(1．HebeiElectricPowerResearchInstitute，Shijiazhuang050021，China；2．CoreResearchInstitute，BeijingVenustechCybervisionLimitedCompany，Beijing100193，China；3．DepartmentofComputer

4、ScienceandTechnology，TsinghuaUniversity，Beijing100084，China)Abstract：TogetlowerfalsealarmrateandhigherdetectionratetOdetectattacksandmaliciousbehavior，adistributedreal-timedatastreamclusteringmethodDSCLSbasedontheSparkframeworkandlocationsensitiveHashalgorithmwaspropos

5、ed．Thealgorithmwasnotonlyabletohandlereal—timedatastreams，butcouldbelaterallydistributedandextendedaccordingtOthedataflowrate．AnetworkintrusiondetectionprototypesystembasedontheDSCL~distributedclusteringalgorithmwasestablished．ByusingtheDSCI~distributedclusteringalgori

6、thmbasedontheSparkframeworkandtheLSHalgorithm，thesystempro—cessedthedatastreaminrealtime，clusteredrelatedpatterns，andprovidedreal-timedetectionofknownattacksandnewun—knownattacks．Theoreticalanalysisandexperimentalresultsshowthat。comparedwiththemainstreamofthedatastream

7、clus—teringalgorithmD-Stream，。theDSCLSmethodcaneffectivelyimprovethedetectionrateandreducethefalsepositiverate，andithastimeadvantageintermsofperformanceandscalability．Keywords：intrusiondetectionsystems；datastream；clusteringalgorithm；localsensitiveHash；DSCLSalgorithm行为。

8、具体表现为，攻击者通过网络以非授权的方式访问0引言系统，系统授权用户误用授权或是试图获得额外权限。入入侵检测系统对计算主机或网络传输进行即时监视，侵检测系统(intrusiondetectionsystems，IDS)是一类能分析入侵