试论网络安全分析中大数据技术的应用

《试论网络安全分析中大数据技术的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、试论网络安全分析中大数据技术的应用佟瑶辽东学院信息工程学院信息管理与信息系统系摘要：网络安全分析工作直接影响数据储存、数据传输等任务的安全性和有效性。基于此，本文主要针对当前网络安全分析现状进行分析，对大数据技术在数据采集、数据查询、数据存储以及数据处理等网络安全分析工作屮的应用进行细化分析，以期在丰富网络安全分析方而研宂的同时，为大数据技术在网络安全分析中的实践应用提供可靠的理论参照依据。关键词：网络安全;人数据技术;数据采集;0前言在互联网不断普及的背景中，网络安全分析工作产生了较为明显的变化。这种

2、变化主要体现在以下几方面:第一，数据分析方法方面。互联网在人们H常工作、生活中得到了广泛的应用，因此，网络安全分析中的数据量、数据种类也产生了极大的变化。为Y满足分析要求，需运用多维分析方法开展网络安全分析工作。第二，分析难度方面。从本质角度来讲，可以将网络安全分析看成是采集数据、处理数据的过程。当数据本身的传递速度及数据量发生变化时，网络安全分析中的数据釆集速度、处理速度也需要随之变动。因此，当前M络分析的难度相对较1网络安全分析中大数据技术的应用这里主耍从以下儿方面入手，对网络安全分析中大数据技术的

3、应用进行分析和研究：1.1数据釆集方面网络安全分析的数据对象主要包含流量、□志这两种。大数据技术的引入可以将网络安全分析中的数据采集工作变得更加快捷:即运用Chukwa等工具，参照闩志、流量数据的类型，通过分布采集的方式高速完成数据信息的采集。与传统技术和比，大数据技术的应用可以有效保障数据采集的完善性，且全流量数据的准确性能够得到有效保障。1.2数据查询方面在数据查询方面，大数据技术的应用可将MapReduce作为数据检索的棊本架构，参照实际要求向所有分析节点发送数据查询请求主语。当分析节点接受到这一

4、请求后，可通过分布式并行计算方法判断自身节点是否存在查询所需数据。若存在,将满足MapReduce的的查询请求，为其显示所需流量、H志等相关数据信息。在这种网络安全分析模式下，数据的査询、检索速度将发生显著提升。对于网络安全分析人员而言，大数据技术的应用可有效提高其工作效率，减轻其工作压力。1.3数据存储方面在传统网络安全分析中，数据存储的难度主要在于数据的高速传输及多样化的数据种类上。大数据技术的应用通过提供不冋储存方式的工作模式，满足网络安全分析工作的数据存储需求。以供检索的原始安全数据（如流量历史

5、数据等），大数据技术借助Hbase列式储存方法，发挥该方法的快速索引优势，快速响应数据检索需求，完成原始安全数据的分类化储存UL从大数据技术储存原始安全数据的流程来看:大数据技术按照统一标准对原始安全数据进行处理后，利用Hahoop分布式开展构架计算，根据各计算节点的特征完成原始安全数据的分类,进行脚本分析，最后通过对安全数据的挖掘处理，制作出数据统计报告，并将结果置于列式中进行储存。与常规分析不同的是，若网络安全分析工作要求实时幵展数据分析人物，则利用大数据技术分析原始安全数据的流程将转化为:通过Sp

6、ark等相关流式计算方法，事先将待分析原始安全数据置于对应计算节点上。在实吋分析过程中，当安全数据流经对应节点吋，该计算节点将自动开展数据分析工作，将分析结果转化为安全警告及数据统计成果，最终将所得安全数据分析结果存放至流式存储内部。1.4数据处理方面在网络安全分析中，基于大数据技术的数据处理工作是通过多种不同的处理技术及分析技术完成的。以实吋数据分析为例，可将Storm流式计算架构作为实吋分析的棊础，借助电联分析计算法、复杂事件处理法共同对来自用户的实时安全数据进行分析。大数据技术的应用可以发挥数据实

7、吋监控功能及数据内存实吋分析功能，精确捕捉网络安全分析海量数据中的异常行为，并对异常行为进行抑制和处理，有效保障用户的数据安全及数据传输安全。2基于大数据技术的网络安全平台构建为丫改善网络安全分析质量，保障数据传输安全，可运用大数据技术，构建具有良好安全分析、检测功能的网络安全平台。2.1网络安全平台架构基于大数据技术的网络安全平台架构主要由以下几个要素构成:第一，数据呈现层。该层通过安全度量技术、安全预警技术以及可视化引擎等完成原始安全数据的相关处理任务。第二，数据挖掘分析层。该层主要通过对流量、口志

8、等数据的聚类分析、机器学习、关联分析以及统计分析等，挖掘海量数据、多源异构数据中攻击行为的特征，为网络安全分析工作提供良好的数据基础。第三，大数据存储层。该层主要负责对不同类型数据进行分类存储，以便后续数据挖掘分析、数据检索等工作的顺利展开。第四，数据采集层。该层根据数据类型，如用户行为数据、DNS流量数据、口志数据、镜像流量数据等，分别开展采集工作。与传统采集流程相比，基于大数据技术的采集效率相对较高，整个采集阶段所用时间和对较少。2.2