安全领域中的大数据分析

《安全领域中的大数据分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、盘点：安全领域中的大数据分析论文类别：计算机-互联网研宄上传时间:2014/4/118:02:00论文作者：未知（中讯）企业定期收集几TB与安全相关的数据（比如网络事件、软件应用程序事件，以及人员活动事件），用来作合规性和事后取证分析。据估计，不同规模的大型企业每天发生的事件在上百亿到上千亿之间。随着企业启用的事件记录源越来越多，雇用的员工越来越多，部署的设备越来越多，运行的软件越来越多，这些数值还会继续增长。不幸的是，这种数据量和多样性会迅速变成骆驼背上的稻草。现有分析技术无法应对大规模数据，通常都会产生很多误报，因此功效被削弱了。随着企业

2、向云架构迁移，并且收集的数据越来越多，这个问题进一步恶化了。大数据分析一信息的大规模分析和处理一在几个领域用的热火朝天，并且最近这些年，因其承诺以前所未有的规模高效地分析和关联与安全相关的数据，也引起了安全社区的兴趣。然而，对安全而言，传统数据分析和大数据分析之间的差异并不是那么直观。毕竟信息安全社区十多年来一直在利用网络流量、系统円志和其它信息源的分析甄别威胁，检测恶意活动，而这些传统方式跟大数据有何不同还不清楚。为了解决这个问题，还有其它问题，云安全联盟（CSA）在2012年成立了大数据工作组。这个工作组由来自业内的和院校的志愿者组成，共

3、同确定这一领域内的原则、纲领及所面临的挑战。它最新的报告，“安全智能中的大数据分析”，重点探讨了大数据在安全领域中的作用。在这份报告中，详细阐述了利用大量结构化和非结构化数据的新工具的介入及广泛使用如何改变了安全分析领域。它还罗列了一些跟传统分析的基本差异，并指出了一些可能的研究方向。我们对这份报告中的一些关键点做了汇总。大数据分析的进展数据驱动的信息安仝数据可以支撑银行的欺诈检测和基于异常的入侵监测系统（IDSs）。尽管为了取证和入侵检测，对闩志、网络流和系统事件进行分析己经是信息安全社区面对了十多年的问题了，然而出于儿个原因，传统技术有时

4、候对长期的、大规模的分析支持力度不够：首先是以前保留大量的数据在经济上不可行。因此在传统的基础设施中，大多数事件日志和其他记录的计算机活动在一个固定的保留期（比如60天）后就被删除了。其次，在那种不完整，还很嘈杂的大型、非结构化数据集上执行分析和复杂査询的效率很低下。比如说，几个流行的信息安全和事件管理（SIEM）工具都不支持对非结构化数据的分析和管理，被严格限定在预定义的数据方案上。然而，因为大数据应用程序可以有效地清理、准备、査询那些笄构的、不完整的、嘈杂格式的数据，所以它们也开始成为信息安全管理软件的一部分。最后，大型数据仓库的管理传统

5、上都很昂贵，并且它们的部署通常需要很强的业务案例。而Hadoop框架和其它大数据工具现在将大规模的、可靠的集群部署商品化了，因此在数据处理和分析上出现了新的机会。欺诈检测是大数据分析屮最显眼的应用：信用卡和电话公司开展欺诈检测的历史已经有几十年丫；然而从经济角度来看，必须用定制的棊础设置来挖掘大数据做欺诈检测并不适于大规模采用。大数据技术的一个主要影响是它们让很多行业的企业能够承担构建棊础设施来做安全监测的开支。特别是新的大数据技术，比如Hadoop生态圈（包括Pig、Hive、Mahout和RHadoop）.流挖掘、复杂事件处理和NoSQL

6、数据库一能够以前所未有的规模和速度分析大规模的异构数据集。这些技术通过促进安全信息的存储、维护和分析改变着安全分析。比如说，WINE平台1和Bot-Cloud2允许使用MapReduce高效地处理数据做安全分析。通过观察过去十年安全工具的反应发生了什么样的变化，我们可以找出其中的一些趋势。当IDS探测器的市场增长时，网络监测探测器和日志工具被部署到了企业网络中；然而，管理这些分散的数据源发过来的警告变成了一个很有挑战性的任务。结果安全厂商开始开发SIEMs,致力于把警告信息和其它网络统计数据整合并关联起来，通过一个仪表板把所有信息呈现给安全分

7、析人员。现在，大数据工具将更加分散数据源，时间范围更长的数据关联、整合和归纳整理起来交给安全分析人员，改进了安全分析人员可获取的信息。ZionsBancorporation最近给出的一个案例研宄可以让我们见到大数据工具的具体收益。它的研宄发现，它所处理的数据质量和分析的事件数量比传统的SIEM（在一个月的数据负载中搜索要花20分钟到一个小时的时间）多出很多。在它用Hive运行查询的新Hadoop系统中，相同的结果大概在一分钟左右就出来了。3采用驱动这一实现的安全数据仓库，用户不仅可以从防火墙和安全设备中挖掘有意义的安全信息，还能从网站流、业务

8、流程和其他日常事务中挖掘。将非结构化的数据和多种不同的数据集纳入一个分析框架中是大数据的特性之一。大数据工具还特别适合用作高级持续性威胁（APT）的检测和取证的基础