呼喊“大”据——大数据安全分析,需谨慎!.doc

《呼喊“大”据——大数据安全分析,需谨慎!.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、呼喊“大”数据——大数据安全分析，需谨慎！ 一、引言单纯的防御措施无法阻止蓄意的攻击者，这已经是大家都认同的事实，应对挑战业界有了诸多方面的探索和实践，而其中最有趣的就非安全分析莫属了，围绕着安全分析展开，我们可以看到大数据、安全智能、情景感知、威胁情报、数据挖掘、可视化等等，因为这些都是安全分析师手中的武器。二、安全战略思路的变化坏的消息是，入侵总会发生，再强的防御也难以做到御敌于国门之外，攻击者总会进入到你的网络中；那么好消息就是入侵和破环是两回事，虽然也存在入侵开始到实际损害发生之间时间窗口很短的情况，但是我们

2、也还是看到，大多数入侵如果想达到目的，需要较长的时间，特别定向攻击和APT攻击。那么如果安全团队可以在攻击者完成使命之前阻止其活动，就可以做到这点：我们有可能遭受入侵，但可能不会遭遇破环。据此有效的战略是尽可能多的进行实时防御，来防止入侵的可能，同时配合积极的检测（Hunting）与事件响应来避免出现破环，或者最大限度的减少破坏的影响。由此我们知道，传统的安全产品没有过时，我们还是需要4A，需要防火墙、IDPs以及AV这些不同的产品，形成一定的防御纵深，阻止随机性的攻击（通常追求机会，被选中往往是因为展现了易被利用的

3、漏洞），并且延缓攻击节奏，扩大检测和响应的时间窗口。这是一切的基础，如果没有这一步，后续的检测和响应也就缺少了根基，在现实中无法实施。从这点上说，个人也不赞成将某些针对特定组织的攻击都归属于APT范围，如果它是一些传统的安全措施就可以防范的。这可能误导某些组织，在缺乏基本防护措施（产品、组织、制度等）的情况下，盲目的追新求异，达不到切实的安全效果。三、以威胁为中心的安全理念实时防御是以漏洞为中心的，基于漏洞的签名检测机制有着较高的准确性，可以用以进行自动化的阻截。但当基于已知威胁的签名机制不能检测针对其的高级别威胁时

4、，我们就需要转化思路，因此积极的检测和响应则是以威胁为中心，它不再强调单点的检测，也不再单纯的追求告警的精确性，它促使你从面上去着手，将若干的点关联起来，以数据为驱动来解决问题。在整个过程中（数据收集、检测、分析）都需要以威胁为中心，如果丢掉这个中心点，单纯的追求数据的大而全，则必然达不到效果。以威胁为中心，用数据来驱动安全，是检测APT类型威胁的有效手段。需要强调的是，以威胁为中心聚焦在数据收集，但并不强调数据的大，而是价值的高，认为它是一个动态的、周期性的过程，随着威胁的变化，以及分析能力的改变，数据收集的范围将

5、会产生变化的。四、数据收集古语言“磨刀不误砍柴工”，这句谚语非常适合来描述数据收集的重要性。但如果我们单纯的强调全量的数据，会是什么样子？通过简单的数据计算，我们可以知道监控1G的数据流量，如果采用PCAP文件格式存储完整的内容数据，那么一天就需要大约10T的磁盘空间。如果我们要保留90天的数据，再考虑备份、数据索引等需要的空间，哪会是多少？如果你需要监控的网络流量不止1G，如果还需要考虑主机及业务应用的日志？庞大数据的存储和维护固然是问题，还需要考虑到当盲目收集数据之后，也许这些数据的命运是永远躺在磁盘中，仿佛从不

6、存在，更甚者还会给后续分析过程带来混乱、不确定性和低效率。因此明智的问题是“我从哪里获得所需要的数据？”，而不是“我需要对该数据提出什么样的问题？”Gartner在《SecurityInformationandEventManagementFuturesandBigDataAnalyticsforSecurity》一文中也特别的强调“分析的意识和探索数据的欲望”，认为这才是大数据安全中最关键的成功标准，首先学会问问题，而不是盲目收集数据或者是急于建立一套Hadoop大数据平台。五、数据种类以威胁为中心进行数据收据，自

7、然包括威胁情报的收集，在之前的《小议威胁情报》中已有涉及，后续有时间也会就如何建立组织的威胁情报平台整理自己的观点和大家共同讨论，这里不再多言，而专注于组织内部的数据收集。企业内部数据一般需要考虑一下几个种类：1.环境业务类数据：包括资产及属性（业务、服务、漏洞、使用者...）、员工与账号、组织结构等，这类数据也会被称环境感知数据、友好类情报等。此类数据往往难以从机器中直接获取，但对安全分析会有巨大的帮助，往往要依赖安全体系建设而逐步完善；2、网络数据：包括FPC（FullPacketCapture，一般是PCAP格

8、式）、会话或Flow数据，PSTR（PacketString，这种数据格式包括指定的协议头部内容，如HTTP头数据）。PSTR数据大约是FPC的4%左右，而Flow数据则是0.01%。PSTR是大小更容易管理，并且允许增强可见性的一种数据类型。3.设备、主机及应用的日志：它可以包括诸如Web代理日志、路由器防火墙日志、VPN日志、windows