基于模糊场景关联分析的技术研究与实践

《基于模糊场景关联分析的技术研究与实践》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于模糊场景关联分析的技术研究与实践　　摘要：文章针对海量多源异构安全日志分析问题，提出了一种基于模糊场景的关联分析方法。这种方法打破传统安全告警日志关联分析技术中常采用的构建固定攻击场景的方式。它采用聚类算法对多源异构告警日志进行聚合，综合考虑告警事件的数据来源、数量和事件等级，对每部分进行权重的累加，计算出与源IP对应的事件疑似度。文章介绍了模糊场景关联分析方法的架构原理、技术实现，并通过实例加以说明，对所提出的方法进行验证。结果表明该方法和应用是可行和有效的。　　关键词：安全日志；多源异构日志；模糊场景关联分析；聚类分析；疑似度　　随着网络应用的迅速发展，安全管

2、理问题日益繁杂。企业单位采用各种网络安全设备，如防火墙、入侵检测系统、病毒木马检测系统、行为审计系统、漏洞扫描器等，节点分散，数量品牌多，产品差异大，各安全设备功能相对独立，告警日志多。例如连续运行的入侵检测系统报警量常常达到G数量级。据统计，其中约有99%以上是无关报警。传统对各种告警日志进行单独分析和处理的方法，由于忽略各种类型日志之间的相关性，使其分析结果无法准确地反映网络系统的安全状况，管理员湮没在大量告警中，很难了解系统的安全威胁状况，无法在海量日志中快速定位有价值的安全威胁，也不能及时采取有效的响应措施。因此，针对这种多源异构告警日志的模糊场景关联分析具有

3、重要的实用价值和研究意义。8　　近年来，国内外研究人员从不同角度对多源异构日志进行研究，并取得一定的成果。Asif-Iqba等提出了一种异构日志事件过滤的方法，利用聚类算法过滤冗余的日志事件，最后对日志事件进行聚合，从而有利于多源日志事件关联分析；Robiah等提出了一种基于异构日志的入侵报警关联分析方法；文献通过对日志文件的交集进行分析来发现用户的恶意行为，从而提高系统的安全性，但该方法只能对防火墙日志与应用系统日志进行分析；文章提出了一种日志关联分析模型，通过对不同来源的日志文件进行采集、过滤、规范化以及关联分析，重构攻击序列。　　以上方法为多源异构日志分析工作提

4、供了可行的解决思路，为日志分析模型及算法奠定了良好的基础，但也普遍存在分析数据源不够广泛、分析技术单一等问题。为此，本文提出了一种包含聚合分析、统计分析和关联分析在内的模糊场景关联分析方法，旨在解决从海量信息安全报警日志中快速准确关联分析出最有威胁攻击行为的问题，辅助管理员对事件进行深度分析和准确处理，实现海量异构安全报警的高效关联分析及处置，以减少网络攻击威胁对信息系统所造成的影响。　　1系统架构8　　本文所使用的模糊场景关联分析是对各类安全设备告警日志数据的深入挖掘和分析，该算法应用在某单位安全运维一体化管控系统的核心关联分析引擎中。模糊场景关联分析算法依靠内存数

5、据库的高效率特点，将格式化后的安全告警日志实时保存在内存中进行周期性快速比对分析，依据攻击源和目的IP地址聚合后攻击行为的次数、类型、攻击手段、事件名称等关键要素进行不同分析，基于越多次数、越多类型、越多攻击手段其作为攻击源和攻击目标的疑似度就越高的基本分析原则，为每个攻击来源和目的IP地址进行实时疑似度统计分析，管理员不再根据安全告警原始日志的接收顺序进行分析处置，而是依据攻击行为疑似度高低优先处理最具安全威胁的攻击者或攻击目标IP地址。　　2海量异构安全日志关联分析原理　　在面对大量安全告警信息进行关联处理中，传统分析引擎依照顺序规则判定安全报警的生成，按照一个既

6、定的告警事件分析顺序依次判断，最终根据提前明确预定义规则生成安全报警。但在实际关联分析过程中，过于教科书样式的分析规则在现实关联分析中，由于受安全产品的部署和检测效能限制，往往无法保证百分之百地提供真实、有效的安全告警让分析引擎正确执行命中。为了实现针对全网真实环境下部署策略各不相同的安全设备所触发安全告警数据的有效分析，本文设计引入模糊化场景分析规则，其具体设计步骤为：以单一日志分析后的来源和目的IP地址作为关键索引，在一个有效的时间窗口中不断聚合告警日志中每次攻击的来源和目的分别相同的IP地址，在时间窗口中不断累积攻击源和攻击目标IP所对应的安全事件的名称、级别、

7、对端IP这些信息成为关联分析的输入条件。最终基于这些输入数据进行关联分析后，形成一个不断变化的疑似度阈值，当阈值达到提前设置的数值时，算法就趋于认同该来源或者目的IP地址有可能是一个真实的攻击来源或者攻击目标。　　3整体架构8　　为了使模糊场景关联分析算法保持高效的实时比对分析，系统架构采用流式数据处理引擎、内存数据库和传统关系型数据库混合构建完成，将1天24小时即86400秒内采集到的海量日志全部放入内存数据库中进行实时比对分析，流式数据处理引擎负责格式化处理各类实时安全告警日志数据，流式引擎处理格式化后的日志数据放入内存数据库，相对传统关系型数据