基于数据挖掘技术的安全事件分析平台的研究与设计

《基于数据挖掘技术的安全事件分析平台的研究与设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第一章绪论第一章绪论1.1项目来源本项目来源于成都某信息安全技术有限公司ISM平台项目，该公司主要从事信息安全服务，主要面向政府、涉密单位等。1.2研究背景近几年来，随着开放系统Internet的飞速发展和电子商务的普遍应用，计算机通信网络在社会各方面的重要性与日俱增，计算机和互联网技术正在改变着人类社会的面貌。网络信息化如同一把双刃剑，在带给我们工作和生活便利的同时，与之伴随来的还有信息和网络的安全问题——网络和计算机系统的各类攻击事件层出不穷，攻击手法日趋复杂。为了保障网络的可用性和网络上信息的完整性与机密性，防止来自外部或内部的攻击

2、行为，网络管理者花费了大量的资源来购买防火墙、入侵检测系统（IDS——IntrusionDetectionSystems）、虚拟专用网（VPN——VirtualPrivateNetworking）网关和防病毒软件等网络安全工具，力图保障网络的安全。这些网络安全工具和网络设备都以日志和告警等形式记录了大量的网络安全数据，这些数据已经成为网络安全工作中防御、检测和响应的重要基础依据。然而，在现实网络环境中，这些安全数据往往是海量、零星杂乱的，并不等同于真实有效的安全信息，也不能单独构成有用的安全事件，更不能及时形成真正有指导意义的安全响应知识

3、。安全数据不能直接作为有效安全信息而存在的问题主要有以下几个方面的原因：（1）安全数据的数据量庞大且冗余，安全资料零星杂乱，不易发现隐藏其中的安全事件。一方面，面对海量的安全数据，如果单纯依赖网络安全管理人员的经验，手工对其进行处理，去发现有价值的信息，几乎是不可能实现的任务。当前流行的各种网络安全工具之间往往缺少协作和互动，使得各自产生的安全数据常常是孤立、零星的，缺乏与其它安全数据的关联，无法形成系统一致和真实有效的主体安全事件。另一方面，存在大量虚假攻击的安全资料，黑客利用某些工具攻击网络安全设备，故意产生大量安全事件。当前的入侵检

4、测技术，虽然在告警关联方面做出了一些努力，但由于其原始数据来源过于单一而不能进行告警关联，导致误报和漏报问题仍然没有很好地解决。若能对IDS、防火墙、路由器、网关等多种网络安全设备产生的丰富日志和告警信息集中起来分析，就可以提高1成都理工大学硕士学位论文发掘安全知识的效果。（2）缺少对安全态势的实时监控，告警反应严重滞后。由于安全数据的庞大和孤立，企图依靠安全管理员通过读取、分析这些来自分散安全设备的数据来及时了解威胁并进而采取有效的安全措施几乎是不可能的。实际情况常常是，安全事件造成显著后果后才得知事件的发生。（3）安全管理缺乏鲜活数据

5、，风险评估无法随动跟进。安全管理的首要步骤是对系统安全风险进行评估。若缺乏对当前网络状况的分析，将会导致安全管理人员制定和修改安全策略时缺乏源于实践的鲜活依据，也会造成安全措施的失时性。上述这些数据对于检测分析、评估监控、预测和关联各种网络安全事件和网络威胁有着非常重要的价值，于是人们希望对这些数据进行深层次的分析，从中发现有价值的信息。现有的数据库技术，可以高效的实现数据的录入、查询、初步统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势，无法从海量的安全数据中发现潜在的安全威胁和攻击。近年来，数据挖掘技

6、术引起了信息产业界的极大关注，其主要原因是存在大量的可以广泛使用的数据，吸取隐藏在这些数据后面的有用知识并利用这些知识的能力变得愈[1]加重要。数据挖掘可以帮助用户发现隐藏在大型数据库中的规律和模式，它融合了人工智能、统计、机器学习、模式识别和数据库等多种学科的理论、方法和技术，已经在商业、企业、政府、科研及体育等多种不同类型的组织机构和领域中获得了非常广泛的应用。即使在日常生活中，数据挖掘技术也已经潜移默化地[2]参与到人们生活质量的改善过程中。作为大规模数据库中先进的数据分析工具，数据挖掘已经成为数据库及人工智能领域的研究热点之一。基

7、于此，作者着手研究与设计基于数据挖掘技术的安全事件分析平台。运用数据挖掘技术，可以弥补传统的基于审计技术的安全事件管理的不足，可以更高效地从海量的安全事件数据中提取更深层次、更重要的、对用户有价值的信息，利用这些信息可以更加准确的对网络中的各种安全事件和威胁进行预测、分析和评估。1.3研究与发展现状1.3.1国内外研究概况1980年Anderson在自己的论文中第一次提出利用日志来进行安全审计分析的思想，在20多年的研究和发展过程中，为了取得更好的检测效果和更快的检测速度，国内外研究人员将多种技术应用于安全审计领域，提出了许多分析审计2第

8、一章绪论数据的方法，形成了较为完备、性能更加完善的理论和实际应用系统。这些方法是为研制和开发性能比较完善的分析技术，并将之转化到商业产品中的努力尝试。应该说，任何一种方法都既有优势又有缺陷，都