电力企业统一安全信息检索平台研究.pdf

《电力企业统一安全信息检索平台研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、技术与应用电力企业统—安全信息检索平台研究◆刘玉婷苏永东赵晓平欧玮0前言目前，电力企业在信息化建设中，部署了大量的信息安全防护设备，这些设备在抵御内外部攻击的同时，产生了大量的日志信息供安全人员进行分析和优化防护策略。对全网各个设备、系统的日志进行全面分析，查看是否存在攻击迹象，同时收集保存日志并进行分析也是国家和电力行业对信息安全工作的基本要求。目前国内有较多的安全审计产品，但均存在一定的局限性。因此在实际应用中常见的安全审计系统并不能满足日益多元化的日志收集及海量的日志搜索、分析功能，需要针对统一安全信息的高效检索技术开展研究，搭建全网统一的检索分析

2、平台。1日志检索技术现状总体来说，当前在日志检索方面，主要有关系数据库和全文检索两种方式。1．1关系数据库检索引擎关系型数据库作为多种应用的后台数据存储及检索的工具的历史由来已久，通过提供索引功能，使得关系数据库在精确检索性能方面拥有巨大的优势。但当在数据库中执行模糊搜索时，数据库索引不起作用，搜索性能不高。如果是需要对多个关键词进行模糊匹配其效率将更加低下。1．2全文检索引擎而全文数据库可以说是介于文件系统和关系数据库之问的体系结构，它一般包含的实体少，实体间的关联也少，结构相对简单，对事务性和并发性要求不高。全文数据库是一种存储文献全文或其主要部分并

3、能提供全文检索的源数据库，其主要特点是：(1)数据结构的非结构性。(2)包含信息的原始性。(3)信息检索的彻底性。可表示检索词问的复杂位置关系。(4)所用检索语言的自然性。以自然语言检索所需文献，更加灵活。2电力企业统一安全信息检索平台研究2．1平台关键技术研究(1)检索引擎的比较与选择通过在简易的关系型数据库引擎检索效率实验表明，在100、500、1000万条日志记录的数据表中，对某一字段进行精确查询和模糊查询，模糊查询的时间要远远多于精确查询，100万条记录的模糊查询时间基本为3秒以上。而在同样的测试环境下，使用全文检索引擎对同样100万条日志中搜索

4、内容，基本在100毫秒左右可以完成【3】。因此，综合日志预处理和检索性能方面的情况，应当选择全文检索引擎。Lucene作为一种技术成熟和应用广泛的全文检索引擎，用于本平台设计。(2)海量日志并行检索架构设计1Par^i『r=、1um～％rcnci二‘∥r一匕={三王三jsHmlscⅡckt2s∞fcbcd单纯庠瘦霰曩l中纯再爰索器2干硅冉艘索嚣N二]二■二I_二～二r二fnd¨Ilo。c11[ndcxo卜’。’■譬弦i『㈠“。∞2‘1‘L。一j掣+”、一“j——⋯一—二I一一⋯⋯崮j。4量L1．己囊一“垃索絮f勾伐fi为了进一步提高检索效率，应采用并行检

5、索架构，多台检索服务器并行检索，统一返回结果，避免系统瓶颈。日志子检索服务器在接收到查询请求后，首先解析查询条件和排序条件，其次按照查询条件获得对应的Searcher，执行检索，然后按照排序条件将检索结果排序，最后将结果返回给查询代理。在平台设计中，使用Lucene的多线程并行搜索器ParallelMultisearcher实现多线程同步执行搜索并合并搜索结果【4】。为了确保并行检索条件下的检索结果不重复、不遗漏，需要确保每台检索服务器所保存的日志和索引都不相同并且没有遗漏。(3)索引分布式存储策略由于采用了并行检索架构，日志的索引也需要进行分布式存储。

6、每台检索服务器根据预先设定的时间分割规则进行索引编制并建立Searcher，将这些所有的Searcher都合并到一个ParallelMultisearcher中，然后使用它执行并行检索。索引时间区分策略是：每单位时间段T内的索引数据都被存储在与该T时问段相对应的路径中。对于T的选择上，太大则失去了多线程索引的意义，太小则频繁的拆分合并又会占用较多系统资源垆j。根据平均日志量和检索引擎的最佳性能区间，在平台设计中T取l小时作为单位时间，每个时间单位内的日志数据是loo多万条左右，处于最佳性能区间。此时，对于某个时间段内的日志记录检索，只需要读取相应时间段目

7、录下的索引即可，而不必读取整个索引空间，提高了检索效率，并且易于分布式实现。(4)日志关联分析技术随着攻击行为的隐蔽性不断提升，一旦隐蔽攻击成功绕过传统安全设备，那么只有通过日志关联分析技术识别电力企业内部的隐蔽攻击，进而及时阻断。日志关联分析需具备扩宽的检测时间域，对全网中的全流量、日志数据进行存储分析。这样在检测到可疑行为时，可以回溯与攻击行为相关的历史流量数据进行关联分析。之前已发生过、未能引起分析人员注意的报警，有可能隐藏着蓄意攻击意图，通过这种回溯关联分析就有可能进行有效识别。有了全面安全信息的存储，就有可能回溯到任意历史时刻，采用新的检测特征

8、和检测技术，对己发生的流量、日志进行任意粒度的分析。对流量数据进行细粒度协议解析