基于分布式技术的安全审计架构优化

《基于分布式技术的安全审计架构优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于分布式技术的安全审计架构优化一、背景介绍安徽移动业务支撑中心经过三期4A安全系统的建设，目前已基本实现了业务支撑网所有应用系统的日志审计接入与集中审计工作。随着审计工作的深入开展与审计日志逐日累积，目前审计日志已达到TB的数据级别（标准化后的审计信息至少在线保存1年，离线保存2年，经过筛选后的审计信息在线保存2年，同时每天通过采集器将产生约1000万条新数据，加上原始日志文件约占据近20GB空间），日志查询和审计分析性能亟待提高。随着接入4A审计系统外系统逐渐增多，原有优化方案在数据库存储上采用分布式

2、部署、分库、分表等方式已不能满足应用系统业务逻辑复杂、审计数据量庞大（要求标准化后的审计信息在60秒内得到查询结果）、审计分析策略复杂、审计报表导出耗时较长等日益增长的现实问题。从传统技术角度解决大数据背景下的问题已无法在高效益低成本的前提下做出较好的解决方案，经过部门调研在众多可选择的提升方案中，我们选择solr和Hadoop等分布式计算技术与4A审计管理平台整合，从技术框架进行优化和摒弃，最终解决安徽4A安全系统建设面临的由审计日志量逐渐递增、审计日志基数过大而产生的报表分析导出过慢、日志查询性能不佳

3、等突出问题。二、研究意义解决审计日志在大数据量下查询效率低下以及审计数据筛选出具报表耗时问题，在实现架构上做了如下调整：由传统关系型数据库查询技术过渡到审计日志全文搜索技术的解决方案；由根据筛选策略直接在数据库上进行数据筛选匹配导出报表过渡到将审计日志推送到Hadoop大数据分布式策略分析集群，分布式并行进行策略分析、数据筛选、筛选结果入库、导出数据的流程。经过上述架构优化调整后，将提高的审计日志搜索性能、满足报表快速生成的需求，同时解决了传统关系型数据库数据搜索性能（RDBMS要兼顾查询和DML效率必有

4、取舍）发展瓶颈问题，大大减轻了数据库运行压力。最终实现审计日志搜索和分析的性能提升、实现工作效率提升和经济成本节约。7一、技术方案及关键点3.1技术方案基于大数据的审计平台不同于传统的审计平台，对数据检索和分析的性能要求大大提升，以往传统的通过扫表、读库的方式进行数据筛选已经远远不能适应目前大数据的数据能力分析。而目前流行的Solr全文搜索服务和Hadoop大数据平台为审计平台指明了出路。以下是Solr和Hadoop技术与传统数据库的技术对比：　普通数据库查询Solr全文搜索概念通过SQL的WHERE条件

5、指定搜索条件，返回数据库搜索的结果（行集合），例如wherec=‘a’或者whereclike‘%a%’根据搜索条件在索引中遍历所有文档的每个单词以得到匹配（至少含有一个被查询单词）的文档，一般可以指定任意单词，例如google或者baidu的搜索方式结果分级无分级概念，只要匹配WHERE条件，就按照Orderby顺序返回结果有分级概念，即被查询单词出现频率越高的文档，会排在前面(termfrequency)相似性无相似性概念，要么全部匹配，要么通过LIKE部分匹配有相似性概念，即如果文档中有一个单词和被

6、查询单词具有一定的相似性，根据Levenshteindistance规则判断，例如你查询sitten,可能会返回含有kitten的文档对文档的要求必须是字符串可以是字符串或者其他二进制格式例如mp3，通过分析其metadata，可以根据歌曲名称或者歌曲描述来查询mp3索引方式按照数据库的一个或者多个字段进行索引，无文本分析过程对每个要索引的文档进行文本分析（分词），建立单词和文档的对应关系，同时对文档进行评级表一：数据库与Solr技术对比基于数据库策略分析基于Hadoop分布式策略分析概念通过SQL的WH

7、ERE条件指定搜索条件，返回数据库搜索的结果（行集合），例如wherec=‘a’或者whereclike‘%a%’基于MapReduce并行程序框架定制个性化业务处理逻辑来处理海量数据分布式文件系统HDFS，并将处理结果输出到策略筛选结果数据库中，提供应用程序和审计管理员进行使用。7逻辑实现通过SQL+应用程序非并行进行处理，技术实现较简单基于Hadoop大数据云计算平台，通过分布式部署NameNode和DataNode节点可以，支持主备模式技术较成熟，安全可靠，支持复杂的业务逻辑计算。建设成本对数据库性

8、能要求较高，需要使用高端服务器或主机提供数据查询和搜索性能，如筛选策略较多，需要部署多台机器不支持并行计算。建设成本主要突出在存储上，相比数据库方式，需要大量的存储（数据库存储的1.5倍以上），对机器性能的要求不高，使用普通的PCServer也能搭建，支持复杂的并行计算，适合大流量数据的处理。执行效率基于关系数据库Table数据结构，受单表索引不能创建太多，否则影响数据DML操作，部分字段存在全表扫描情况，部分字段需要截取处理