基于大数据和深度学习的实时入侵检测关键技术研究

《基于大数据和深度学习的实时入侵检测关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于大数据和深度学习的实时入侵检测关键技术研究作者姓名：伏煦指导教师:喻之斌研究员中国科学院深圳先进技术研究院胡金星研究员中国科学院深圳先进技术研究院张华高工华为技术有限公司学位类别:工程硕士学科专业:计算机技术培养单位:中国科学院深圳先进技术研究院2018年12月ResearchonKeyTechnologiesofReal-timeIntrusionDetectionBasedonBigDataandDeepLearningAThesisSubmittedtoUniversityofChineseAcademy

2、ofSciencesinpartialfulfillmentoftherequirementforthedegreeofMasterofEngineeringInComputerTechnologyByFuXuSupervisor:ProfessorYuZhibinProfessorHuJinxingShenzhenInstitutesofAdvancedTechnologyChineseAcademyofSciencesDec,2018摘要企业中信息安全很重要，在现代网络信息化大潮下，尤其是其中的入侵检测面临巨大挑战。大数据

3、和人工智能等技术的兴起，一方面有助于信息安全的加固，相反也给信息安全带来非常大的挑战，因为黑客们也可以利用该技术来加强其进攻能力。传统的做法，无论是检测病毒，防范入侵，还是其他类型的攻击，本质上用的是特征标识的方法，把各种各样的发生的入侵的特征集成一个特征库集，当信息进来以后，如果匹配了这个特征库中的某个特征，就判断是入侵。依人工智能角度来看，基于特征标识的入侵检测是一个简单的专家系统，特征库构成知识库，首选通过人工的编程方法把特征写入知识库，然后对输入信息的特征进行匹配，匹配上了就算识别到了入侵。这个专家系统实现简单，但是没

4、有推理能力，不能应对后续的新类型的入侵。现在基于大数据海量特征结合自然语言处理、深度学习等技术，提供了一种解决入侵检测的新思路。本文的主要工作及成果如下：1.提出了基于实时数据计算引擎SparkStreaming的海量日志收集方法：本方法利用改造后的Flume做为日志采集的Agent实现实时海量日志的采集，可根据操作系统提供的资源占用情况做自适应、动态调整采集速度，在保证应用系统正常工作的同时兼顾日志采集的实时性和高效性。使用SparkStreaming作为实时计算引擎，从海量数据中快速提取入侵相关的特征数据，结合调度和管理工

5、具实现稳定的第一手日志的收集和处理，为后面的数据处理做好准备。2.提出了一种基于词向量模型的高阶特征提取方法：本方法选取知名的Word2Vec算法，利用收集到的海量数据作为训练预料，采用短期增量训练，长期全量训练，达到提取入侵检测的词向量模型的目的，该词向量在经过大量训练收敛以后可以将文本转化成词向量，从而为下一步处理做好准备。3.研发了基于深度学习与文本处理结合的入侵检测模型：将标记好的历史数据作为训练集，使用基于NLP（自然语言处理）的文本处理技术，对文本数据做泛化预处理、分词、嵌入式词向量（Word2vec）模型；最后使

6、用TensorFlow建立循环神经网络进行训练生成入侵检测模型。本文以工程化的设计思路，从需求分析、算法实现、算法优化，算法集成、前台软件设计、后台软件设计、前后台集成等介绍技术的实现过程。关键词：入侵检测；大数据；实时；深度学习；嵌入式词向量；自适应采集IIIResearchonKeyTechnologiesofReal-timeIntrusionDetectionBasedonBigDataandDeepLearningAbstractIntheenterprise,informationsecurity,especial

7、lyintrusiondetection,facesgreatchallenges.Theriseoftechnologiessuchasbigdataandartificialintelligencenotonlycontributestoinformationsecurity,butalsoposesagreatdangertoinformationsecurity.Thehackerscanuseartificialintelligencetechniquestostrengthentheircapabilitiesof

8、attack.Thetraditionalsafetyequipment,likeanti-virusoranti-intrusion,basicallyusesafeature-basedlibrary,storagingfeaturesofvariousintrusion