基于gpr预判模型的海量日志流实时异常检测研究

《基于gpr预判模型的海量日志流实时异常检测研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文题目:基于GPR预判模型的海量日志流实时异常检测研究研究生郭子昂专业计算机应用技术指导教师胡维华教授完成日期2016年3月杭州电子科技大学学位论文原创性声明和使用授权说明原创性声明；本乂巧重声明所呈交的学位论文，是本人在导师的指导下，独立进行研究Ｘ作所取得的成果。除文中己经注明引用的内容外，本论文不含任何其他个人或集体己淫发衷或撰写过的作曲或成果。对本文的研究做出重要贡献的个人和集体，均己在文中Ｗ明确方式称明。…中请学位论义与巧料若有不实么处，本人承担切柏关贵任。＾论文作冉签名

2、円期：。日：違是妒八年Ｊ月／＾砰学位论文使用授权说明本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，目；研究Ｐ化在校攻读学位期间论文工作的知识产权单位属杭州化子科技大学。本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为杭州化子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文（ｉｔ；学校可公布论文的全。部或部分内容，可臥允许采用影印、缩印或其它复制手段保存论文（保密论文巧解密后遵守此规定）论文作者签名：ＪＨ期：與Ｙ（年；月。鬥／指导教师签名：刖月：女

3、年月ｆ巧抑／＾杭州电子科技大学硕士学位论文基于GPR预判模型的海量日志流实时异常检测研究研究生：郭子昂指导教师：胡维华教授2016年3月DissertationSubmittedtoHangzhouDianziUniversityfortheDegreeofMasterTheResearchofRealTimeAnomalyDetectionofMassiveLogStreamBasedonGPRModelCandidate:GuoZiangSupervisor:Prof.HuWeihuaMarch，2016杭州电子

4、科技大学硕士学位论文摘要随着计算机技术的快速发展和信息化的不断深入，大型互联网企业产生的日志量也呈现出爆炸式增长。通过分析和检测日志，及时发现用户行为和系统状态的异常，对于提高用户满意度和系统稳定性具有重要作用。传统的日志异常检测采用先存储后处理的方式，但是随着海量日志时代的到来，这一方式面临存储空间占用过高以及实时性差的瓶颈，所以迫切需要研究新的日志异常检测架构和算法。因此针对海量日志实时异常检测的课题，本文分别从检测算法和实时计算两方面进行研究：（1）对日志流进行异常检测，一般采用基于规则匹配的方式，但是效率较低，因

5、此本文研究了文本日志的数值化表示方法，提出了利用信息含量来表征日志。由于直接计算信息含量复杂度较高，所以用无损压缩与信息含量之间的关系间接的估计信息含量。为了满足日志流压缩的特殊需求，本文在序列压缩算法的基础上提出了一种适合于日志流场景的无损压缩算法LSCA。文本日志转换成数值形式后，通过引入高斯过程回归模型，提出了基于GPR预判模型的日志流异常检测算法，将实际收到的数据值与预估的数据值比较，看其是否在偏差范围之内来判定日志是否异常。（2）基于GPR的预判模型可以有效的检测孤立异常，但是对局部异常检测效率不高。为了解决这

6、个问题，本文引入采样的方法，提出了适合日志流场景的采样算法LSUS，将其与GPR结合形成了新的模型LSUS_GPR，然后把新模型推广到全局异常检测。实验表明新模型的计算复杂度和误判率都明显降低，提高了检测效率。（3）借助于JStorm流式计算框架，本文设计并实现了基于GPR预判模型的日志流实时异常检测系统LRADS。针对LRADS系统，分别从总体设计和性能优化两个方面进行讲述。总体设计方面，主要介绍了核心部分日志采集和实时检测模块。性能优化方面，提出了离线和在线调度优化方法。最后系统测评表明LRADS稳定高效，具备生产环

7、境使用价值。关键词：日志流，异常检测，高斯过程回归，JStormI杭州电子科技大学硕士学位论文ABSTRACTWiththerapiddevelopmentofcomputertechnologyandthedeepeninginformatization,alargeamountoflogsgeneratedbylargeInternetcompaniesarealsohavinganexplosivegrowth.Timelydetectionofuserbehaviorandsystem’sabnormalityb

8、yanalyzingandtestinglogsplaysanimportantroleforimprovingusersatisfactionandsystemstability.Thetraditionalloganomalydetectionadoptsthewayofprocessingafterstorag