ArchSummit北京-《航空电商大规模实时日志分析》-李锋

《ArchSummit北京-《航空电商大规模实时日志分析》-李锋》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、ArchSummit全球架构师峰会北京站2015航空电商大规模实时日志分析易建科技李锋/r6目录1、介绍恶意行为防控系统的背景2、介绍恶意行为防控系统的演进介绍恶意行为防控系统的背景—行为定义业务安全运维安全恶意爬数据恶意扫描恶意注册/刷验证码SQL注入刷单占位业务漏洞攻击恶意秒杀DDOS/CC攻击介绍恶意行为防控系统的背景—恶意行为盈利模式目录1、介绍恶意行为防控系统的背景2、介绍恶意行为防控系统的演进恶意行为防控系统的演进—第一阶段面临的问题日峰值航班查询量30,000,000日峰值航班占座(个)10,000

2、日峰值注册用户1,000,000月峰值非正常停机30分钟月峰值支出费用(元)1,200,000日志未利用恶意行为防控系统的演进—第一阶段如何解决问题防火墙(iptables)/perl脚本排除注册漏洞采集web应用日志web应用内部埋点布防系统级流量控制(tc)恶意行为防控系统的演进—第一阶段系统架构web1日志webn日志...kakfakakfakakfa白java规则引擎名jar单mysqlhadoop集群监控仪表盘恶意行为防控系统的演进—第一阶段效果恶意行为防控系统的演进—遗留问题，占座再次出现恶意行为防

3、控系统的演进—第一阶段遗留问题入侵式架构监控不完整事后处理模型恶意行为防控系统的演进—第二阶段如何解决问题入口级监控多级时间窗口监控恶意行为防控系统的演进—第二阶段如何解决问题应用级流量控制(ip,cookie,user_agent)机器学习(逻辑回归，神经网络等)恶意行为防控系统的演进—第二阶段系统架构nginx防控Lua模块白名单ip风险库kakfakakfakakfasamzajob算法数据流处理模型缓存MahoutAeros外拨mysqHadoop模型算法pike算法训练l模型模型Python自学习模型查

4、询服务训练恶意行为防控系统的演进—第二阶段系统架构特点1nginx_lua防控模块防控3级模型自学习防控2级服务降级用户体验升级防控1级核心行为规范化规则引擎验证码异常IP库防控0级用户唯一标核心URL限速系统级入侵检测识系统级攻击检测17恶意行为防控系统的演进—第二阶段系统架构特点2算法模型会IP话用户行为模型浏用户览资料器恶意行为防控系统的演进—第二阶段系统架构特点2算法模型机器学习算法：LogisticSVM(支持向量机)Kmean预测订单取消概率的数据模型：X1是否访问首页X2首页停留时间X3是否查询过航

5、班X4查询航班停留时间X5是否访问过填写乘客信息页面X6填写乘客信息停留时间X7订单的乘客人数X8访问提交订单的页面次数X9是否加载过关键图片X10加载关键图片的次数X11是否访问过辅营页面X12是否访问最终提交订单的页面X13是否加载过CSS样式表Theclassifyaccuracyis:更新频率：X14是否为异常IPY订单状态90.284%15mins恶意行为防控系统的演进—第二阶段系统架构特点2大数据挖掘MahoutHadoop模型算法训练模型查询服务IP分布时间跨度：2014.2至今异常IP库：56,0

6、00,000A4纸700公里国外国内恶意行为防控系统的演进—第二阶段存在的问题需要更全面的实时行为预测需要复杂机器学习算法的支持恶意行为防控系统的演进—未来产品规划航空类“乌航空WAF+产品＋互联网+航空云”