ArchSummit北京-《简单的不像技术活—风险监测中的时间窗口计算》-季虎

《ArchSummit北京-《简单的不像技术活—风险监测中的时间窗口计算》-季虎》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、简单得不像技术活--风险检测中时间窗口计算刷脸安全圈的新人业务风控后端Agenda风控侧写时间窗口统计的需求场景和各种实现点击欺诈和布隆过滤的一种改进支付欺诈和区间树的应用技巧区间树在内存使用上的优化通用场景下灵活性和实时性兼顾的方案818黄牛抢购的风险特征（值）计算的案例数据一个通用的内存分布式框架介绍窗口数据计算Case1点击欺诈中布隆过滤改良应用什么是点击欺诈检测什么点击者身份重复点击•有限内存布隆过滤怎么用•任意时长（窗口长度）DailyCase1点击欺诈中布隆过滤改良应用

2、Cont.Hash一次（GBF）读写一次Case1点击欺诈中布隆过滤改良应用Cont.•TimingBloomFilte(r)–logN+C–32位的counter足够记录130年–2×（logN+1）布隆过滤的其他几种改进版本•CBF•SBF•DCF是数据结构更是算法Case2支付欺诈和区间树的应用技巧•判断支付欺诈的一个有效特征–时间序列上额度变化分析求导Case2支付欺诈和区间树的应用技巧Cont.（key，value，CalFuncs）（用户id：11111118，交易金额，Sum）普通算术函数sum

3、比较函数max统计函数countDistinct每个叶子节点：最小时间单位（精度）Case2支付欺诈和区间树的应用技巧Cont.•10年末•单机250G•3台物理服务器•计算延迟<10ms•4G的虚机=运维麻烦Case3区间树在内存使用上的优化内存占用更少数据结构更简单计算函数可累积适用场景受限时间长度上通过2倍空间，避免移除操作窗口运算的通用性抽象和流式计算:Libra事件驱动的设计方法SEDA(stagedevent-drivenarchitecture)消息驱动的架构设计实时计算平台L

4、ibra以及使用情况818的实际数据•3亿次登陆×6个实时指标/天，4wTPS峰值，计算延迟95%低于10ms，99%低于30ms•百万下单×60+窗口指标/天•支付×20+窗口指标/天•800+计算节点降维（打击？）•全息数据==>特征数据•Kernel函数•机器学习？AGenericDynamoFramework统一的具备水平扩展的访问接口抽象共通的操作接口提供备份之间的最终一致性实现自定义的初始化，持久化能力自动增加新备份的能力？自定义？支持的数据结构ApproachA.baseonzookee

5、perApproachB.baseongossipandvectorclock附录•http://www.eecs.harvard.edu/~mdw/papers/seda-sosp01.pdf•http://hal.upmc.fr/docs/00/55/55/88/PDF/techreport.pdf•https://github.com/oldratlee/translations/blob/master/log-what-every-software-engineer-should-know-about-r

6、eal-time-datas-unifying/README.md•http://wenku.baidu.com/link?url=FolbmG-0zvBmZivAy2XTAwLp15wJZW9RIVzNy4rJdCf4UpDJiXbAeKijNm0eurWQCkeZfqVJe5k5MZNzgxPlbN6PXdQkkw-jFvtm18Y6Kr_