ArchSummit北京-《DT时代下[个推]遵循的那些法则》-叶新江

《ArchSummit北京-《DT时代下[个推]遵循的那些法则》-叶新江》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、ArchSummit全球架构师峰会北京站2015DT时代下[个推3.0]遵循的四个法则叶新江CTO@个推产品发展路径个推3.0个推2.0应景推送个推1.0智能推送联接一切实时推送链接一切连接一切实时处理系统大数据处理技术大并发通信技术个推3.0所遵循的四个法则数据是决策的基本依据数据越热越有价值近似优于精确永远的墨菲定律我们所遵循的四个法则（1）数据是几乎所有决策的基础我们所遵循的四个法则（2）-数据决策例子1：是否引入新的处理工艺？-解决什么问题?-当前存在什么问题?-在当前业务场景下性能数据如何？-出现问题时，解决的成本如何？-是否是为了逃

2、避前一个问题？我们所遵循的四个法则（2）-数据决策例子2：数亿客户端情况下，如何定位问题？譬如：有的手机上正常，有的不正常……有的区域正常，有的不正常……有的版本正常，有的不正常……对策：数据抽样收集、集中分析我们所遵循的四个法则（2）-数据决策Logful(https://github.com/logful)我们所遵循的四个法则（2）-数据决策LogfulSDK架构我们所遵循的四个法则（2）-数据决策例子3：性能测试和验证性能测试环境可以测试到什么程度？在生产环境下是否可以有足够数据来反过来印证？对策：性能监控，及时发现局部问题，立即着手解决我们所遵

3、循的四个法则（2）数据越热越有价值我们所遵循的四个法则（2）-数据价值数据的热度划分：-冷数据较长时间之前的状态数据、用户画像数据-温数据非即时的状态和行为数据-热数据即时的位置状态、交易、浏览行为我们所遵循的四个法则（2）-数据价值例子1：-应景推送利用冷数据+热数据进行实时处理方案比较：1.客户端处理2.服务端处理我们所遵循的四个法则（2）-数据价值例子2：-个图（人口热力图）我们所遵循的四个法则（2）-数据价值例子2：-个图（人口热力图）准实时要求高，并且能动态表现对策：分级、分区域、分阶段我们所遵循的四个法则（2）-数据价值个图架构：我们所遵循

4、的四个法则（3）近似优于精确我们所遵循的四个法则（3）-近似优于精确考虑以下场景：需要统计流数据中独立元素的个数？要求：实时，至少是准实时我们所遵循的四个法则（3）-近似优于精确考虑因素：-数据流速度很快意味着无法使用二级存储-数据规模巨大意味着要么使用超大内存的设备,多大算是个头？要么多个设备分而治之运算我们所遵循的四个法则（3）-近似优于精确一般化的结论：-获得问题的近似解比精确解要高效得多-一系列与哈希相关的技术被证明十分有用我们所遵循的四个法则（3）-近似优于精确Flajolet-Martin算法：一个简单直观的基数估算方法1、随机生成n个服从

5、均匀分布的数字2、随便重复其中一些数字，重复的数字和重复次数都不确定3、打乱这些数字的顺序，得到一个数据集我们所遵循的四个法则（4）永远的墨菲定律我们所遵循的四个法则（4）-永远的墨菲定律原句：如果有两种或两种以上的方式去做某件事情，而其中一种选择方式将导致灾难，则必定有人会做出这种选择。通俗点(Finagle'sLaw)：如果事情有变坏的可能，不管这种可能性有多小，它总会发生。我们所遵循的四个法则（4）-永远的墨菲定律例子：不管内网如何快，总有断的时候。-Redis2.8earlier版本在网络闪断情况下的问题流量并不一定按照我们的预期来到-流控未执

6、行到位还有：攻击、域名劫持、设备断电。。。。。对策：异常情况分析+预案设定+沙盘推演+模拟操作真诚期待与您合作微信关注个推个推官网注册技术支持：kegf@getui.com商务合作：zhangyao@getui.com联系电话：0571-87971893