【智能数据技术峰会】天下营销，唯快不破.pdf

《【智能数据技术峰会】天下营销，唯快不破.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、天下营销，唯快不破TalkingData营销云技术实践主讲人：姜伟Outlines智能数据时代，不“快”不“行”（3mins）智能数据的实践：营销云（5mins）营销云介绍；营销云开发的挑战；营销云的尝试（27mins）数据组织和规划（5mins）Bitmap计算引擎；（10mins）Lookalike算法；（5mins）基于地理围栏的快速人群预估能力；（5mins）技术指标；（2mins）远景技术规划；（2mins）智能数据时代的来临Volume数据体量数据多样性数据时效性VarietyVelocity数据数据准确性数据价值VeracityValue不“

2、快”不“行”为什么要“快”？处理什么叫“快”？“快”的代价是什么？收集服务智能数据在广告行业的实践-营销云客群构建画像洞察客群营销效果评估•上传构建人群•人口属性•广告投放平台•触达分析•POI构建人群•终端属性•EDM•效果监测•标签构建人群•地理位置属性•SMS•Lookalike•行业指数•CallCenter营销云-挑战数据特征体量大维度多多种设备30亿覆盖6.5亿月活2.5亿日活800+标签地理位置时间周期ID数据的组织和规划CollectIngestPrepareAnalyzePublishAct-batch-magpie-labeling-sampling-sea

3、gull-injecting-streamserviceservice-snipeserviceBitmap计算引擎–bitmap数据分片offset020000000040000000060000000080000000010000000001200000000140000000016000000001800000000200000000000011..01010..10001..01000..11100..01010..10001..00110..00010..11100..………00011..11100..00010..01010..01010..11100..10001

4、..10001..01000..00110..HorizontalShardingBitmap计算引擎–架构BitmapProxyBitmapProxy（applayerproxy）Round-Robin机制发送请求；RestService（computinglayerproxy）RestServiceRestService提供基于表达式的bitmap的and，or，xor，count等REST服务接口；BitmapServerBitmapServerBitmapServer（computingengine）提供分布式bitmap计算能力，计算完成时同时RocksDBRo

5、cksDB将操作结果进行存储；RocksDBRocksDBRocksDB（persistencelayer）RocksDBRocksDBKey-Value存储系统RocksDBRocksDBBitmap计算引擎–bitmap抽样能力某维度原始数据分布曲线数量抽样后的数据分布曲线5亿10亿15亿20亿25亿30亿35亿40亿offset数据体量庞大，单一维度精度要求相对不高服务场景（例如数据交叉比对）Lookalike算法-指标<1hr(500>10hrs≈10minsLR)MLLibLRFastLRBatchLRSparkSparkSpark<100secs≈30mins≈1

6、hrRandomRandomRandomDecisionDecisionDecisionHashingTreesTreesAtomCubeSparkSparkLookalike算法–RDT&RDH>100xFasterTreeAlgorithmishardtobeparallelizedMoreAccurateVSMoreStable快速人群预估能力geohash-1bitmap-1geohash-2bitmap-2geo-fencegeohash-nbitmap-n营销云技术指标功能模块功能描述数据量处理时间标签构建1亿设备<5secs上传构建1亿设备<5mins人群构建服务

7、Lookalike构建1万->100万~2000万<15mins人群预估方圆5公里(1百万设备量)<1sec人群画像服务15个维度（1亿设备量）<10mins数据投放服务5种ID类型（1亿设备量）<10mins<5ms前置机服务RTB查询5亿设备（6000QPS）远景技术规划Bitmapcomputingengineopensource;MLforsegmentoptimization;Investigatemoreapproachtoimprove“fast”;THANKSLet’s