2.傅翠云--异地多活数据流基础设施DRC

《2.傅翠云--异地多活数据流基础设施DRC》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、异地多活数据流基础设施DRC傅翠云‐‐ 双11支持571亿交易额背后的武器自我介绍•花名延瑛•阿里技术保障数据库专家•专注于DRC（data replica2on center）目前负责产品规划和架构设计•在数据库，高可用，分布式经验比较丰富Agenda•DRC介绍•DRC在异地多活•DRC在更多数据架构•DRC在云端如果你是阿里云用户？场景1：跨域同步RDS美国RDS杭州RDSreplica(on场景2：接入异构数据迭代、迭代、迭代…场景3：订阅增量数据APP…可扩展性稳定性一致性实时性…备份、通知

2、…数据流基础设施DRCDRC是什么Data Replica(on Center 原生复制同步标准消息异构高可用实时卡夫卡分发DRC架构统一接入层DRC region managerDRC cluster manager集群管理层Master DBDRC Store（抓取）DRC Congo（同步）Master DB数据管道层dataSlave DBDRC SDK（订阅）Slave DBDRC Store高可用层DRC slave storeDRC distributed data数据流基础设施DRC•

3、覆盖阿里所有核心业务•服务于淘宝新一代架构的核心组件异地多活的武器DRC淘宝新一代架构城市1 【阿里异地多活】机房1 机房2 •热拔插应对业务峰值•流量实时切换•数据实时恢复城市2 城市3读/写读/写机房3 机房4 【同城多机房】只能堆机器城市4 读/写【跨城多机房】冷备贵且不靠谱，读只读/写多写跨城调用延迟大，流量无法切换淘宝异地双活商品管理优惠库存创建商品订单会员订单中心物流卖家支付买家物流一致性创建订单会员订单实时性商品单元管理优惠库存同步架构1 – 读写分离中心读写单元只读StoreCongo

4、中心100% 单元100% 保证实时性保证一致性同步架构2 – 单元封闭中心流量1‐N% 单元流量N% StoreCongoCongoStore中心100% 单元100% 避免循环复制避免峰值压力DRC核心能力低延迟一致性高可用一致性•数据有序commit•数据不丢Binlog•数据不错•事务一致StoreCongo跨城秒级延迟挑战5~100ms1~5ms0.2ms150ms低延迟commitBinlog•跨城延迟大•事务相关、DDL影响并发•读历史会影响写实时StoreCongo•热点数据阻塞非热点

5、数据高可用•源和目的主备切换Cluster Zookeeper•任务高可用Manager•数据高可用StoreCongoStoreCongo•下游隔离Distributed •核心隔离data•监控Slave StoreDRC reloaderDRC monitor2014年双十一处理规模2000+个实例实时增量抓取了约100TB的数据量峰值每秒处理了30+GB的数据量数据同步：除了交易限流，核心库均无超过秒级延时增量订阅：17000+个实时下游2014年双十一实时性DRC最大延迟不超过1秒同步距离成

6、功支撑最长10000 571亿交易公里经历2次申请10项DRC双11专利DRC支持更多数据架构高可用分布式数据库Paxos/DRCStoreStoreCongoCongoZone1Region1Zone2 DRCCongoCongoRegion2Zone3数据分发中心StoreStoreStoreStoreStoreStoreSlave Slave Slave storestorestoreRegion1Region2离线分析实时计算搜索增量中心消息队列DRC在云端迁移上云•覆盖2014年50%RDS

7、新增实例•全量+增量，无缝迁移升级版‐‐ DTS某全球知名云计算服务商阿里云MySQLmysqldumpData Transforma(on Service mysqlimport25‐page document•一键入云Oracle导入/导出•无缝迁移SQL Loader•兼容异构7‐page document•一致校验SQL ServerImport/Export向导Bulk Copy Program10‐page documentPostgreSQLpg_dump3‐page document跨

8、域同步•RDSreplica2on不支持跨域•DRC支持跨域RDS同步或者容灾，对RDS无入侵•限量公测•杭美RDS实例之间实现7*24小时实时同步DRC10%杭州RDS美国RDS增量订阅•支持RDS和DRDS RDS DRDS •通过SDK订阅•单机版•集群版•内部客户：•Open search •CDP DRC store•DRDS同步，小表广播•网聚宝等数据搜索•限量公测DRC SDK理想ECS APP DRCDRDS RDS OCS OTS 打通