ArchSummit北京2015-《让数据川流不息——阿里云数据传输服务揭秘》-程实（时勤）

《ArchSummit北京2015-《让数据川流不息——阿里云数据传输服务揭秘》-程实（时勤）》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、让数据串流不息阿里数据传输服务揭秘程实（时勤）@阿里巴巴2015-12-19DT时代——利用数据•生产数据不再是难题•利用数据产生价值，才是关键•实时分析（实时商业决策、搜索、安全审计）•典型案例：数据从DB实时同步到Storm，要求低延时•离线分析（大数据分析）•典型案例：数据从DB周期性导入到Hadoop，要求高吞吐率•异地容灾，异地读写•典型案例：云数据库多地容灾，本地读写•传统数据服务架构，对于利用数据并不友好DT时代——增量数据服务化•业界已有的一些方案•统一的OLTP和OLAP•DatabasesonHadoop•SAPHana•分布式DB：异地

2、问题•迁移工具•业务同时写入到多个DB/平台•增量数据必须服务化•降低DB查询压力•降低业务方开发难度和耦合性•多种DB统一服务•多种下游统一服务•支持异地多活架构DT时代——阿里内部案例•淘宝核心交易库•双十一数据量•全天同步总量：百TB级别（全网6倍）•高峰增量流量：Gbps级别•增量消费的下游•5个实时下游业务•实时媒体大屏•实时商业分析•实时搜索•实时备份•1个离线分析平台•含多个子任务•2个异地实时备份链路（异地多活）•上海到杭州•上海到深圳DRC和DTS•DRC——增量同步基础设施•增量抓取和存储•增量同步和订阅•DRC在阿里广泛使用•DTS——

3、云上传输数据服务•上云数据迁移•云内外混合部署•跨地域部署•订阅服务DRC模块构成•模块构成•Reader：抓取日志•Queue：存储•Client：订阅SDK•Writer：同步到DB•CM：集群管理•RM：自动化接入•Console：运维控制台•DaBai：全链路监控大屏DRC抓取日志（Reader）•不同类型DB采用不同Reader设计•MySQL(5.1+)：基于mysqld主备同步机制•Oracle：解析AchieveLog（非实时）和RedoLog（实时）•OceanBase：提供日志服务•Hbase：解析HLogDRC的队列存储（Queue）•

4、DRCQueue队列存储•高性能•实时读写28万rps，读历史90万rps•支持1K连接并发读•压缩持久化•压缩率30%•缓存和预读•位点/时间索引•快速定位起始位置•自定义(库表名)索引•大幅降低过滤开销•主备模式•增加备节点的额外开销低于25%•分布式容灾DRC同步增量（Writer）•Writer组件•高性能•低冲突场景10万rps•支持多种数据库•JDBC模式：RDBMS•K/V模式：NoSQL、MQ•并发问题•性能需要：串行数据流->并发事务•实时检测事务之间是否冲突•数据库同步API带来的问题•防数据回流•多向同步时，避免重复写入•支持DDL同步

5、DRC网络传输•Net组件•实时压缩•解决骨干网、主机网卡资源瓶颈问题•压缩后延时增加不高于5ms，CPU增加不高于单核100%(占满2G带宽时)•多TCP协同传输•降低丢包对TCP传输带宽的影响•SSL加密中美环境网络测试（RT=121ms）35000单TCP连接，无压缩单TCP连接，压缩300003TCP连接，压缩25000200001500010000500000%0.05%0.10%0.50%1%5%DRC集群管理•ClusterManager•跨机房多节点部署•无状态•ZooKeeper•跨机房高可用•云信息存储•任务元信息•用户、进程、主机状态•

6、RegionManager•自动化接入•Web控制台+API•接入任务已超过1万，成功率90%+•跨集群的调度从DRC到DTS•云上用户更加需要数据传输服务•一次性迁移上云•全量+增量同步•部分上云（云内外DB混合部署）•技术过度平滑•利用现有的IT资产•数据可靠性•订阅云上DB的增量•支持在线查看订阅数据•异地容灾•异地读写•迁移评估•帮助用户决定合适容量的RDS服务DTS迁移服务•用户迁移到RDS数据库类型Schema全量增量Oracle->MySQL•跨数据库类型MySQL->MySQL•兼容不同类型数据库之SQLServer->SQLSer

7、ver间的规则差异Oracle->PGSQL•多种迁移方式•支持在线连接数据库，DTSGoldenGateSSIS或离线文件复制产品形态云服务商用软件(Oracle)商用软件(微软)•全量+增量系统架构高可用集群单链路，无容灾机制单链路，无容灾机制•全量迁移期间新写入的功能迁移、订阅、同步迁移、同步迁移、数据分析数据源MySQL、SQLServer、MySQL、SQLServer、源：MySQL、数据不丢失Oracle、Oracle、DB2、Sybase、Oracle、Sybase、PostgreSQL、PPAS、teradata、access、DB

8、2OceanBasetimesten(只能为目的目的