如何支撑htap场景-19页

《如何支撑htap场景-19页》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、如何支撑HTAP场景HybridDBforMySQL系统架构和技术演进阿里云高级专家王骞12345技术现状产品定位技术演进路线当前限制未来发展1、技术现状HybridDBforMySQL技术现状HybridTransactionalAnalyticalProcessingRDS级云服务一份数据，支持在线事务与在线分析高可靠、高可用、白名单、性能数据分布式sharenothing架构，线性扩展在线扩容、备份恢复3-15倍压缩比DTS、DMS、CDP、QuickBIMySQL兼容与增强规模JDBC、ODBC、PHP、Go、Ruby、P

2、ython、服务10多个国内外regionNavicat、Tableau…总数据PB级，日新增数据百TB级SQL标准、TPC-H、TPC-DS2、产品定位HybridDBforMySQL的目标定位OLTP扩展能力商业数据库:POLARDBOracle/SQLServer/…HybridDBforMySQLDRDS+RDSMySQLRDSOLAP扩展能力3、技术演进HybridDBforMySQL技术演进软硬结合融合POLARDB作为存储引擎，行列混合存储增强HTAP能力支持行列混合存储，增强OLAP计算存储分离业务使用自研的计算引擎提供复杂查低成

3、本大数据询能力，大幅改善SQL兼容性大幅优化存储体系，提升写入吞分库分表数据库吐，降低成本形成独立的server，提供MySQL单机数据库+中间件访问协议和部分SQL支持从单机MySQL数据库和分库分表中间件做起201320142015201620172018发展起点数据库中间件+数据库服务SessionSessionExecuteExecute单机的问题ThreadThread数据集中cpu/memory/iops性能瓶颈lock/log/transaction资源争抢data简化模型Database正确性：事务SessionThread

4、性能：并行化开局探索ShardingMiddleWare中间件的思路MiddleWareMiddleWareExecuteThreadExecuteThread中间件的局限partofdatapartofdataDatabaseDatabase合久必分数据库服务分库分表动机线性提升性能解决兼容性问题SessionThread难点事务状态机ShardingDatabaseServer流式执行器ShardingSharding请求级连接池SessionThreadSessionThread成果partofdatapartofdata

5、动态扩容DatabaseDatabase连接数、QPS/TPS容量线性提升典型业务高并发在线业务存储优化低成本高吞吐动机Session降低成本Thread增大存储存储规模难点DatabaseServer性能与成本的平衡ParallelParallelSQL优化器ExecutorExecutor大实例运维partofdatapartofdataStorageEngineStorageEngine成果PB级容量OptimizedStorageSystemTB级副本数小时内迁移典型业务物联网中心数据库/历史数据业务计算优化存

6、储计算分离动机提供复杂查询能力Session难点ThreadSQL兼容性DatabaseServer全局数据一致性ParallelParallel资源隔离ExecutorExecutor成果ComputeEngineComputeEngineTPC-H/TPC-DS提升复杂查询并行计算性能partofdatapartofdataStorageEngineStorageEngine典型业务实时写入实时查询实时分析业务OptimizedStorageSystem计算优化行列混合动机增强静态数据的复杂查询能力Session难点Th

7、read行列存引擎DatabaseServer数据格式自动转换ParallelParallel查询优化器ExecutorExecutor成果ComputeEngineComputeEngine订制存储结构RowstoreColumnstoreRowstoreColumnstore自适应优化StorageEngineStorageEngine典型业务HTAP-在线实时分析业务OptimizedStorageSystem混合数据仓库业务4、当前限制HybridDBforMySQL当前限制暂不支持的高级特性暂不适合的业务场景及相关建议

8、触发器业务结构简单且数据量小，存在热点存储过程->CloudDBA诊断优化+RDS升级游