大型网站数据库架构演变

《大型网站数据库架构演变》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大型网站数据库架构演变陈栋@沃趣科技CEO@沃趣科技团队沃趣科技是由一群来自原阿里巴巴DBA/SA团队的技术男组成的创业团队使命凭借我们在大型互联网公司多年的运维经验，致力于为传统行业、中小企业提供专业的数据库、系统相关的服务、产品及解决方案服务包括对数据库和系统进行架构设计、优化、实施和灾难恢复产品QData:高性能Oracle数据库一体机QGuard:数据库高可用自动切换软件QMonitor:数据库监控软件传统数据库架构·主数据库·主数据库存储·物理HA备机·DG数据库存储·实时Dataguard·存

2、放主数据库Online·延时DataguardRedo的一组Member，保障切换DG后数据0丢失小型机vsPC服务器X86cpu与Powercpu的对比(spec)HPProLiantDL560Gen8(2.70GHz,32core,IntelXeonE5-4650)SPECint_rate2006=1240IBMPower750Express(3.3GHz,32core)SPECint_rate2006=1010稳定性是核心问题中国银行大型机宕机4小时阿里小型机稳定运行7年后，宕机5小时基于PC服务

3、器高可用方案DataguardHA共享存储架构HADataguardHAHA系统HA系统3.ping网关确定不是孤岛gatewaygateway2.检查备库恢复延迟1.自动切换数据库，可能丢数据1.updatexdual(heartbeat)3.极端情况下可强行poweroff2.漂移VIP服务器VIPVIPMaxiumAvaliablePrimaryDBDataguardPrimaryDBDataguard正常状态发生切换共享存储架构HAHA系统HA系统3.ping网关确定不是孤岛2.在备用服务器上启动gate

4、way数据库实例，成为新主2.检查备机状态是否正常库，数据零丢失1.updatexdual(heartbeat)4.poweroff原主库服务器VIPVIP3.新主库接管VIP，提供数据库服务1.将共享存储挂PrimaryDBStandbyDB载到备用服务器共享存储，存放数据文件共享存储，存放数据文件正常状态发生切换高端存储vsFlash技术存储设备SAS磁盘SSDPCIeFlashIOPS150~2006,000100,000Throughput150MB/s250MB/s1.5GB/sLatency10ms100

5、us30us互联设备EthernetSANInfinibandBandwidth1~10Gb/s8~16Gb/s40~56Gb/sLatency10us2us200nsPCIeFlash可用性•类似Raid5+hotspare•MLC10000次擦写320G可写4PB•受PC服务器影响VS扩展性•容量单卡超过3TB•受限于PCIe插槽数量TCO•服务器数量缩减8：1•省机架、省电•管理方便，运维成本降低IOPS吞吐成本高端存储（200块磁盘）5万700MB超过百万PCIeFlash10万1.5GB1/10共享R

6、edo+Flash的架构HA系统HA系统3.ping网关确定不是孤岛2.备库将自己的datafile，应用原主库onlinegatewayredoctrlspfile恢复，保证数2.检查备库恢复延迟据零丢失，将备库切换到主库1.updatexdual(heartbeat)4.poweroff原主库服务器VIPVIP3.新主库接管VIP，提供数据库服务MaxiumAvaliable1.将共享存储挂PrimaryDBDataguard载到备用服务器·主、备库数据文件存放于本地flash设备上获得高IO·共享存储，只存

7、放主库onlineredo、ctrl、spfile正常状态发生切换数据库软硬一体机架构计算节点高配PC服务器，运行Oracle11gR2，支持单实例和RAC架构，提供数据运算服务.经过验证的OS及版本：·Linux(RHEL5.*,6.3)·CentOS(RHEL5.*,6.3)·SUSE(11.1,11.2)高速互联基于Infiniband的低延迟（端到端延迟200ns以内）、高带宽互联技术，用于将存储节点的Flash和磁盘InfinibandInfiniband资源输出到计算节点，供数据库使用。存储节点配置Fla

8、sh卡和SAS磁盘，提供数据存储服务。输出方式：·基于rdma相关的存储协议实现Infiniband40/56Gb输出·FC4/8Gb，FCoE10Gb数据库软硬一体机配置配置清单与技术指标硬件详细配置组件类型数量CPU内存磁盘IntelE5-2640*2或计算节点服务器96GBSAS15K450GB*62AMDOpteron6274*2Int