Sina网络的内存数据存储ppt课件.ppt

《Sina网络的内存数据存储ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、内存数据存储@sina难以预测得热点!更难以预测得热点...RDBMSQueueCacheNoSQL…我们在做什么？Web目录•••••内存存储重要性内存存储规模介绍Memcache应用实践Redis应用实践未来计划内存存储重要性e.g.微博内容••MultiGet(3590157841987041,3319873918468286,…)SQL:SELECT*FROMcontentWHEREmidIN(3417982485336166,3319873918468286,…)内存存储重要性内存存储重要性请求分布M

2、emcache6160亿+Get/day760亿+Set/day15TB+Memoryin5IDC500+Servers,1500+instances规模Redis3675亿+commands/day6500亿+Read/day757亿+Set/day18TB+Memoryin6IDC500+Servers,3000+instances1,500,000,000,000占结构化数据访问得99%2012Q22012Q42013Q22013Q42014Q2FutureRAM48G64G96G128G128G?CPU

3、Intel(R)Xeon(R)CPUE5620@2.40GHz*8Intel(R)Xeon(R)CPUE5-26200@2.00GHz*12Intel(R)Xeon(R)CPUE5620@2.40GHz*8Intel(R)Xeon(R)CPUE5-26200@2.00GHz*12Intel(R)Xeon(R)CPUE5-26200@2.00GHz*12?DiskSAS300G*2RAID10SAS300G*2RAID10SAS300G*4RAID5SAS300G*4RAID5SAS300G*4Raid5+SSD

4、*4RAID5?NET千兆千兆千兆千兆千兆?硬件演化硬件演化4590135180RAMCPUSASNETSSDMemcache应用实践一致性Hash应用得局限性•••Multiget-hole命中率震荡无法应对超级热点••••Memcache应用实践易扩展高可用解决超级热点易维护多层级Memcache架构L1Layer•••容量较小解决超级热点易扩展StorageLayer•••容量较大决定整体缓存层命中率Master-Backup保证高可用多层级Memcache架构可扩展性••Get&PlantSet多层级M

5、emcache架构高可用性多层级Memcache架构＃周⼀一⻅见＃！应对超级热点（e.g.）＃周⼀一⻅见＃！＃周⼀一⻅见＃！＃周⼀一⻅见＃！＃周⼀一⻅见＃！进阶缓存服务化•••配置中心CacheService(basetwemproxy)HA异地缓存更新What’sMore?存储与缓存一致性问题？！存储层写入太慢？！一个星期还没上线？！RedisHelps!Redis应用场景计数特点•••数据很小热点更新需要持久化!改造Redis后••••更高SLATCO得节省再不用担心缓存宕机KISSRedis应用场景反向c

6、acheRedis应用场景在一些场景替代Memcache•••更丰富得数据结构更好的内存管理灵活数据迁移等特性•••Redis应用场景Top列表(sortedset)关系列表(hashset)队列(list)……Redis⾼高可⽤用性••••••Redis改造优化Replication改造动态升级内存使用优化(Rediscouter)LuaScript优化(C固化)新的数据结构(LongSet)历史数据分层至SSD(CounterService)为什么一直是Redis?未来计划•••基于Flash降低TCO一体

7、化存储深入网络优化