网易视频云技术分享：HBaseBlockCache系列-探求BlockCache实现机制

《网易视频云技术分享：HBaseBlockCache系列-探求BlockCache实现机制》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、探求网易视频云技术分享:HBaseBlockCache系列BlockCache实现机制网易视频云是网易公司旗下的视频云服务产品，以Paas服务模式，向开发者提供音视频编解码SDK和开放API,助力APP接入音视频功能。现在,网易视频云的技术专家给大家分享一篇技术性文章，本文在上文的基础上深入BlockCache内部，对各种BlockCache方案具体工作原理进行详细分析。Note:因为SlabCache方案在0.98版本已经不被建议使用,因此本文不针对该方案进行讲解；至于LRU方案和Bucket方案，因为后者更加复杂，本文也会花更多篇幅详细介绍该方

2、案的实现细节。LRUBIockCacheLRUBIockCache是HBase目前默认的BlockCache机制，实现机制比较简单。它使用一个ConcurrentHashMap管理BlockKey到Block的映射关系,缓存Block只需要将BlockKey和对应的Block放入该HashMap中，查询缓存就根据BlockKey从HashM叩中获取即可。同时该方案采用严格的LRU淘汰算法,当BlockCache总量达到一定阈值之后就会启动淘汰机制，最近最少使用的Block会被j换出来。在具体的实现细节方面，需要关注三点：1.缓存分层策略HBase在

3、LRU缓存基础上采用了缓存分层设计将整个BlockCache分为三个部分:single-access,mutil-access和inMemory。需要特别注意的是,HBase系统元数据存放在InMemory区，因此设置数据属性InMemory=true需要非常谨慎，确保此列族数据量很小且访问频繁，否则有可能会将hbase.meta元数据挤出内存严重影响所有业务性能。2.LRU淘汰算法实现系统在每次cacheblock时将BlockKey和Block放入HashMap后者B会检查BlockCache总量是否达到阈值，如果达到阈值，就会唤醒淘汰线程对M

4、叩中的Block进行淘汰。系统设置三个MinMaxPriorityQueue队列，分别对应上述三个分层，每个队列中的元素按照最近最少被使用排列，系统会优先poll出最近最少使用的元素，将其对应的内存释放。可见，三个分层中的Block会分别执行LRU淘汰算法进行淘汰。1.LRU方案优缺点LRU方案使用JVM提供的HashMap管理缓存，简单有效。但随着数据从single-access区晋升到mutil-access区基本就伴随着对应的内存对象从young区到old区，晋升到old区的Block被淘汰后会变为内存垃圾，最终由CMS回收掉（Conccur

5、entMarkSweep,一种标记清除算法），然而这种算法会带来大量的内存碎片，碎片空间一直累计就会产生臭名昭著的FullGC。尤其在大内存条件下，一次FullGC很可能会持续较长时间，甚至达到分钟级别。大家知道FullGC是会将整个进程暂停的（称为stop-the-wold暂停）,因此长时间FullGC必然会极大影响业务的正常读写请求。也正因为这样的弊端,SlabCache方案和BucketCache方案才会横空出世。BucketCache相比LRUBIockCache,BucketCache实现相对比较复杂。它没有使用JVM内存管理算法来管理缓

6、存，而是自己对内存进行管理,因此不会因为出现大量碎片导致FullGC的情况发生。本节主要介绍BucketCache的具体实现方式（包括BucketCache的内存组织形式、缓存写入读取流程等）以及如何配置使用BucketCache。内存组织形式下图是BucketCache的内存组织形式图，其中上面部分是逻辑组织结构，下面部分是对应的物理组织结构。HBase启动之后会在内存中申请大量的bucket,如下图中黄色矩形所示，母个bucket的大小默认都为2MBO母个bucket会有一个baseoffset变量和一个size标签其中baseoffset变量

7、表示这个bucket在实际物理空间中的起始地址，因此block的物理地址就可以通过baseoffset和该block在bucket的偏移量唯一确定;而size标签表示这个bucket可以存放的block块的大小比如图中左侧bucket的size标签为65KB,表示可以存放64KB的block,右侧bucket的size标签为129KB,表示可以存放128KB的block。HBase中使用BucketAllocator类实现对Bucket的组织管理：Bucket1.HBase会根据每个bucket的size标签对bucket进行分类相同size标签的

8、bucket由同一个BucketSizelnfo管理,如上图,左侧存放64KBblock的bucket由65KBBucke