网易视频云：HBase最佳实践-内存规划

《网易视频云：HBase最佳实践-内存规划》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、网易视频云：HBase最佳实践一内存规划网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集祥和专业音视频技术,为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PASS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业川户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云与人家分亨一下HBase最住实践一内存规划.线上HBase集群应该如何进行参数配置？这其实是很多HBase初学者在实践环节都可能会遇到的问题，有些人会选择默认配置，有些人会选择具他公司的推若配證

2、；诚然，这样的参数配置在大多数情况下都能正常工作，但性能却未必最佳、资源未必都能被合理利用。本文结合笔者的实践经验，针对不同应用场景，对多种工作模式下的参数进行详细说明，并结合相关示例对集群规划中最核心模块■内存规划进行介绍。-•方而希望读者能够了解HBase内存相关知识细节，另一方面能够将这些知识应用于实践、不断对集群进行优化。HBase屮内存规划氏接涉及读缓存BlockCache、写缓存MemStore,影响系统内存利用率、10利用率等资源以及读写性能等，重要性不言而喻。主要配置也是针对BlockCache和M

3、emStore进行，然而针对不同业务类型（简单说來主要包括读多写少型和写多读少型），内存的和关配置却完全不同。再者，对于读缓存BlockCache,线上一•般会有两种工作模式:LRUBIockCache和BucketCache,不同工作模式下的相关配置也不尽相同。为了比较完整的说明不同应用场景以及不同缓存工作模式的内存规划，下文会分分别介绍两个案列：读多写少型+BucketCache,写多读少型+LRUBIockCache。需要说明的是，业务类型和读缓存工作模式Z间没冇任何直接的关联。业务到底使用BucketCac

4、he还是使用LRUBIockCache,只和分配给RegionServer的内存人小有关。一般而言，如果HBASE_HEAPSIZE>20G,选择BucketCache,否则选择LRUBIockCache（参考hortonworks文档），理论依据可以参考这里。案例一：写多读少型+LRUBIockCache内存分布图在详细说明具体的容量规划前，首先需要明确LRUBIockCache模式下的内存分布图，如下图所示：A^I_HEAPSIZ£(OiiHeap)图屮分配给Regionserver进程的内存就是JVM内存，主

5、耍分为三部分：LRUBlockCache,用于读缓存；MemStore,用于写缓存；Other,用于RS运行所必须的其他对象；内存规划思路了解了BucketCache模式下的内存分布图Z后，我们具体来分析如何规划内存，首先列出来基木条件：a.整个物理机内存：96Gb.业务负载分布：30%读，70%写接卜•来将问题一步一步分解，从上至卜■按照逻辑对内存进行规划：(1)系统内存基础上如何规划RS内存？这个问题需要根据自身服务器情况决定，一般情况下，在不影响其他服务的情况下，越大越好。我们冃前设置为64G,为系统内存的2

6、/3o(2)如何设置LRUBlockCache、MemStore?确定RegionServer总内存Z后，接下来分別规划LRUBIockCahce和MemStore的总内存。在此需要考虑两点：在写多读少的业务场杲下，写缓存显然应该分配更多内存，读缓存相对分配更少；HBase在此处冇个锁规定:LRUBlockCache+MemStore<80%*JVM_HEAP,否则RS无法启动。推荐内存规划：MemStore=45%7VM_HEAP=64G*45%=28.8G,LRUBlockCache=30%*JVM_HEAP=

7、64G*30%=19.2G；默认情况下Memstore为40%*JVM_HEAP,而LRUBlockCache为25%*JVMHEAPSB■设置实践（I〉设置JV1莎数如下:-XX:SurvivorRatio=2・XX:+PrintGCDateStamps-Xloggc:$HBASE_LO6_DIR/gc-regionserver.log・XX:+UseGCLogFileRotation・XX:NumberOfGCLogFiles=l・XX:GCLogFileSize=512M-server・Xmx64g・Xms6

8、4g-Xmn4g・Xss256k・XX:PermSize=256m・XX:MaxPermSize=256m-XX:+UseParNevK5C・XX:MaxTenuringThreshold=15-XX:+CMSParallelRemarkEnabled-XX:+UseCMSCompactAtFullCollection-XX:+CMSClassUnloadi