异构存储的hdfs副本选择策略研究

《异构存储的hdfs副本选择策略研究》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。异构存储的HDFS副本选择策略研究　　摘要：大数据时代的到来，给海量数据的存储与管理带来了更为严峻的挑战。HDFS能够有效缓解飞速增长的海量数据存储需求。最初HDFS被设计用于同构的硬件环境，然而随着集群硬件的迭代更新，存储介质的硬件异构特性愈发明显。为了充分利用高性能存储介质，提升HDFS的数据访问性能，设计了一种基于层次分析法的异构存储的HDFS副本选择策略，并

2、在扩展的CloudSim仿真系统中实现了该策略。实验结果表明，该策略在HDFS数据访问性能方面优于HDFS默认副本选择策略。　　关键词：大数据；异构存储；HDFS；副本选择策略；CloudSim　　DOIDOI：/　　中图分类号：TP301　　文献标识码：A文章编号：1672--0011-03　　0引言　　云存储技术已经受到了商业与学术领域的广泛关注，目前已成为大数据时代的研究热点。随着大数据时代的到来，大数据的存储需求成倍增长，分布式存储技术是大数据时代应对存储容量的压力与成本等诸多挑战下的极为重要的解决方案。HDFS是大数据领域最受关注

3、的具备高度容错性与高吞吐量的海量数据存储的开源框架[1]。为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　近年来，计算机硬件技术的飞速发展，使得固态硬盘的性能不断提升，价格快速下降。由于固态硬盘具有较高的I/O性能，目前已经被

4、应用于HDFS中以提升海量数据的存储性能。但是固态硬盘的使用成本仍旧高于机械硬盘，综合考虑大规模HDFS的基础设施成本与存储的性能需求，将固态硬盘与机械硬盘混合应用是一种有效的解决手段。　　副本选择策略是HDFS数据访问的基础，副本选择策略的优劣将直接影响HDFS集群的数据访问性能。为了充分利用异构的存储介质，同时避免集群负载不均所带来的瓶颈，本文充分考虑副本所在存储介质与集群中节点的负载差异，构建了数学模型，提出了一种异构存储下的HDFS副本读取选择策略。　　1HDFS的异构存储为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们

5、不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　最初，Hadoop默认所有存储介质都是同构的，但是随着Hadoop集群硬件的迭代更新，使得在集群中出现了异构的存储介质。不同的存储介质具有不同的I/O性能。机械硬盘作为目前主流的存储介质，尽管价格低、容量大，但是由于其机械构造、磁盘寻道时

6、间与定位时间难以被消除，使得机械硬盘在读写性能上难以有进一步提升。随着多核处理器的飞速发展，机械硬盘的访问性能与处理器和内存之间的差距越来越大。机械硬盘的I/O性能已经成为分布式存储系统访问性能的主要瓶颈之一。固态硬盘无需寻道，读写延迟远远小于机械硬盘，并且提供了良好的随机访问性能，并且比机械硬盘的能耗更低[2]。　　为了充分利用异构存储介质的性能特点，Hadoop于版本中添加了对异构存储的支持，同时引入了存储策略的新概念，在数据写入至HDFS时可以为数据指定不同的存储策略，使得数据可以写入不同类型的存储介质中。然而在副本选择策略方面仍旧采

7、用就近副本选择策略。　　在此之前，许多学者研究如何在HDFS中将机械硬盘与固态硬盘混合使用以充分发挥不同存储介质的性能。Islam等[3-5]提出将固态硬盘作为机械硬盘的缓存层的HDFS架构；Krish等[6-7]提出了固态硬盘与机械硬盘混合使用的HDFS系统架构，并提出了数据放置与查询策略，有效提升了HDFS的系统访问性能。Chen等[8]在操作系统内核层面进行了异构存储的HDFS数据放置策略设计与实现。目前，异构混合存储的HDFS主要集中于架构设计，在副本选择策略方面仍具备较大的研究空间。　　2异构存储的HDFS副本选择策略　　HDFS

8、读过程分析　　为了避免分布式文件系统中存储节点失效带来的数据丢失情况，HDFS采用数据多副本分块对数据进行冗余存储。这在保证数据安全性的同时也提升了数据的访问性能，多客户端可并发