欢迎来到天天文库
浏览记录
ID:50781728
大小:55.92 KB
页数:3页
时间:2020-03-14
《hadoop并非完美8个代替 hdfs 的绝佳方案.doc》由会员上传分享,免费在线阅读,更多相关内容在应用文档-天天文库。
1、hadoop并非完美8个代替hdfs的绝佳方案 Hadoop并非完美8个代替HDFS的绝佳方案HDFS(HadoopDistributedFileSystem)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,坦白说HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点,包括不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。 Apache软件基金会成立的时候,HDFS就一直在想办法提高它的性能和可用性,坦白说,这也许对试点项目、非常规项目、要求不严格的大环境中比较适用,但是对于某些Hadoop用户来说,他们对于性能、可用性、企业
2、级特性有较高的要求,且注重直接附加存储(DAS)架构,特别是老版本的Hadoop没有高性能的主节点,那么接下来8个产品就是代替HDFS的绝佳方案。 1.Cassandra(DataStax)并非一个完全的文件系统,而是一个开源、NoSQL键值(key-value)商店。 这给依靠快速数据访问的Web应用多了一个HDFS选择。 简单来说它把Hadoop融合在Cassandra里面,支持Web应用通过Hadoop快速访问数据,而Hadoop可以快速访问流入Cassandra的数据。 2.CephCeph是一个开源、多管齐下的操作系统,因为其高性能并行文件系统的特性,有人甚至认为它是基于H
3、adoop环境下的HDFS的接班人,因为自xx年就有研究者在寻找这个特性。 3.Cleversafe分散存储网络本周一Cleversafe宣布将融合Hadoop的并行编程技术和自己的分散存贮网络。 其原理是通过把整个元数据分布在集群中(不是依靠单个主节点、不是依靠复制),Cleversafe表示这比HDFS更快、更稳定、更具扩展性。 4.GPFS(IBM)IBM一直在向高性能要求的用户销售其并行文件系统,包括世界上最快的超级电脑,xx年它推出了基于Hadoop的GPFS,并宣布GPFS不共享集群版本比Hadoop快多了,因为它在内核级别中运行,而不是在操作系统中运行例如HDFS。 5
4、.Isilon(EMC)EMC提供Hadoop发行版已经一年了,但xx年1月转型为HDFS企业级别的新方案Isilon的OneFS文件系统。 因为Isilon可以读取NFS,CIFS以及HDFS协议,一个单独的IsilonNAS系统可以摄入、处理、分析数据。 6.LustreHPC存储提供商Xyratex增在xx年的一份报道中写到,基于Lustre的集群会比基于HDFS的集群更快更便宜。 7.MapR文件系统MapR文件系统在业内已经具有一定知名度了,不仅MapR宣布它自己的文件系统比HDFS快2-5倍(实际上有20倍),它还具有镜像、快照、高性能这些企业用户喜欢的特点。 8.Net
5、AppHadoop开放方案NetApp重新改版了物理Hadoop结构把HDFS放在磁盘阵列中,通过这样来达到更快、更稳定、更安全的Hadoop工作。 没有思想自由,就不可能有学术创新。 ――周海中。 内容仅供参考
此文档下载收益归作者所有