HDFS架构与基本存储单元.docx

《HDFS架构与基本存储单元.docx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、HDFS架构与基本存储单元对于HDFS架构来说，一个HDFS基本集群包括两大部分，即NameNode与DataNode节点，其作用是将管理与工作进行分离。通常来说，一个集群中会有一个NameNode与若干个DataNode。NameNode是一个集群的主服务器，主要是用于对HDFS中所有的文件及内容数据进行维护，并不断读取记录集群中DataNode主机情况与工作状态，并通过读取与写入镜像日志文件的方式进行存储。而DataNode是在HDFS集群中担任任务具体执行，是整个集群的工作节点，文件被分成若干个相同大小的数据块，分别存储在若干个DataNode上，DataN

2、ode定时定期向集群内NameNode发送自己的运行状态与存储内容，并根据NameNode发送的指令进行工作。小提示：NameNode和DataNode可以工作在一台机器上，但是此种工作方式极大的限制了HDFS性能。NameNode负责接受客户端发送过来的信息，然后将文件存储信息位置发送给提交请求的客户端，由客户端直接与DataNode进行联系，进行部分文件的运算与操作。对于文件存储来说，HDFS使用Block（分块）来对文件的存储进行操作。对于传统磁盘存储来说，磁盘都有默认的存储单元，通常使用的是数据定义中的最小存储单元。Block是HDFS的基本存储单元，默认

3、大小是64M，这个大小远远大于一般系统文件的默认存储大小。这样做的一个最大好处减少文件寻址时间。除此之外，采用Block对文件进行存储，大大提高了文件的灾难生存与恢复能力，HDFS还对已经存储的Block进行多副本备份，将每个Block至少复制到3个相互独立的硬件上。这样做的好处就是确保在发生硬件故障的时候，能够迅速的从其他硬件中读取相应的文件数据。而具体复制到多少个独立硬件上也是可以设置的。好程序员大数据开发采用“T”字形的思维，以大数据的深度为主，以机器学习、云计算等作为宽度，终极目标是将你培养成一名“复合型”研发人才，让你自己在掌握相关大数据技术的同时，也能

4、够赢得一份高薪职位!