IT十八掌徐培成HADOOP笔记

《IT十八掌徐培成HADOOP笔记》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、Hadoop本机集群机器：211212215216四台对应s100s101s102s103s104Ubuntu204-server-64-2-00100s100211node1Ubuntu204-server-64-2-01101s101212node2Ubuntu204-server-64-2-02102s102215node3Ubuntu204-server-64-2-03103s103215node3Ubuntu204-server-64-2-04104s104216node4a)bigdate海量数据：1byte=8bit1024B=1M2^101024M=1G2^10

2、1024G=1T2^101024T=1P2^101024P=1E2^101024E=1Z2^101024Z=1Y2^101231231024Y=1N2^10存储分布式存储计算分布式计算Hadoop(一头大象)DougcuttingHadoop可靠，可伸缩，分布式计算的开源软件。HDFS去IOE(IBM+oracle+EMC)MapReduceMR//映射和化简，编程模型推荐Bigdata4V1)Volumn//题量大2)Variaty//样式多3)Velocity//速度快4)Valueless//价值密度低a)Hadoop的安装：（安装ubuntu系统）安装jdkLn–s/s

3、oft/jdk-xxxjdk配置环境变量JAVA_HOME=/soft/jdkPATH=”…:/soft/jdk/bin”Source/etc/environmentJava–version安装hadoopHadoop.tar.gzHadoopversion配置环境变量HADOOP_HOMEPATH配置hadoop分三个模式：1.standelone

4、local//独立/本地模式，使用的本地文件系统Nothing查看文件系统的方式：查看文件系统hadoopfs–ls/没有守护进程，所有程序运行在同一JVM中，利用test和debug.1.PaeudodistributedMod

5、e//伪分布模式2.Fullydistributedmode//完全分布式配置SSH1)安装ssh$sudoapt-getinstallssh2)生成密钥对Ssh-keygen–trsa–P‘’–f~/.ssh/Cd~/.ssh3)导入公钥数据到授权库中Cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys4)登录到localhostSshlocalhost5)格式化hdfs文件系统Hadoopnamenode-format6)启动所以进程Start-all.sh7)查看进程Jps//5RMNMNNDN2NN8)查看文件系统Hadoopfs-l

6、s9)创建文件系统Hadoopfs–mkdir–p/user/Ubuntu/dataHadoopfs–ls–R/a)Hadoop包含三个模块1)Hadoopcommon：支持其他模块的工具模块2)HadoopDistributedFileSystem(HDFS)分布式文件系统，提供了对应用程序数据的高吞吐量访问。进程：NameNode名称节点NNDataNode数据节点DNSecondaryNamenode辅助名称节点2ndNN1)HadoopYARN：作业调度与集群资源管理的框架。进程ResourceManager资源管理—RMNodeManager节点管理器—NM2)Had

7、oopMapReduce:基于yarn系统的对大数据集进行并行处理技术配置hadoop1)Standelone/locala)完全分布式安装：1)准备5台客户机本人集群机器：211212215216四台对应s100s101s102s103s104ip主机名ip主机名1.Ubuntu204-server-64-2-00100s100211node12.Ubuntu204-server-64-2-01101s101212node23.Ubuntu204-server-64-2-02102s102215node34.Ubuntu204-server-64-2-03103s103215

8、node35.Ubuntu204-server-64-2-04104s104216node41)安装ssh1)安装ssh$sudoapt-getinstallssh2)生成密钥对ssh-keygen–trsa–P‘’–f~/.ssh/cd~/.ssh3)导入公钥数据到授权库中cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keysscp/root/.ssh/*node2@:/root/.ssh/scp/root/.ssh/*node3@:/root/.ssh/