it十八掌徐培成hadoop笔记-(28068)

《it十八掌徐培成hadoop笔记-(28068)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、--WORD格式--专业资料--可编辑---Hadoop本机集群机器：211212215216四台对应s100s101s102s103s104Ubuntu204-server-64-2-00100s100211node1Ubuntu204-server-64-2-01101s101212node2Ubuntu204-server-64-2-02102s102215node3Ubuntu204-server-64-2-03103s103215node3Ubuntu204-server-64-2-04104s104216node4a)bigdate海量数据：

2、1byte=8bit1024B=1M2^101024M=1G2^101024G=1T2^101024T=1P2^101024P=1E2^101024E=1Z2^101024Z=1Y2^101231231024Y=1N2^10存储分布式存储计算分布式计算Hadoop(一头大象)Dougcutting----WORD格式--专业资料--可编辑---Hadoop可靠，可伸缩，分布式计算的开源软件。HDFS去IOE(IBM+oracle+EMC)MapReduceMR//映射和化简，编程模型推荐Bigdata4V1)Volumn//题量大2)Variaty//样

3、式多3)Velocity//速度快4)Valueless//价值密度低a)Hadoop的安装：（安装ubuntu系统）安装jdkLn–s/soft/jdk-xxxjdk配置环境变量JAVA_HOME=/soft/jdkPATH=”…:/soft/jdk/bin”Source/etc/environmentJava–version安装hadoopHadoop.tar.gzHadoopversion配置环境变量HADOOP_HOMEPATH配置hadoop分三个模式：1.standelone

4、local//独立/本地模式，使用的本地文件系统Nothing查看

5、文件系统的方式：----WORD格式--专业资料--可编辑---查看文件系统hadoopfs–ls/没有守护进程，所有程序运行在同一JVM中，利用test和debug.1.PaeudodistributedMode//伪分布模式2.Fullydistributedmode//完全分布式配置SSH1)安装ssh$sudoapt-getinstallssh2)生成密钥对Ssh-keygen–trsa–P‘’–f~/.ssh/Cd~/.ssh3)导入公钥数据到授权库中Cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys4)登

6、录到localhostSshlocalhost5)格式化hdfs文件系统Hadoopnamenode-format6)启动所以进程Start-all.sh7)查看进程Jps//5RMNMNNDN2NN8)查看文件系统Hadoopfs-ls9)创建文件系统Hadoopfs–mkdir–p/user/Ubuntu/dataHadoopfs–ls–R/----WORD格式--专业资料--可编辑---a)Hadoop包含三个模块1)Hadoopcommon：支持其他模块的工具模块2)HadoopDistributedFileSystem(HDFS)分布式文件系统

7、，提供了对应用程序数据的高吞吐量访问。进程：NameNode名称节点NNDataNode数据节点DNSecondaryNamenode辅助名称节点2ndNN3)HadoopYARN：作业调度与集群资源管理的框架。进程ResourceManager资源管理—RMNodeManager节点管理器—NM4)HadoopMapReduce:基于yarn系统的对大数据集进行并行处理技术配置hadoop1)Standelone/localb)完全分布式安装：1)准备5台客户机本人集群机器：211212215216四台对应s100s101s102s103s104---

8、-WORD格式--专业资料--可编辑---ip主机名ip主机名1.Ubuntu204-server-64-2-00100s100211node12.Ubuntu204-server-64-2-01101s101212node23.Ubuntu204-server-64-2-02102s102215node34.Ubuntu204-server-64-2-03103s103215node35.Ubuntu204-server-64-2-04104s104216node42)安装ssh1)安装ssh$sudoapt-getinstallssh2)生成密钥对s

9、sh-keygen–trsa–P‘’–f~/.ssh/cd~/.ssh3)导入公