oracle从入门到精通

《oracle从入门到精通》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、集群的构建和安装：ApacheHadoop分发包安装Hadoop。需要添加到安装脚本之中的内容：安装Java检查Java是否已被正确安装。%java-version创建Hadoop用户：创建特定的Hadoop用户账号以区分Hadoop和本机上的其他服务。（在新用户的home目录设在一个NFS挂载的驱动器上，辅助SSH秘钥分布。NFS服务器在Hadoop集群之外，如果用户选择使用NFS，则有必要考虑autofs,它提供按需挂载NFS文件系统的功能，即系统访问它时才挂载。autofs也提供一些措施来应对NFS服务器发生故障的情况）安装HadoopHadoop并没有安装在hadoop用户

2、的home目录下，最啊哦是在某一NFS挂载的目录上cd/usr/localsudotarxzfhadoop-x.y.z.tar.gz将Hadoop文件的拥有者改为hadoop用户和组sudochown-Rhadoop:hadoophadoop-x.y.zSSH配置SSH运行hadoop用户无需键入密码即可登录集群内的机器。最简单的方法是创建一个公钥/私钥对，利用NFS在整个集群间共享该秘钥对。以某hadoop用户账号登录后，键入一下指令来产生一个RSA密钥对。%ssh-keygen-trsa-f~/.ssh/id_rsa为了安全，当系统提示输入口令时，用户最好指定一个口令，可以使用

3、ssh-agent避免为每个连接一一输入密码。私钥放在由-f选项指定的文件中，例如~/.ssh/id_rsa.pub。存放公钥的文件名称与私钥类似，但是以".pub"作为后缀，例如~~/.ssh/id_rsa.pub。接下来，需要确保公钥存放在用户打算连接的所有机器的~/.ssh/authorized_keys文件中。如果hadoop用户的home目录在NFS文系统中，则密钥可以通过键入一下指令在整个集群共享:%cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys如果home目录并非通过NFS共享，则需要利用其它方法共享公钥。测试是否可以从主机器

4、ssh到工作机器。若可以，则表明ssh-agent正在运行。再运行ssh-add来存储口令。这样的话，用户即可不输入口令就能ssh到一台工作机器。Hadoop配置Hadoop配置文件hadoop-env.shBash脚本记录脚本要用的环境变量，以运行hadoopcore-site.xmlHadoop配置XMLHadoopCore的配置项，例如HDFS和MapReduce常用的I/O设置等hdfs-site.xmlHadoop配置XMLHadoop守护进程的配置项，包括namenode、辅助namenode和datanode等mapred-site.xmlHadoop配置XMLMap

5、Reduce守护进程的配置项，包括jobtracker和tasktrackermasters纯文本运行辅助namenode的机器列表（每行一个）slaves纯文本运行datanode和tasktracker的机器列表(mei)hadoop-metrics.propertiesjava属性控制metrics在Hadoop上如何发布的属性log4j.propertiesjava属性系统日志文件、namenode审计日志、tasktracker子进程的任务日志的属性。-------------------------------------------------------------

6、----------------------------------------------------上述文件都放在Hadoop分发包的conf目录中。配置目录页可重新放在文件系统的其他地方。但守护进程启动时需要使用--config选项，以指向本地文件系统的某个目录。配置管理集群的Hadoop节点都各自保存在一系列配置文件，并由管理员完成这些配置的同步工作。Hadoop提供一个基本工具来进行同步配置，即rsync。此外，诸如dsh或pdsh等并行shell工具也可完成该任务。Hadoop支持为所有主机器和工作机器采用同一套配置文件。------------------------

7、-------------------------------------------------------------------------------------------控制脚本Hadoop内置一些脚本来运行指令，在集群内启动和终止守护进程。为了运行这些脚本，需要指定集群内的所有机器。有两个文件能达成这个目标（存放在bin目录中),还需要指定集群内的所有机器。有两个文件能达成这个目标，即masters和slaves。各文件逐行记录一些机器的名称或IP地址。