虚拟化与云计算课程实验报告材料——Hadoop平台搭建.doc

《虚拟化与云计算课程实验报告材料——Hadoop平台搭建.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、虚拟化与云计算实验报告目录一、实验目标1二、实验容1三、实验步骤1四、实验遇到的问题及其解决方法1五、实验结论1一、实验目的1.实验题目：配置和使用SAN存储掌握在Linux上配置iSCSItarget服务的方法。2.实验题目：Hadoop&MapReduce安装、部署、使用Hadoop-HDFS配置运行MapReduce程序，使用MapReduce编程二、实验容1.实验题目：配置和使用SAN存储配置在Linux上iSCSI实现两台机器间的共享存储。2.实验题目：Hadoop&MapReduce1.掌握在集群上（使用虚拟机模拟）安装部署Hadoop-HDFS的方法。2.掌握在H

2、DFS运行MapReduce任务的方法。3.理解MapReduce编程模型的原理，初步使用MapReduce模型编程。三、实验步骤及实验结果1.实验题目：配置和使用SAN存储在实验1中我作为主机提供共享存储空间，实验地点是在机房，但是由于我当时没有截图所以回寝室在自己的电脑上重做，以下为主机步骤：1.1确定以root身份执行以下步骤sudosu–1.2安装iSCSITarget软件1.3修改/etc/default/iscsitargetISCSITARGET_ENABLE＝true1.4创建共享存储　　共享存储可以是logicalvolumes,imagefiles,hard

3、drives,harddrivepartitionsorRAIDdevices　　例如使用imagefile的方法，创建一个10G大小的LUN：ddif=/dev/zeroof=/storage/lun1.imgbs=1024kcount=102401.5修改/etc/iet/ietd.conf添加：Targetiqn.2001-04..example:storage.lun1IncomingUser[username][password]OutgoingUserLun0Path=/storage/lun1.img,Type=fileioAliasLUN1#MaxConnect

4、ions6　　1.6修改/etc/iet/initiators.allow　　如果只允许特定IP的initiator访问LUN，则如下设置iqn.2001-04..example:storage.lun1192.168.0.100　　如果任意initiator均可以访问，则：ALLALL1.6启动/重启动iSCSItarget/etc/init.d/iscsitargetstart/etc/init.d/iscsitargetrestart2.实验题目：Hadoop&MapReduce1.安装JDK——在实验中安装为OpenJDK6Runtime2.安装openssh-serv

5、er，命令为：sudoapt-getinstallopenssh-server，并检查sshserver是否已经启动：ps-e

6、grepssh，如果只有ssh-agent那ssh-server还没有启动，需要/etc/init.d/sshstart，如果看到sshd那说明ssh-server已经启动了。3.免密码ssh设置，确认能否不输入口令就用ssh登录localhost:sshlocalhost如果不输入口令就无法用ssh登陆localhost，执行下面的命令：$ssh-keygen-trsa-f~/.ssh/id_rsacat~/.ssh/id_rsa.pub>>~/.s

7、sh/authorized_keys再次执行sshlocalhost，完成后请登入确认不用输入密码1.安装Hadoop解压Hadoop安装包到安装目录，在本实验中我新建了一个用户hadoop并把hadoop解压到home/hadoop文件夹下，在伪分布模式下使用的版本为0.20.203，在分布模式下因为要与Eclipse兼容所以最终使用版本为0.20.2，下面部分截图为版本为0.20.203。并编辑conf/hadoop-env.sh，将JAVA_HOME设置为Java安装根路径运行运行bin目录下的hadoop，如显示hadoop脚本的使用文档，说明安装已经完成。如下图所示：

8、1.安装部署单机伪分布式模式Hadoop-HDFSHadoop可以在单节点上以伪分布式模式运行。编辑/conf/core-site.xmlfs.default.namehdfs://localhost:9000hadoop.tmp.dir/tmp/hadoop/hadoop-${user.name}