《云平台实践》任务书

《《云平台实践》任务书》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《云平台实践》实验任务书一、课程安排使学生通过48学时的课程实践过程，了解云计算虚拟化概念，大数据存储和处理以及几种主要的云计算应用平台——Google的云计算平台和Amazon的AWS。本课程学习结束后，学生应能自行用vmwareworkstation和KVM配置安装虚拟机，能进行HadoopHDFS分布式文件系统的安装、配置和管理，利用MapReduce思想进行海量数据的处理。学会使用云计算的仿真工具CloudSim，在中CloudSim模拟器中创建数据中心，主机，虚拟机，任务等。应用调度算法

2、进行虚拟机分配等。注：本实验任务书包含三部分内容（虚拟化部分，大数据部分，云计算模拟部分），每部分16学时。共48学时内容，32学时课程可选做其中两部分内容。二、基本要求虚拟化部分：（1）掌握利用vmwareworkstation安装虚拟机；（2）掌握虚拟机实现上网的三种模式：桥接模式，host-only模式，NAT模式；（3）为虚拟机配置双网卡不同网段的IP地址（4）掌握用KVM建立虚拟磁盘并在虚拟磁盘上安装虚拟机。大数据部分(1)掌握HadoopHDFS的伪分布模式和完全分布模式的安装、配置与

3、管理(2)掌握Hadoop提交作业以及查询作业运行情况(3)理解Map-Reduce原理，能书写Map-Reduce程序(4)理解HDFS原理，能熟练地对HDFS中的文件进行管理(5)掌握Hbase的安装和配置(6)掌握Hbase的原理并能进行简单的shell操作云计算模拟部分（1）掌握云计算的基本概念和相关技术（2）掌握主要的云计算应用平台，如Google的云计算平台和Amazon的AWS等（3）掌握云计算平台的通用体系结构，以及其中的技术原理（4）掌握云计算的仿真工具CloudSim的架构，原

4、理以及安装配置。（5）在仿真工具CloudSim上设计调度算法，并评估模拟结果。三、任务要求及学时1．安排：工作进程内容课时备注Ø技术手段讲解与下达任务书2指导教师将自己联系方式QQ、电子邮箱等告知学生以便答疑。虚拟化部分主要任务：（1）掌握利用vmwareworkstation安装虚拟机；（2）掌握虚拟机实现上网的三种模式：桥接模式，host-only模式，NAT模式；（3）为虚拟机配置双网卡不同网段的IP地址；（4）掌握用KVM建立虚拟磁盘并在虚拟磁盘上安装虚拟机。6学时大数据部分主要任务及步

5、骤：一．Hadoop伪分布模式安装和运行，伪分布式模式的安装和配置步骤（1）下载并解压Hadoop安装包（建议选用了1.0.0版本）（2）进入Hadoop的解压目录，编辑conf/hadoop-env.sh文件（注意不同版的配置文件的位置有所不同）（3）编辑conf目录下core-site.xml、hdfs-site.xml和mapred-site.xml三个核心配置文件（4）配置ssh，生成密钥，使到ssh可以免密码连接localhost（5）格式化HDFS（6）使用bin/start-all.

6、sh启动Hadoop（7）使用bin/stop-all.sh关闭Hadoop（8）创建两个简单的文本文件，运行Hadoop系统自带的单词计数程序wordcount程序，进行文本文件中不同单词出现次数的统计。（9）熟悉主要的HDFS文件操作命令：l列出HDFS下的文件l上传文件到HDFSl将HDFS的文件复制到本地l删除HDFS下的文档l查看HDFS下某个文件的内容l查看HDFS基本统计信息l进入和退出安全模式8学时一．Hadoop完全分布式安装和运行（1）配置hosts文件（2）建立hadoop运

7、行账号（3）配置ssh免密码连入（4）下载并解压hadoop安装包（5）配置namenode，修改site文件（6）配置hadoop-env.sh（7）配置masters和slaves文件（8）向各节点复制hadoop（9）格式化namenode（10）启动hadoop（11）用jps检验各后台进程4学时三．HadoopAPI开发MapReduce程序（1）HadoopEclipse环境安装:把Hadoop安装目录下的contrib/eclipse-plugin文件复制到eclipse安装目录的p

8、lugins目录下（2）采用MapReduce编程思想，编写一个数据筛选程序：对一个路由日志文件，提取出MAC地址和时间，删去其它内容。（3）采用MapReduce编程思想，编写一个倒排索引程序：有一批电话通信清单，记录了用户A拨打用户B的记录，编写程序实现一个倒排索引，记录拨打给用户B的所有用户A。8学时四．完全分布模式Hbase安装和配置（1）下载并解压Hbase安装包（2）修改conf/hbase-env.sh文件，设置环境变量（3）编辑hbase-site.xml进行配置（