云计算开发平台安装配置手册(linux单机伪集群分册)

《云计算开发平台安装配置手册(linux单机伪集群分册)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、产品ID密级FocusHadoop中产品版本页数1.0.015云计算开发平台安装配置手册Linux单机伪集群分册二零一一年九月云计算开发平台安装配置手册Linux单机伪集群分册目录1.综述41.1.依据41.2.目的41.3.范围41.4.术语42.安装环境53.安装准备64.安装JDK75.安装hadoop76.安装hbase服务137.安装xdat服务187.1.修改xdata的配置文件188.安装solr服务279.安装LZO压缩模块289.1.标准安装289.2.测试LZO压缩解压319.3.如果安装后的lib包有问题不能用执行以下步骤补救32云计算开

2、发平台安装配置手册Linux单机伪集群分册修订记录日期 修订版本描述编撰人2011-09-200.0.1Linux单机伪集群分册刘学2011-10-130.0.2增加安装hbase内容邹跃2011-10-180.0.3调整文档部分结构。xdata->xdata概念转变刘学2011-10-190.0.4增加LZO压缩模块安装刘学2011-10-200.0.5修改xdata安装文档目录结构刘学2011-12-090.0.6修改其中错误的地方罗亮2011-12-090.0.7增加solr单机模式安装邹跃2011-12-290.1.0重构文档罗亮2012-1-40.1

3、.1增加第24步创建符号链接康华星云计算开发平台安装配置手册Linux单机伪集群分册1.综述1.1.依据本文档依赖于Apache组织hadoop开源项目的相关资料与文档以及各种网络收集的经过整理的资料。1.2.目的本文档将指导IT工程人员在单台Linux服务器上安装配置单节点的伪集群服务。1.3.范围本文档将指导如何获取安装文件构建安装目录、安装JDK、安装hadoop服务、配置云计算实验平台服务平台、HDFS测试、MapReduce测试等。1.4.术语HadoopCygwinEclipesXdata定义在云计算技术基础上的数据应用解决方案产品，适应各种未知数

4、据模型，具备很好的数据应用模式的延展性。LZOLZO是一个美妙与Hadoop的使用的压缩方案，因为它的速度非常快，支持splittable(可分块)。Gzip很快，但不能利用Hadoop的自然地图的优势分裂，因为这是不可能的，开始一个随机文件中的偏移量开始解压缩GZIP流的。LZO的块格式能够在解压缩文件的某些特定的偏移执行解压——在新的LZO块边界开始。LZO除了支持解压，这个类（com.hadoop.compression.lzo.LzoIndexer）提供了一个进程中的索引器以及Map-Reduce风格索引器，它将读取一组LZO文件，将输出的LZO块边界

5、偏移量与Hadoop文件块边界自然融合。这使得大量的LZO文件分割成多个映射器和并行处理。压缩，因为它是从磁盘读取的数据较少，最大限度地减少所需的IOPS数。和lzo减压是如此之快，CPU保持领先磁盘中读取的，所以不必解压缩，因为它的读取磁盘数据，也没有性能的影响。Gzip某种压缩格式，速度快，但是不支持压缩分块。云计算开发平台安装配置手册Linux单机伪集群分册1.安装环境硬件环境CPU：无特殊要求内存：无特殊要求硬盘：无特殊要求软件环境操作系统：Linux浏览器：目前只支持IE6.0和IE7.0云计算开发平台安装配置手册Linux单机伪集群分册1.安装准备

6、步骤1获取安装包安装文件安装包目录如下，如果缺省的安装包下面缺少对应的内容需要通过他人沟通获取：目录结构说明.././/bin../hadoop/config/lib/log/setup../hadoop-0.20.203.0rc1.tarema_mysql.sqljdk-6u10-linux-i586.binjdk-6u10-linux-x64.binmysql-5.0.67-linux-i686.tar.gz/mysql..//bin../mysqlaccessmysqld_safemy.conf/hadoop../conf/tomcat..//conf/

7、webapps../emahadoop可执行文件执行目录启动脚本（里面RUN_USER配置hadoop）配置目录（缺省配置在里面）软件包目录日志目录安装用临时文件夹，包括安装需要的软件包最新的hadoop平台安装包mysql数据库脚本Jdk1.6x32位版本Jdk1.6x64位版本Mysql数据库软件包mysql数据库替换文件hadoop缺省配置目录setup中解压的tar.gz文件要放在这里放了hadoop服务缺省的4个配置文件WEB服务器软件目录配置目录只需要修改server.xml界面应用程序发布在这里基础界面框架实验平台代码检查安装包目录是否完整。步骤

8、2拷贝安装包安装文件到安装目录第34页