资源描述：
《easyhadoop实战手册》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。
1、莃蒀薃膀艿蒀蚅羃膅葿[EasyHadoop实战操作手册v1.0]科技改变生活!EasyHadoop让你的Hadoop应用飞起来![EasyHadoopinactionv1.1][讲解Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单(Easy)。][EasyHadoop开源社区][北京市海淀区学院路51号首享科技大厦13层]EasyHadoop集群部署入门修订记录日期修改原因描述作者2012/02/14初稿Hadoop部署文档向磊2012/07/14完善细节新
2、基础环境配置,修改配置文件,修改架构图。童小军2012/07/16完善细节完善系统检查方法,完善目录结构和注释,添加封面童小军2012/07/16添加图例添加生产集群部署图,组件的依赖关系童小军2012/08/07添加EasyHive添加EasyHive章节童小军2012/09/07完善内容添加机器配置详解,和配置文件详解童小军2012/09/07完善内容添加任务调度,机架感知童小军目录EasyHadoop集群部署入门文档2目录21.文档概述32.背景33.名词解释44.服务器结构4#Hadoop试验集
3、群的部署结构4#系统和组建的依赖关系5#生产环境的部署结构65.RedhatLinux基础环境搭建6#linux安装(vm虚拟机)6#配置机器时间同步6#配置机器网络环境7#配置集群hosts列表10#下载并安装JAVAJDK系统软件10#生成登陆密钥11#创建用户账号和Hadoop部署目录和数据目录11#检查基础环境126.Hadoop单机系统安装配置13#Hadoop文件下载和解压13#配置hadoop-env.sh环境变量13#HadoopCommon组件配置core-site.xml13#HDF
4、SNameNode,DataNode组建配置hdfs-site.xml14#配置MapReduce-JobTrackerTaskTracker启动配置15#Hadoop单机系统,启动执行和异常检查17#通过界面查看集群部署部署成功18#通过执行Hadooppi运行样例检查集群是否成功19#安装部署常见错误207.Hadoop集群系统配置安装配置20#检查node节点linux基础环境是否正常,参考[linux基础环境搭建]一节。20#配置从master机器到node节点无密钥登陆20#检查master到
5、每个node节点在hadoop用户下使用密钥登陆是否正常21#配置master集群服务器地址stop-all.shstart-all.sh的时候调用21#通过界面查看集群部署部署成功22#通过执行Hadooppi运行样例检查集群是否成功248.自动化安装脚本25#master服务器自动安装脚本25Hive仓库集群部署入门文档271.名词解释272.Hive的作用和原理说明27#数据仓库结构图27#Hive仓库流程图27#hive内部结构图273.Hive部署和安装27#安装Hadoop集群,看EasyH
6、adoop安装文档。27#安装Mysql,启动Mysql,检查gc++包。27#解压Hive包并配置JDBC连接地址。27#启动HivethriftServer。27#启动内置的HiveUI。274.HiveCli的基本用法28#登陆查询28#查询文件方式28#命令行模式285.HQL基本语法(创建表,加载表,分析查询,删除表)28#创建表286.使用Mysql构建简单数据集市29#Mysql的两种引擎介绍29#创建一个数据表使用Hivecli进行数据分析29#使用shell编写Hsql并使用HiveC
7、li导出数据,使用Mysql命令加载到数据库中。29#使用crontab新增每日运行任务定时器297.使用FineReport数据展现数据29#安装FineReport,使用注册码!29#使用FineReport,快速展现数据报表。29#FineReport的问题和局限291.文档概述本文档是Hadoop部署文档,提供了Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单(Easy)。本安装文档适用于centos5/redhat5.232位,64位版本,ubun
8、tu等操作系统需要做部分修改。2.背景Hadoop为分布式文件系统和计算的基础框架系统，其中包含hadoop程序，hdfs系统等。3.名词解释1.Hadoop,Apache开源的分布式框架。2.HDFS,hadoop的分布式文件系统3.NameNode,hadoopHDFS元数据主节点服务器，负责保存DataNode文件存储元数据信息。4.JobTracker,hadoop的Map/Reduce调度器，负责与TackTracker通信分配计
