Hadoop技术培训大纲.doc

《Hadoop技术培训大纲.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

附录：Hadoop技术培训大纲（4天）课程模块课程主题n主要内容n案例和演示模块一Hadoop简介和生态系统介绍ü传统大规模数据分析存在的问题üHadoop概述üHadoop与分布式文件系统üHadoop生态系统üHadoop的行业应用案例分析üHadoop在云计算和大数据的位置和关系üHadoop版本介绍üHadoop与GoogleFS的关系üHadoop在国内的使用情况和未来ØHadoop在推荐领域的使用案例介绍模块二Hadoop安装和主要配置文件介绍üHadoop安装所需软件介绍üHadoop单机安装üHadoop伪分布式安装üHadoop完全分布式安装üHadoop三个节点安装的配置介绍üHahoop多节点ssh配置üHadoop格式化详解üHadoop核心配置文件介绍ü核心配置文件core-site.xmlüHDFS配置文件hdfs-site.xmlüMapreduce配置文件mapred-site.xmlümaster文件配置详解üslave文件配置详解üHadoop启动和停止方法一—start-all.sh详解—stop-all.sh详解üHadoop的启动和停止方法二—hadoop-deamon.sh详解üHadoop安装的常见错误介绍和解决方案ü使用自带的wordcount和pi测试集群安装是否成功ü使用Streaming来测试集群安装是否成功ØHadoop单机演示ØHadoop伪分布式演示ØHadoop完全分布式演示ØHadoop两种启动方式的演示ØHadoop安装常见错误的介绍和演示ØHadoop自带的wordcount和pi演示ØHadoopStreaming的案例演示 模块三Hadoop组件介绍üHadoopNameNode介绍üHadoopSecondaryNameNode介绍üHadoopDataNode介绍üHadoopJobTracker介绍üHadoopTaskTracker介绍模块五Hadoop的HDFS模块üHDFS架构介绍üHDFS原理介绍üNameNode功能详解üDataNode功能详解üSecondaryNameNode功能详解üHSFD的fsimage和editslog详解üHDFS的block详解üHDFS的block的备份策略üHadoop的机架感知配置üHDFS的shell命令介绍üHDFS的thriftserver服务介绍üHDFS的API接口介绍üHDFS的权限详解üHadoop的客服端接入案例ØHadoop的shell命令演示ØHadoop的API接口演示ØHadoop的客服端接入案例模块六MapReducer入门和高级üMapreduce原理üMapReduce流程ü剖析一个MapReduce程序üMapper和Reducer抽象类详解üMapreduce的最小驱动类üMapReduce自带的类型ü自定义Writables和WritableComparablesüMapreduce的输入InputFormatsüMapReduce的输出OutputFormatsü自定义InputFormatü自定义InputSPlitsü自定义RecorderReaderüCombiner详解üPartitioner详解üDistributeFileSystem详解üHadoopTools工具介绍üCounter计数器详解ü自定义Counter计数器üMapReduce的优化üMap和Reduce的个数设置ØMapReduce实现海量数据比较大小案例Ø自定义Hadoop类型案例Ø自定义Partitioner案例Ø实现在内存随机生成100个数，分成两个Map来比较大小Ø自定义inputFormat和InputSplit和RecorderReader来实现MapReduce读取Redis里面的数据。Ø多文件输出和自动定义MapReduce的输出名ØMapReduce实现Join算法案例ØMapReduce实现海量文档相似度算法Ø自定义Counter案例实现ØMapReduce实现Pangrank算法。ØMapReduce单元测试：Map的单元测试测试、reduce单元测试和MapReduce整体的单元测试实战。Ø某公司使用MapReduce分析日志案例（10T数据以上） üHadoop小文件优化ü任务调度ü默认的任务调度ü公平任务调度ü能力任务调度ü使用HadoopMapReduceStreaming编程üMapReduce的单元测试Ø配置公平调度器案例实战模块七Hive和pig的使用üHive和Pig基础üHive、Impala和presto的比较üHive的作用和原理说明üHadoop仓库和传统数据仓库的协作关系üHadoop/Hive仓库数据数据流üHive部署和安装üHiveCli的基本用法üHive的server启动üHQL基本语法üHive的加载数据本地加载和HDFS加载üHive的partition详解üHive的存储方式详解üRCFILE、TEXTFILE和SEQUEUEFILEüHive的UDF和UDAFüHive的transform详解üHive的JDBC连接Ø使用JDBC连接Hive进行查询和分析Ø使用正则表达式加载数据Ø编写UDF函数Ø编写UDAF自定义函数ØPartition使用实战ØTransform使用实战Ø某些大型公司使用hive分析日志案例详解和实战。模块八Hbase使用üHbase原理üHmaster详解üRegionServer详解üZookeeper介绍üHbase安装üHbase逻辑视图介绍üHbase物理视图介绍üHbase的二级索引介绍üHbase的DDL和DMLüHbase表的设计案例üHbase的import功能介绍üMapReduce操作HbaseüHbase的thriftServer介绍üHbase的API介绍üHbase案例分析ØHbase安装实战ØMapReduce操作Hbase实战ØHbase的API实战ØHbase表结构设计实战 模块九Hadoop集群配置介绍和维护üHadoop集群的部署要点üNameNode和SecondaryNameNode和JobTracker机器的配置要求üdataNode与tasktracker机器的配置要求üHadoop集群管理的工具介绍üGanglia和nigos监控Hadoop集群介绍üAmbri介绍ü添加和删除节点演示üNamenode的单点解决方案üNameNode的NFS备份介绍ü集群所有dataNode挂掉的故障介绍ü集群NameNode的fsimage丢掉恢复方法üHadoop集群维护的注意点模块十Sqoop介绍以后添加