大数据应用技术课程介绍

《大数据应用技术课程介绍》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据应用技术网络课程1课程目标通过讲解几种主流大数据产品和技术的特性、实现原理和应用方向，并组织实习项目，使学员了解并初步掌握目前流行的大数据主流技术（采集、存储、挖掘等），了解其特点以及使用的场景，具备一定的大数据系统架构能力，并能自行开展简单的大数据应用开发。2课程内容本次课程讲解的大数据产品和技术包括：hadoop、storm、flume等，其中以hadoop为主要培训内容。3培训课程列表1.hadoop生态系统（1）HDFS（2课时）（2）MapReduce2（2课时）（3）Hive（1课时）（4）HBase（2

2、课时）（5）Sqoop（1课时）（6）Impala（1课时）（7）Spark（4课时）2.Storm流计算（2课时）3.Flume分布式数据处理（2课时）4.Redis内存数据库（1课时）5．ZooKeeper（1课时）4培训方式学员以观看录像、视频会议等方式进行学习，搭建集中环境供大家实习，并设置作业和答疑环节。每周视频课程约2个课时，作业和实习时间约需2-3小时，课程持续10周左右。5课程内容简介大数据技术在近两年发展迅速，从之前的格网计算、MPP逐步发展到现在，大数据技术发展为3个主要技术领域：大数据存储、离线大数据

3、分析、在线大数据处理，在各自领域内，涌现出很多流行的产品和框架。大数据存储HDFS、HBase离线大数据分析MapReduce、Hive在线大数据处理Impala、Storm（流处理）、Spark、Redis（内存数据库）、HBase数据采集Flume等辅助工具Zookeeper等5.1Hadoop1）HDFS介绍：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也

4、是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS是ApacheHadoopCore项目的一部分。培训内容：HDFS设计的思路HDFS的模块组成（NameNode、DataNode）HADOOPCore的安装HDFS参数含义及配置HDFS文件访问方式培训目标：使学员掌握HDFS这个HADOOP基础套件的原理、安装方式、配置方法等2）MAPREDUCE介绍：MapRe

5、duce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。培训内容：MapReduce环境配置JobTracker/TaskTracker

6、的作用简单的MapReduce示例培训目标：使学员初步了解MapReduce的工作原理与使用方式3）HIVE介绍：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。培训内容：Hive组件的安装Hive与传统关系型数据库的区别Hive的一些特性Hive的访问方式简单

7、HiveQL语言介绍培训目标：使学员初步了解Hive的作用，以及简单的hiveql4）HBASE介绍：HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据

8、存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。培训内容：Hbase组件的安装Hbase与传统RDBMS的比较Hbase的一些特性Hbase的访问方式培训目标：使学员初步了解Hive的作用，以及简单的Hbase应用5）SQOOP介绍：Sqoop(发音：skup)是一款开源的工具，主要用