hadoop大数据系统理论与实践

《hadoop大数据系统理论与实践》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、中国管理科学研究院人才战略研究所人才所[2015]第（06）号“Hadoop大数据系统理论与实践”高级培训班通知一、培训特色当前，我国已经进入大数据时代，在这样的时代背景下，Hadoop的应用也逐渐深入，正在从互联网企业，逐渐拓展到电信，金融，政府，医疗这些传统行业。目前Hadoop应用场景已广泛应用于日志存储、查询和非结构化数据处理等大数据应用领域，随着Hadoop技术的不断成熟以及生态系统相关产品的完善，包括Hadoop对SQL不断加强的支持，以及主流商业软件厂商对Hadoop支持的不断增强，必定会带动Hadoop渗透到越来越多的应用场景中。2014年是中国大

2、数据的应用落地年，越来越多的行业用户开始重视并启动大数据相关的项目。而在大数据领域的众多技术中，最受关注的是衍生于开源平台的Hadoop生态系统。Hadoop从2006年诞生至今已经超8年时间。2014年，整个生态系统变得比以往更加丰富，无论是在开源领域，商业软件厂商或是硬件厂商，都开始推出基于Hadoop的相关产品。Hadoop之所以受到如此的关注，主要原因在于它支持用户在低价的通用硬件平台上实现对大数据集的处理和分析，在某种程度上替代了传统数据处理所需的昂贵的硬件设备和商业软件。中国管理科学研究院人才战略研究所特举办“hadoop大数据系统理论与实践”高级培训

3、班;并由盛科博文（北京）文化发展有限公司具体承办。本课程将分别从理论基础知识，系统搭建以及应用案例三方面对Hadoop进行介绍。本课程采用循序渐进的课程讲授方法，首先讲解Hadoop系统基础知识，概念及架构，之后讲解Hadoop实战技巧，最后详尽地介绍Hadoop经典案例，使培训者从概念到实战，均会有收获和提高。二、目标收益本课程将为大家全面而又深入的介绍Hadoop平台的构建流程，涉及Hadoop系统基础知识，概念及架构，Hadoop实战技巧，Hadoop经典案例等。通过本课程实践，帮助学员对Hadoop生态系统有一个清晰明了的认识；理解Hadoop系统适用的场

4、景；掌握Hadoop等初中级应用开发技能；搭建稳定可靠的Hadoop集群，满足生产环境的标准；了解和清楚大数据应用的几个行业中的经典案例。三、时间地点2015年4月24日——2015年4月27日北京（第一天报到，授课三天）四、培训对象各类IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。主办单位：承办单位：中国管理科学研究院人才战略研究所盛科博文（北京）文化发展有限公司2015年03月20日2015年03月20日五、培训内容5.1-9,,services,andmakethecitymoreatt

5、ractive,strengtheningpublictransportinvestment,establishedasthebackboneoftheurbanrailtransitmulti-level,multi-functionalpublictransportsystem,thusprotectingtheregionalpositionandachieve3主题授课内容第一天(大数据架构基础)大数据架构概述1.大数据层级结构介绍大数据系统基本架构与流程2.Hadoop生态系统概述以及版本演化概要介绍Hadoop生态系统及其版本演化历史，并给出hadoo

6、p版本选择建议。3.Spark生态系统概述概要介绍Spark生态系统及其特点，并与Hadoop对比数据收集系统Flume与Sqoop介绍如何使用flume和sqoop两个系统将外部流式数据（比如网站日志，用户行为数据等）、关系型数据库（比如MySQL、Oracle等）中的数据导入Hadoop中进行分析和挖掘Hadoop环境搭建（上机操作）设计搭建搭建HDFS,MapReduce和YARN等系统的环境第二天(分布式存储和资源管理)大数据存储系统HDFS与HBase1.HDFS2.0原理、特性与基本架构理论：介绍HDFS2.0原理与架构，并与HDFS1.0进行对比。介

7、绍HDFS2.0新特性，包括快照、缓存、异构存储架构等2.HBase原理，基本架构与案例分析理论：介绍HBase应用场景、原理和架构，介绍几个HBase典型应用案例，包括互联网应用案例和银行应用案例。实践：如何使用HBase资源管理和调度系统理论：介绍YARN应用场景、基本架构与资源调度实践：编写运行在YARN上的应用程序第三天（分布式计算）MapReduce基本原理与架构，编程实践（涉及多语言编程)理论：介绍计算框架MapReduce基本原理与架构实践：手把手介绍如何用java、C++、php等语言编写MapReduce程序Spark计算框架理论：介绍Spark

8、背景，使用