大数据平台方向教学计划.pdf

《大数据平台方向教学计划.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、精品文档大数据平台课程标准一、课程定位现在企业为了提升客人使用体验，提高业务效率，在大数据蓬勃发展的阶段里，需要对现有业务系统进行转型升级；作为大数据载体，大数据平台工程师应用成为有大量数据的企业必备人才。随着大数据应用的大量普及，开源框架，比如hadoop，spark等，也得到长足发展。本课程着力于系统数据的收集和搭建技术，使得作为大数据的研发/分析带来基础设施，让学员掌握；并通过本课程，掌握大数据平台的理念，为将来在不同企业使用各种基础设施的搭建和维护指明方向。二、课程性质与作用课程性质大数据平台搭建核

2、心课程。课程作用大数据平台搭建核心课程，是整个大数据中基础的一环。在实际工作中，掌握本技术是是大数据方向的重要的岗位，即大数据平台工程师。在后续的大数据研发及大数据分析中，必须要在大数据平台搭建完成后才能在真实生产环境运行。本课程会涉及到其余的计算机知识，比如Linux操作系统、数据库、集群等知识。学习完本科课程之后，为了巩固和提高对大数据平台搭建的理解，在后续课程中加入有实际生产环境的搭建过程并验证。三、课程目标课程教学以生产环境搭建为目标，以实际项目为中心，以合理知识结构分解为手段，在理解大数据平台架构

3、的过程中，主要以实际操作让学员对相关知识点掌握，达到理论与实际结合，教学与企业融合的内容。学员学成后，能够利用流程的大数据平台框架大家生产环境，并且在企业相关架构选择有微调时，能够触类旁通，也能完成搭建任务。课程内容始终围绕全面提升学生的理论和操作的熟练程度、规范化程度以及职业素质三个方面展开。（一）知识目标1.理解大数据概念及应用场景，先导课程Linux的操作2.掌握大数据HDFS、HBase、Hadoop集群搭建及数据批处理。3.熟练掌握Spark搭建并能够验证运行。4.熟练掌握Storm搭建并掌握流处

4、理概念。1欢迎下载。精品文档5.Hadoop生态其他组件的安装和应用，Yarn&zookeeper。6.离线工具ETL和hive的安装及应用。（二）能力目标1.全局的眼光理解大数据，理解大数据的应用，并有总体的概念。2.理解企业中实际生产环境的大数据搭建，收集，分析，应用的过程。3.具备在实际应用中，针对技术框架的微调，能够应对并能够调试验证成功。四、课程设计主要指课程设计的总体思路：课程设计围绕大数据基础设施的搭建，并考虑到实际企业生产环境中的应用场景，从先导知识，基础知识，生态知识及扩展知识。存储及数H

5、adoop先导知识据库生态实时计算离线计算更多应用框架框架课程案例选取：以搭建支持10GB的数据为目标，在目标3机器上部署大数据仓库，并能实际运行。模拟手机1GB的数据，能够通过Hive进行查询，为将来数据清洗和数据分析提供基础。五、课程内容与要求知识块知识点课程目标课时案例先导知识2欢迎下载。精品文档Linux系统Linux基础先导课程，以Linux-常用命令介掌握Linux基本操绍作未基础，加上对Linux-shell的特Linux操作系统的殊符号以及VI编译工进程管理的知识，具为后续的部署打下Linu

6、x-高级指令基础。主要能够熟（系统管理、查询、作练编辑和配置业控制、进程管理和Linux下的系统文Linux三剑客）件并能够查找文件Linux-环境变量、和文字初始化文件和定时服务Linux-shell脚本及编程Linux-备份工具Linux-安全性Linux-网络互联Linux-软件的安装和日志大数据基础大数据概论大数据背景能够高度概括大数大数据基本概念据系统的前世今大数据案例生，实际了解企业大数据技术里面使用的大数据的场景HDFS分布式文HDFS简介掌握DFS架构，配件系统HDFS基本架构置及日常管理使

7、用场景核心设计体系架构命令行使用JAVA接口3欢迎下载。精品文档运行机制IO操作Hodoop集群安Linux环境准备理解Hadoop生态，装部署按照JDK能够安装并验证按照并配置HadoopHadoop集群。并实启动并验证Hadoop际操作在现有生态集群增加组件的安装及调整方式MapReduce计算编程模型Wor框架编程案例dCount应用编程开发高级编MP工作机制和程YARNYARN平台简介YARN结构YARN资源调度作业调度Hbase分布式数简介理解和掌握HBase据库的原理及操作，并安装部署能对HBa

8、se做日常和Hadoop的关系管理核心功能模块基本概念HbaseShell命令行工具JAVA客户端操作MAPreduce批量操作HBASE块数据导入HBASE核心概念高级特性4欢迎下载。精品文档flume海量日志简介选修，建议学员能采集系统安装部署够通过自学布置完结构成。核心概念KafKa分布式发简介选修，建议学布订阅消息系核心概念员能够通过自学布统按照部署置完成。zookeeper简介必修，能够单分布式资源协安