敏捷实时大数据平台全程落地应用实践

《敏捷实时大数据平台全程落地应用实践》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、敏捷实时大数据平台全程落地应用实践讲师卢山巍王东徐翔赵平曹海霞【课程特点】1.基于敏捷大数据开源平台工具，从无到有构建一套完整的实时大数据平台体系架构这是一门针对如何构建、使用完整的大数据平台系统，为期2天的深度培训课程，由宜信的大数据团队，根据团队的实践经验，将大数据平台的整个开发、部署、应用的过程，进行了深度的分享讲解。本课程，包括了从数据的抽取，数据加工，数据存储运算(实时数据仓库/数据集市/ETL)，再到实时数据应用，以及与数据仓库平台相关的元数据管理、血缘分析等全部环节。实现数据平台和数据应用的飞跃进阶。不管您的现在处于哪个级别，敏捷大数据平台直

2、接带您升级到最高层级。2.核心技术解析、开源自主可控、二次开发扩展，让用户真正掌握驾驭整个大数据平台建设和发展本次课程的大数据平台实践，全程采用开源工具，你可以深入进行二次开发，从而实现对整个大数据平台的真正自主可控。本次课程，培训专家团队，也将会深入讲解二次开发的方法与技巧。更重要的是，期望受训者，通过开源代码，指导文档和视频，可以为开源社区贡献代码，有能力把该平台运用到实际项目中。3.常见大数据实时场景案例分析，典型架构模式探讨本课程还会就一些典型的实时数据处理场景进行举例和案例分析，讲解场景需求背景、挑战、痛点、解决方案和项目效果，还会讨论一些通用的

3、切面问题，如数据质量、运维监控等。过程中也会探讨不同的典型架构模式及其适用性。@ITPUB学院网址：http://edu.itpub.net4.一些常见的主流的大数据开源工具的选型和剖析，为您提供深度参考本次培训，还会提供各种大数据平台的相关开源工具选型剖析，这是宜信大数据团队在开发部署大数据平台的过程中，对多种工具进行试用，并总结的经验，这将是一份极其珍贵的参考建议。例如，数据存储方面，会涉及到HBase、Cassandra、Kudu的实际选型建议，数据查询方面，会涉及到SparkSQL、Presto、ImpalaHive等工具的实际造型建议等。本次大数

4、据平台全程落地应用的整体结构图：@ITPUB学院网址：http://edu.itpub.net【培训安排】培训内容讲师时长（小时）10月20日上午敏捷大数据理念及架构卢山巍310月20日下午数据总线平台DBus王东3可视化应用平台Davinci徐翔210月21日上午流式处理平台Wormhole赵平310月21日下午计算服务平台Moonbox卢山巍2实践应用案例解析曹海霞3【培训对象与目标】培训对象：针对有一定基础的技术人员，懂得数据仓库平台的基础概念，了解ETL、Hadoop等基础技术概念，所在企业有计划部署结构化与非结构化的大数据仓库平台的技术工程师。培

5、训目标：◆了解敏捷大数据的设计理念和架构设计◆了解各个平台能提供的能力◆对有技术背景的人员，通过开源代码，指导文档和视频，可以为开源社区贡献代码，有能力把该平台运用到实际项目中【培训大纲】1)敏捷大数据理念1.1实时数据处理之痛1.2实时数据处理之理想世界1.3敏捷大数据定义1.4敏捷大数据理念1.4.1组件平台产品化@ITPUB学院网址：http://edu.itpub.net1.4.2开发集成标准化1.4.3开发配置可视化1.4.4多层统一及开放化1.4.5自助、自动及智能化1.4.6引擎驱动化2)敏捷大数据处理架构2.1概念模块总览2.2数据管理（元

6、数据，数据分析，血缘分析，数据资产）2.3数据安全2.3.1安全审计2.3.2脱敏加密2.3.3权限角色2.3.4多租户2.4开发运维监控及预警2.5驱动引擎2.6敏捷大数据之CAP2.7开源平台地址3)数据集成、采集与抽取：深入洞察数据总线平台-Dbus3.1背景介绍3.2各类型数据源数据采集原理@ITPUB学院网址：http://edu.itpub.net3.2.1关系型数据库3.2.2日志类数据库3.2.3奇异的DB23.2.4Mongo3.3系统健康检测3.3.1心跳机制（超时，丢数据、某环节掉链子等）3.3.2健康预警3.4开源平台地址4)数据加

7、工处理：wormhole流式处理平台4.1wormhole架构设计理念4.1.1wormhole设计目标4.1.2wormhole设计规范4.2技术详解4.2.1多flow支持4.2.2多消息协议支持4.2.3lookup实现与优化4.2.4EventTime策略4.2.5异构sink幂等4.3开源平台地址@ITPUB学院网址：http://edu.itpub.net5)数据分析展示：Davinci可视化应用平台5.1背景介绍5.2Davinci系统介绍5.2.1用户与权限系统5.2.2数据源、数据视图与数据模型5.2.3配置可视化图表5.2.4数据应用6

8、)数据查询计算：Moonbox计算服务平台6.1平台设计思想6.2