基础教学全套课件第6章 大数据概论.pptx

《基础教学全套课件第6章 大数据概论.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、计算机与信息技术应用基础计算机中心第6章大数据概论导学一、学习目标理解大数据基本概念、发展概况、掌握数据结构类型、大数据特点。了解大数据的关键技术。了解大数据分析处理的典型工具。了解数据可视化相关知识。二、重点、难点1.重点在于大数据基本概念的理解、大数据关键技术的掌握。2.难点在于大数据分析处理工具的理解。6.1大数据概述6.1.1大数据的基本概念大数据，或称巨量资料，指的是所涉及的数据规模巨大，数据种类繁多到无法通过目前主流软件和硬件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策的有力技术支撑。知识拓展概述关键技术典型工具可视化6.

2、1大数据概述6.1.2大数据的发展趋势60、70年代的大型机浪潮80年代的小型机90年代微处理器和个人计算机开始普及现阶段大数据时代知识拓展概述关键技术典型工具可视化6.1大数据概述6.1.3大数据时代的数据格式特征结构化数据半结构化数据非结构化数据知识拓展概述关键技术典型工具可视化6.1大数据概述6.1.4基本架构1.数据层：大数据来源非常广泛，包括结构化、半结构化和非结构化的人类日常生活中产生的海量数据。2.数据存储层：数据源获取数据，并将其发送到数据整理组件或存储在指定的位置中，也可将数据转换为需要的格式。3.分析层：通常分析层从存储层里读取、分析、

3、解释数据，也可以直接从数据源访问数据。4.使用层：使用层运用分析层所提供的输出，用户可以是可视化应用程序、用户、业务流程或服务。知识拓展概述关键技术典型工具可视化知识拓展概述关键技术典型工具可视化6.1.5大数据的特点大数据具有“4V+1O”的特点（1）Variety（2）Volume（3）Velocity（4）Vitality（5）On-line知识拓展概述关键技术典型工具可视化6.1大数据概述6.1.5大数据的特点传统数据与大数据的特点比较知识拓展概述关键技术典型工具可视化6.2大数据的关键技术1.大数据采集技术2.大数据预处理技术3.大数据存储及管理

4、技术4.大数据分析技术5.大数据展现与应用技术知识拓展概述关键技术典型工具可视化6.3大数据分析处理的典型工具6.3.1Hadoop概述Hadoop是一个开源的通过Java语言实现的搜索引擎。能够对大量数据进行分布式处理的软件框架。由于其并行的方式工作，处理速度极高，同时具有可伸缩性，能够处理PB级数据。作为一个分布式计算平台，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。知识拓展概述关键技术典型工具可视化6.3大数据分析处理的典型工具6.3.2ApacheSpark概述在大数据领域，ApacheSpark（以下简称Spark）通用并行分

5、布式计算框架越来越受人瞩目。Spark在2009年启动，2010年开源，其内存计算框架适合各种迭代算法和交互式数据分析，能够提升大数据处理的实时性和准确性，能够更快速的进行数据分析。现已逐渐获得很多企业的支持，如阿里巴巴、百度、网易、英特尔等公司。知识拓展概述关键技术典型工具可视化Hadoop与Spark的区别知识拓展概述关键技术典型工具可视化6.4数据可视化6.4.1数据可视化概述数据可以拥有丰富的表现形式，如柱形图、饼图、表格等多种传统的数据表现形式已经被大多数用户所接受。但是，为了适应现代多种形式信息的表达需求，更有效地向用户传达信息，一些具有现代感

6、的表达方式应运而生。知识拓展概述关键技术典型工具可视化6.4.1数据可视化概述1.传统的表达方式（1）柱形图（2）折线图知识拓展概述关键技术典型工具可视化6.4.1数据可视化概述1.传统的表达方式（3）饼图（4）散点图知识拓展概述关键技术典型工具可视化6.4.2数据可视化表达方式1.传统的表达方式（5）气泡图（6）雷达图知识拓展概述关键技术典型工具可视化6.4.2数据可视化表达方式2.现代的表达方式（1）概念图（2）新闻展示（3）数据展示（4）显示关联知识拓展概述关键技术典型工具可视化6.4.3数据可视化工具1.在线数据可视化工具（1）GoogleChar

7、tAPI（2）Flot知识拓展概述关键技术典型工具可视化6.4.3数据可视化工具1.在线数据可视化工具（3）Raphaël（4）D3（5）Visual.ly知识拓展概述关键技术典型工具可视化6.4.3数据可视化工具2.互动图形用户界面控制（1）Crossfilter（2）Tangle知识拓展概述关键技术典型工具可视化6.4.3数据可视化工具3.三维工具（1）Three.js（2）PhiloGL知识拓展概述关键技术典型工具可视化6.4.3数据可视化工具4.地图工具（1）GoogleMaps（2）ModestMaps（3）PolyMaps5.高级工具（1）Pr

8、ocessing知识拓展概述关键技术典型工具可视化6.4.3数据可