大数据介绍ppt课件.ppt

《大数据介绍ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大数据介绍PPT智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。VolumeVelocityValueVariety大数据的4V特征智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案?海量数据的高存储成本?大数据量下的数据处理性能不足?流式数据处理缺失?有限的扩展能力数据扩展性需求和硬件性能之间存在差距传统的数据处理系统面临的问题，呼唤新的

2、技术智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案1目前数据系统架构存在问题智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据抽取、转换、装载过程数据相互转移分布式文件系统海量结构化存储系统机器学习、数据挖掘、语义搜索PowerView动态图表数据采集数据预处理数据存储数据分析挖掘结果展现海量非结构化存储系统一、大数据处理流程简析智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据处理的基本流程整个大数据的处理流程可以定义为：在合适工具的辅助下，对广泛异构的数据源

3、进行抽取和集成，结果按照一定的标准进行统一存储，并利用合适的数据分析技术对存储的数据进行分析，从中提取有益的知识并利用恰当的方式将结果展现给终端用户。具体来说，可以分为数据抽取与集成、数据分析以及数据解释。智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案三、各处理流程相关技术简析数据采集数据采集是数据分析、挖掘的基础，常用的海量数据采集工具有Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。提取数据数据源目标数据存储区转换数据格式map/re

4、duce存储数据Chukwa数据采集原理智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案三、各处理流程相关技术简析数据预处理SQL与HBASE、HIVE之间进行内容传递时，需要一个数据转移工具，如Sqoop。其工作过程如下：MapMapMapHDFS/HIVE/HBaseSQLSqoopSqoopSqoopSqoop智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案三、各处理流程相关技术简析数据存储HDFS结构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案三、各处理流程

5、相关技术简析数据存储智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案三、各处理流程相关技术简析数据分析挖掘HIVE查询统计用户行为数据机器学习、数据挖掘、语义搜索……HDFSHIVE数据仓库Maout挖掘数据价值MapReduceMapReduce智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案三、各处理流程相关技术简析数据展现聚类算法结果展示智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案?方案采用的Hadoop模块列表?HDFS，用于大规模数据存储?Yarn，系统资

6、源管理?Hive，基于Mapreduce的SQL数据访问?Pig，脚本式数据处理?Storm，流式数据处理?Spark/SparkStreaming，内存计算框架?HBase，Key-Value数据存储?MapReduce，离线批处理计算框架?Kafka，消息队列式流失数据接入?HCatlog，元数据管理?Ambari，Hadoop平台监控、管理界面?ZooKeeper，保证系统无单点运行?Oozie，工作流式任务调度智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案揭开Hadoop神秘的面纱?Hadoop是Apache基金会的一个项目总称，主要由HDF

7、S、Yarn、MapReduce和HBase等组成。HDFS是对GoogleGFS的开源实现，MapReduce是对GoogleMapReduce的开源实现，HBase是GoogleBigTable的开源实现。?Hadoop来源于其创始人DougCutting的儿子给一头黄色大象取的名字。?Hadoop最初只与网页索引有关，迅速发展成为分析大数据的领先平台。智慧小区云服务平台整体解决方案智慧小区云