电力大数据处理、存储与分析的调研报告

《电力大数据处理、存储与分析的调研报告》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、编号：SY-…….密级：受控电力大数据处理、存储与分析的调研报告编制：审核：2015年12月目录1、什么是大数据41.1、Volume（体积）41.2、Variety（多样）41.3、Velocity（效率）51.4、Veracity（价值）52、大数据关键技术52.1、大数据采集技术62.2、大数据预处理技术62.3、大数据存储及管理技术72.4、大数据分析及挖掘技术72.5、大数据展现与应用技术83、数据处理与分析83.1、传统方式93.2、Hadoop大数据新方法103.3、大规模并行分析数据库113.4、大数据方法的互补123.5、大数据使用

2、案例134、展望电力大数据时代144.1、电力大数据价值分析144.2、电力大数据应用前景144.3、电力大数据发展与挑战155、迈向电力大数据时代155.1、电力大数据关健技术165.2、电力大数据发展策略166、电力大数据实践166.1、实时海量数据是坚强智能电网的重要资产176.2、对实时数据的接入、存储与处理、监测与智能分析176.3、电网实时数据调研现状176.4、大数据服务IT创新、提高生产效率197、大数据技术实现19587.1、物理架构图197.2、数据处理向大数据处理的过渡207.3、大数据核心技术—Hadoop208、Hadoop

3、介绍与案例分析208.1、Hadoop介绍218.2、Hadoop核心技术218.2.1、HDFS218.2.2、MapReduce238.3、Hadoop优点和缺点308.4、NoSQL数据库介绍318.4.1、MongoDB328.4.2、CouchDB338.4.3、HBase348.4.4、Redis358.4.5、BaseX359、Hadoop数据存储—HBase369.1、HBase简介369.2、逻辑视图379.3、物理存储379.4、系统架构419.5、关键算法流程449.6、访问接口4810、Hadoop查询与分析工具4810.1

4、、Hive4810.2、Mahout56581、什么是大数据大数据几乎已成为所有商业领域共有的最新趋势，然而大数据究竟是什么？事实上，大数据是个非常简单的术语——就像它所说的一样，是非常大的数据集。那么究竟有大多？真实的答案就是“如你所想的那么大”！那么为什么会产生如此之大的数据集？因为当今的数据已经无所不在并且存在着巨大的回报：收集通信数据的RFID传感器，收集天气信息的传感器，移动设备给社交网站发送的GPRS数据包，图片视频，在线购物产生的交易记录，应有尽有！大数据是一个巨大的数据集，包含了任何数据源产生的信息，当然前提是这些信息是我们感兴趣的。

5、然而大数据的含义绝不只与体积相关，因为大数据还可以用于寻找新的真知、形成新的数据和内容；我们可以使用从大数据中提取的真知、数据和内容去使商业更加灵活，以及回答那些之前被认为远超当前范畴的问题。这也是大数据被从以下4个方面定义的原因：Volume（体积）、Variety（多样）、Velocity（效率）以及Veracity（Value，价值），也就是大数据的4V。下面将简述每个特性以及所面临的挑战：1.1、Volume（体积）Volume说的是一个业务必须捕获、存储及访问的数据量，仅仅在过去两年内就生产了世界上所有数据的90%。现今的机构已完全被数据的

6、体积所淹没，轻易的就会产生TB甚至是PB级不同类型的数据，并且其中有些数据需要被组织、防护（窃取）以及分析。1.2、Variety（多样）世界上产生的数据有80%都是半结构化的，传感器、智能设备和社交媒体都是通过Web页面、网络日志文件、社交媒体论坛、音频、视频、点击流、电子邮件、文档、传感系统等生成这些数据。传统的分析方案往往只适合结构化数据，举个例子：存储在关系型数据库中的数据就有完整的结构模型。数据类型的多样化同样意味着为支持当下的决策制定及真知处理，我们需要在数据储存和分析上面进行根本的改变。Variety代表了在传统关系数据库中无法轻易捕获

7、和管理的数据类型，使用大数据技术却可以轻松的储存和分析。581.3、Velocity（效率）Velocity则需要对数据进行近实时的分析，亦称“sometimes2minutesistoolate!”。获取竞争优势意味着你需要在几分钟，甚至是几秒内识别一个新的趋势或机遇，同样还需要尽可能的快于你竞争对手。另外一个例子是时间敏感性数据的处理，比如说捕捉罪犯，在这里数据必须被收集后就完成被分析，这样才能获取最大价值。对时间敏感的数据保质期往往都很短，这就需求组织或机构使用近实时的方式对其分析。1.4、Veracity（价值）通过分析数据我们得出如何的抓住

8、机遇及收获价值，数据的重要性就在于对决策的支持；当你着眼于一个可能会对你企业产生重要影响的决策，你希望获得尽