电力大数据环境下大数据中心架构体系设计

电力大数据环境下大数据中心架构体系设计

ID:28176897

大小:61.17 KB

页数:4页

时间:2018-12-08

电力大数据环境下大数据中心架构体系设计_第1页
电力大数据环境下大数据中心架构体系设计_第2页
电力大数据环境下大数据中心架构体系设计_第3页
电力大数据环境下大数据中心架构体系设计_第4页
资源描述:

《电力大数据环境下大数据中心架构体系设计》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

1、电力大数据环境下大数据中心架构体系设计国网新疆电力公司信息通信公司830002摘要:随着我国经济水平的发展,物联网、云计算、电子商务等技术在电力行业得到了广泛的应用。电力大数据需要按需获得计算资源,快速进行应用部署,以适应大数据数量大、类型多、变化快等特性。云计算将资源虚拟化、池化,可以为大数据提供资源支撑和保障。木文先介绍了大数据中心整体架构,接着简述了大数据中心应用实例,以供参考。关键词:大数据;数据接入;数据挖掘;内存计算一、大数据中心整体架构大数据是对具备数据体量大、数据类型多、处理速度

2、快、价值密度低的数据集合进行分析、处理、管理的科学体系,涉及方法论、基础理论、关键技术等多个层面,保证数据的效能得到最大化体现,并实现对公司业务的辅助决策和趋势预测。电力大数据是在大数据时代背景下,以公司业务的提升和增值服务为目标,利用数据存储、实时计算、离线计算、计算分析与挖掘、数据管理与服务和数据展示等方面的核心关键技术,构建实时处理、交互式分析、辅助决策、趋势预测、价值挖掘的大数据体系,电力大数据的应用将推动公司业务发展和管理水平提升。公司大数据中心在建设时应选用适用的Hadoop版木作为

3、核心,通过有机集成方式融合内存计算、流计算、分析挖掘、可视化等第三方开源软件,在较高的起点上建设大数据平台。大数据平台以数据整合及分布式存储为基础支撑,括数据釆集、存储、数据处理、数据应用4个主要功能层面和安全、运维辅助功能。平台的部署视图如图1所示。大数据中心以Hadoop技术体系中分布式存储(分布式文件系统(HadoopDistributedFileSystem,HDFS)、HBase、Hive)、分布式计算框架(MR)为基础,使用Spark、R等开源产品或技术与之形成互补,新增安全管理机制

4、和配置管理功能,提升改造现有可重用的SG-ERP组件,从而完成整个技术架构的组建。参考业界大数据平台的实践经验,公司大数据中心的部署可分为2个阶段开展。(1)两级部署:现有的数据中心以两级部署模式建设,大部分业务在网省层次部署,少量业务在市县部署。因此,为了更好地以现有数据中心为数据源,充分利用前期的建设成果,大数据中心第一阶段采用分布式两级部署模式,总部作为核心数据汇集点,网省公司作为区域数据汇集点进行建设,两级部署具体方案如图2所示。(2)—级部署:随着数据中心与大数据平台的逐渐融合,平台应

5、向一级部署模式[3】演化(见图3)。一级部署、全网数据集中存储更加有助于公司大数据价值挖掘和业务创新。大数据中心物理上由多个集群组成:数据接入集群、服务接U集群和数据存储计算集群。数据接入集群部署包括分布式消息队列、流计算节点以及其他数据交换节点等服务,服务接口集群包括R语言服务、开放数据库互连(OpenDatabaseConnectivity,ODBC)/Java数据库连接(JavaDatabaseConnectivity,JDBC)服务、WebHTTP/表述性状态转移(Representat

6、ionalStateTransfer,REST)服务、文件传输协议(FileTransferProtocol,FTP)服务、网络文件系统(NetworkFileSystem,NFS)服务等,数据存储计算集群包括数据存储、计算、分析集群,物理部署集群如图4所示。二、大数据中心应用实例国网山东省电力公司依托大数据引擎的数据分析与模型预测能力,基于用户用电信息、电网负荷信息实时采集同步,结合国民经济增长速度、产业结构调整、消费水平、工业与居民电气化程度、电价政策、气候/气温变化等外部因素,实现用电负荷

7、大数据分析模型的构建,通过对各周期用电负荷曲线、负荷吋间和空间分布等的预测,为电网规划、电能调配等提供决策支持。依托大数据引擎的数据分析预测能力和历史数据,可以实现未来1h以内、1日内、1周、1月内、1年乃至3~5年的负荷预测,从而为电网预防控制、紧急状态处理、机组启停、水火电协调、设备检修/大修等提供依据。大数据平台能够以日、周、月、年为粒度收集用电负荷的内外部数据,采用支持向量机方法进行样本分类,具有高精度、高效率、高可用等优势。以月平均负荷为例。国网电力公司基于用户用电负荷、用户档案、电网

8、设备台账等业务数据,利用分布式计算、数据挖掘分析等技术,结合气象信息、GDP、各产业值等外部因素,构建用户月平均负荷聚类模型及日负荷聚类模型,以及区域最大负荷、最小负荷及平均负荷长短期预测模型,实现了下一阶段的用电负荷情况预测。通过预测未来电力需求量、未来用电量、用电负荷曲线、负荷吋间和空间分布等,使电网公司提前了解到用户未来的用电需求量,为保障正常供电提前做好准备,冇利于电网削峰填谷、平稳运行。同吋,通过数据分析,为公司电网规划、设备检修、电能调配等提供决策支持,切实促进了从“以电力生产为中心

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。