基于hadoop的数据资源管理平台设计

《基于hadoop的数据资源管理平台设计》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第３５卷第７期计算机应用与软件Ｖｏｌ３５Ｎｏ．７２０１８年７月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＪｕｌ．２０１８基于Ｈａｄｏｏｐ的数据资源管理平台设计１２黄华林庞欣婷１（广西电网有限责任公司广西南宁５３００００）２（广西第一工业学校广西南宁５３００００）摘要海量电网状态监测数据的高效管理是智能电网建设中的关键问题。为此，在Ｈａｄｏｏｐ开源架构的基础上，提出基于Ｈａｄｏｏｐ集群的海量数据分布式存储方法和基于ＭａｐＲｅｄｕｃｅ的海量数据检索算法，并设计基于Ｈａｄｏｏｐ的海量电网状态监测数据管理平台。测试结果

2、表明，该平台具有分布式海量存储和高效数据检索的优势，适合用于智能电网海量状态监测数据的存储与管理。关键词智能电网数据管理　Ｈａｄｏｏｐ　存储检索中图分类号　ＴＰ３９１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１８．０７．０５９ＤＥＳＩＧＮＯＦＤＡＴＡＲＥＳＯＵＲＣＥＭＡＮＡＧＥＭＥＮＴＰＬＡＴＦＯＲＭＢＡＳＥＤＯＮＨＡＤＯＯＰ１２ＨｕａｎｇＨｕａｌｉｎ　ＰａｎｇＸｉｎｔｉｎｇ１（ＧｕａｎｇｘｉＰｏｗｅｒＧｒｉｄＬｉｍｉｔｅｄＬｉａｂｉｌｉｔｙＣｏｍｐａｎｙ，Ｎａｎｎｉｎｇ５３００００，

3、Ｇｕａｎｇｘｉ，Ｃｈｉｎａ）２（ＧｕａｎｇｘｉＦｉｒｓｔＩｎｄｕｓｔｒｉａｌＳｃｈｏｏｌ，Ｎａｎｎｉｎｇ５３００００，Ｇｕａｎｇｘｉ，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ　　Ｔｈｅｅｆｆｉｃｉｅｎｔｍａｎａｇｅｍｅｎｔｏｆｍａｓｓｉｖｅｐｏｗｅｒｇｒｉｄｃｏｎｄｉｔｉｏｎｍｏｎｉｔｏｒｉｎｇｄａｔａｉｓｔｈｅｋｅｙｉｓｓｕｅｉｎｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｓｍａｒｔｇｒｉｄ．Ｔｈｅｒｅｆｏｒｅ，ｏｎｔｈｅｂａｓｉｓｏｆＨａｄｏｏｐｏｐｅｎｓｏｕｒｃｅａｒｃｈｉｔｅｃｔｕｒｅ，ｗｅｐｒｏｐｏｓｅｄａｍａｓｓｉｖｅｄａｔａｄｉｓｔｒｉｂｕｔ

4、ｅｄｓｔｏｒａｇｅｍｅｔｈｏｄｂａｓｅｄｏｎＨａｄｏｏｐｃｌｕｓｔｅｒａｎｄａｍａｓｓｉｖｅｄａｔａｒｅｔｒｉｅｖａｌａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎＭａｐＲｅｄｕｃｅ．ＷｅｄｅｓｉｇｎｅｄａｍａｎａｇｅｍｅｎｔｐｌａｔｆｏｒｍｆｏｒｍａｓｓｉｖｅｐｏｗｅｒｇｒｉｄｃｏｎｄｉｔｉｏｎｍｏｎｉｔｏｒｉｎｇｄａｔａｂａｓｅｄｏｎＨａｄｏｏｐ．Ｔｈｅｔｅｓｔｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｌａｔｆｏｒｍｈａｓｔｈｅａｄｖａｎｔａｇｅｓｏｆｄｉｓｔｒｉｂｕｔｅｄｍａｓｓｓｔｏｒａｇｅａｎｄｅｆｆｉｃｉｅｎｔｄａｔａｒｅｔｒｉｅｖａｌ．Ｉ

5、ｔｉｓｓｕｉｔａｂｌｅｆｏｒｔｈｅｓｔｏｒａｇｅａｎｄｍａｎａｇｅｍｅｎｔｏｆｍａｓｓｉｖｅｐｏｗｅｒｇｒｉｄｃｏｎｄｉｔｉｏｎｍｏｎｉｔｏｒｉｎｇｄａｔａｉｎｓｍａｒｔｇｒｉｄ．Ｋｅｙｗｏｒｄｓ　　Ｓｍａｒｔｐｏｗｅｒｇｒｉｄｓ　Ｄａｔａｍａｎａｇｅｍｅｎｔ　Ｈａｄｏｏｐ　Ｓｔｏｒａｇｅ　Ｒｅｔｒｉｅｖａｌ电网状态监测数据的显著特点是数据规模大，且０　引言数据是由分布在不同地域的设备采集的，需要分布式管理。Ｈａｄｏｏｐ是一个开源的云计算架构，具备可靠性随着信息化时代的到来与人工智能技术的不断发高、数据处理量大以及容错性高等优势，已经

6、成为信息展，世界各主要国家相继提出“智能电网”这一概念。［５－６］领域研究的热点。近几年，各国均在大力推进智能电网项目的建设与发为解决智能电网中海量电网状态监测数据的高效展。随着智能电网建设进程的逐步深入，智能电网所管理，本文设计了基于Ｈａｄｏｏｐ的数据资源管理平台。产出的数据量也呈指数式增长，特别是智能电网的电首先分析了海量电网状态监测数据管理平台结构与功［１－３］网状态监测数据。这对智能电网的数据管理平台能；然后分别针对海量电网数据分布式存储和海量数的可靠性和实时性均提出了更高的要求，传统的数据［４］据检索提出了基于Ｈａｄｏｏｐ集

7、群的存储方法和基于管理模式远远不能满足这些求需求。因此，在智能ＭａｐＲｅｄｕｃｅ的数据检索方法；最后对数据资源管理平电网中，研究如何存储、管理和共享这些关键数据成为台进行了性能测试。急需解决的关键问题。收稿日期：２０１８－０１－１０。黄华林，高工，主研领域：电力信息化技术支持。庞欣婷，高工。３３０计算机应用与软件２０１８年１．２　信息管理模块１　平台结构与功能基于ＸＭＬＳｃｈｅｍａ实现海量电网监测元数据的组织与存储后，每一类元数据都会有相应的组织方式，利海量电网状态监测数据资源管理平台的主要目的用ＸＭＬＳｃｈｅｍａ可以进行高效存储与检

8、索。由于海量是实现海量、分布的电网状态监测数据的高性能存储电网状态监测数据的复杂性，平台采用自上而下的方和检索，为后续高效准确地实现电网状态监测数据的法实现电网信息的元数据管理。因此，当用户上传数分析与挖掘奠定基础。整个