电力大数据高速存储、检索及流计算即时处理技术研究与应用-国网科技项目v.-

《电力大数据高速存储、检索及流计算即时处理技术研究与应用-国网科技项目v.-》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、国家电网公司科技项目可行性研究报告项目名称：电力大数据高速存储、检索及流处理即时处理技术研究与应用申请单位：浙江省电力公司国网电力科学研究院起止时间：2014年1月至2014年12月项目负责人：赵京虎金文德通信地址：南京南瑞路8号邮政编码：210003联系电话：025-83093908传真：025-83093999申请日期：2013年10月分布式实时数据库管理系统研发与应用可行性研究报告1目的和意义1.1项目背景“大数据”概念于20世纪90年代被提出，最初只是对一些在一定时间内无法用传统方法进行抓取、管理和处理的数据的统称。“大数据”这个术语最早期的引用可追溯到apacheorg的开源

2、项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。通常用Volume、Velocity、Variety和Value（简称为“4V”，即数据体量巨大、处理速度快、数据类型繁多和价值密度低）四个特征来显著区分大数据与传统数据。目前，业界对大数据缺乏统一的定义，通过对大数据内涵和外延的深入理解，结合公司数据现状和业务需求，研究并提出了“电力大数据”的概念。电力大数据，是在大数据时代背景下，以挖掘数据价值为目标,利用数据存储、计算分析与挖掘、数据管理与服务和数据展示等方面核心关键技术，构建的高效、智能、灵活、安全可靠的大数据生态系统。电力大数据的应用

3、将推动公司业务发展和管理水平提升。根据“十二五”规划，国家电网公司全面推进了以信息化、自动化、互动化为基本特征的智能电网建设。随着此项工作的逐步推进，尤其是国网公司下属各省级单位和直属单位在调度自动化、输变电设备状态监测、用电信息采集、配电自动化、发电集团信息化等项目的试点与推广建设，产生了大量异构数据（结构化数据及非结构化数据），这些异构数据经过沉淀生成海量历史数据，构成了国家电网公司电力大数据应用基础。这些数据是公司的重要财富，如何高效的存储、检索和即时处理这些电网运营实时/历史数据，成为当下研究的热点问题。同时，由于公司数据基数庞大、产生频率快、时效性要求高，数据的存储查询、综合

4、分析难度急速上升，现有系统在计算效率、计算性能方面面临日益严峻的挑战。综上所述，随着国家电网公司智能电网建设的持续推进和信息系统的不断深化应用，国家电网公司数据规模和覆盖程度不断扩大，对高速处理、大规模数据应用提出了更高的要求，面向大数据的高速存储、检索与流计算即时处理技术作为能够满足这种需求的关键技术，在电网中的应用越来越受到重视。43分布式实时数据库管理系统研发与应用可行性研究报告1.1目的与意义针对上述背景，本项目将结合现有电力大数据特征下的典型业务系统已积累的经验和需求，按照公司“十二五”信息化发展规划的总体要求，重点研究与分析电力大数据特征下的不同种类典型系统在结构化与非结构

5、化数据存储、数据检索、数据处理计算等方面所采用的技术架构、方法、相关业务与数据范围以及存在的问题；研究电力大数据高速存储、检索与流计算即时处理技术的关键技术与应用，深挖现有典型系统的大数据需求并提出整体解决方案，并且给予验证。具体包括：Ø研究电力大数据特征下的不同种类典型系统在结构化与非结构化数据存储、数据检索、数据处理计算等方面所采用的技术架构、方法、相关业务与数据范围以及存在的问题。这些问题的研究，明确了电力大数据应用场景，深挖了电力大数据应用需求，梳理了现有业务系统的数据性能、效率、处理难题，为后续的关键技术研究，整体方案的指明了方向；Ø通过研究电力大数据特征下的适用于高效数据访

6、问、包容结构化与非结构化数据的软硬件一体化数据高速存储结构与关键技术，为公司异构数据的海量存储提供解决手段，保护了公司的数据资产，提供了安全可靠的数据存储方式及一揽子解决方案；Ø通过研究大数据检索架构与关键技术，解决电网现有业务系统中海量（PB级以上）异构数据（结构化及非结构化）的快速检索查找难题，为大数据应用奠定技术基础，探索大数据环境下的数据检索的应用方法，为后续的大数据应用深化奠定基础，使业务系统中的海量数据的快速检索应用成为可能。Ø通过研究大数据流计算即时处理架构与关键技术，解决数据前端的流计算难题，快速实现数据流的规整及筛选，特别是关注视频流的处理问题，深化海量数据的即时处理

7、应用。大数据技术作为一种新兴的信息化前沿技术，公司开展相关关键技术的研究，对后期面向大数据的、自主知识产权的电网大数据产品研发及业务应用工作，提供了重要的技术支撑及实践依据。对打破国外技术垄断，填补国内技术空白，降低信息化建设成本，提升公司科技实力，保障公司信息安全，开拓行业外市场等方面具有重要的作用和意义。具体包括：Ø深度挖掘电力大数据应用场景，43分布式实时数据库管理系统研发与应用可行性研究报告特别是关注不同种类典型系统在大数据环境下的典型