基于数据库管理的d5000系统数据管理技术

《基于数据库管理的d5000系统数据管理技术》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于数据库管理的D5000系统数据管理技术　　引言　　以特高压、三华联X[1]为代表的智能电X飞速发展,国家电X公司集约化、扁平化管理[2]的快速推进,计算机、通信技术的长足进步[3-5],推动了智能电X调度控制系统(简称D5000系统)的研发和推广。　　D5000系统体系架构,横向上将原来多套独立系统集成为分布在Ⅰ/Ⅱ/Ⅲ区的四大类应用,纵向上贯穿各级调度[6]。原各个孤立系统的数据管理技术无法适应这种架构。各级调度间信息共享,需要信息安全保障,原孤立系统数据管理不具备这样的功能。横向集成、纵向贯通的体系架构要

2、求全局信息的支撑能力提升;数据规模急剧增加,原有孤立系统的数据管理无法应对这种数据规模,也无法达到应用协同所需的效率。因而亟需开发适应D5000系统需求的数据管理技术。　　D5000系统数据管理基于面向服务的总线,借助安全防护技术,包含实时数据库(简称实时库)、商用关系数据库(简称商用库)、时间序列内存库(简称时序内存库)、时间序列文件库(简称时序文件库)和集中管理文件几类数据服务。　　文献[7]提出基于商用库的数据中心,将各种数据转换到数据中心,实现多套系统信息共享,该方式中间环节多,维护工作量大,定制性强,是

3、早期缺乏统一平台的数据共享方式。文献[8-10]提出了通过资源集中、虚拟化、HBase等云技术的信息中心方案;文献中将大机虚拟化成小机的方式和D5000系统将多台服务器协作出一台大机工作效能的研究方向思路不同;文献中提到的基于关键字数值(Key-Value)的HBase,其性能无法满足D5000系统实时处理、在线计算的要求,无法进行多条件检索和联合查询;文献中提到的Map/Reduce并行处理方式,须借助于文件交换,处理批处理任务,难以满足以信息实时处理为主的D5000系统。文献[11]将商用库封装成电力市场数据

4、管理平台。文献[12-13]介绍了采用拼接方式构建的模型管理平台;文献[14-15]介绍了生产控制大区与管理信息大区内、外数据平台间的数据采集、存储、交换、共享、加工等方面的研究内容;文献[16]对变电站数据中心进行了研究;但文献[11-16]均不涉及底层数据管理研究,而是数据管理之上数据使用层面的研究。文献[17]实现了参照公共信息模型(CIM)的对象实时库原型,但工程化考虑不足,文献提供的性能数据无法满足电X调度控制系统要求。文献[18]介绍了一种层次性实时库,其实现方式采用了和本文所提实时库不同的技术路线。

5、文献[19]介绍了一种可扩展标记语言(XML)数据库,但性能不高,未见工程应用。文献[17-19]中的实时库均不支持横向集成、纵向贯通架构。文献[20]介绍了D5000系统实时库的部分技术。文献[21]是D5000系统实时库技术基础上的深化研究。文献[22]研究了电厂监控系统使用时序库的方法、时序库在电X广域测量系统(S)中的使用[23]、时序库的备份方式[24],但均未涉及时序内存库、时序文件库实现技术。　　Google设计了基于GFS(Googlefilesystem)的分布式存储系统BigTable[25]

6、,为用户提供简单的数据服务,客户可以动态控制数据的分布和格式。　　BigTable以行名、列名、时间戳建立索引,适用于特定的应用环境。　　Amazon提供了基于Dynamo基础存储架构的简单存储服务(simplestorageservice,S3)[26],它以桶为容器、通过键查找对象,提供简单、易用、低成本的数据管理方式。这两种数据管理方式较好地适应了非结构化数据的特点,都能管理PB级别的数据,具备良好的可扩展性,能够很好地适用于电子商务、信息分析等数据量特别庞大,数据处理较为简单,对响应速度要求不高的业务。　

7、　其他的非结构化数据平台诸如Yahoo的PNUTS[27]、阿里云的开放数据处理服务(ODPS)[28]等均具有类似特点。然而这些数据存储管理方式均无法满足调度控制系统对实时性的要求,数据查询的灵活性和商用关系数据库存在明显差距,在存储历史数据时也无法达到时序文件库的效率,难以直接应用于以结构化数据使用为主的调度控制系统中。　　D5000系统的文件管理是基于服务总线的大粒度文件集中管理服务,实现方式较为简洁,本文不详细介绍。　　1数据库管理的特点　　　　数据库管理中的几种技术适合于不同的场景,各具特点,同时也相互

8、协作配合,相辅相成。　　1)实时库实时库提供高速的本地访问接口、远方服务访问接口,具有数据定义、存储、验证、浏览、访问和复制等功能,支持数据关系描述和检索,对各种实时、在线类应用程序提供数据共享和交换手段。实时库中的模型数据来自商用库按照应用检索的视图。　　2)商用库商用库具有结构化、完整性和可靠性的特点。在D5000系统中,商用库主要用于保存对一致性、可靠性要求很高,而