实时数据采集模型设计与开发

《实时数据采集模型设计与开发》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、实时数据采集模型设计与开发本文档格式为WORD,感谢你的阅读。最新最全的学术论文期刊文献年终总结年终报告工作总结个人总结述职报告实习报告单位总结演讲稿实时数据采集模型设计与开发数据采集是构建集团/区域公司级实时监管系统的重要基础。文章针对已有数据采集软件开发中功能模块重复开发，应用中测点配置不统一，不支持冗余部署，故障恢复能力不足等问题，采用C/S架构，设计了可靠实时数据采集模型，该模型包括数据采集、数据缓存、数据传输和数据持久性4个模块。实际应用表明，基于该模型开发的实时数据采集软件易于配置，数据传输可靠，故障恢复能力强，能满足实时系统的数据采集要求。实时数据；统

2、一配置；数据采集；数据缓存；冗余传输生产数据是各类电力信息系统的应用基础，从厂级监控信息系统（SupervisorInformationSystem，SIS）到集团/区域（省级）公司级实时监管系统，实时数据采集始终是实时系统不可或缺的部分[1-2]。在以往的数据采集软件开发中，功能模块重复开发较为严重，开发效率不高，软件质量管控工作量大；在工程应用中，数据采集软件测点配置多采用本地方式，无法进行统一管理，不便于配置、查询，不支持冗余配置，故障恢复能力不足。本文以实时监管系统中的数据采集为基础，结合实时数据采集的特性，针对数据抽取、转换、传输、数据缓存及冗余传输等相关

3、环节进行分析，给出了较为通用的设计模型。在集团/区域（省级）公司实时监管系统中，绝大多数的基础数据来自于下辖电厂实时生产系统。实时监管系统中的数据监测、数据报警、性能指标计算，污染物排放定量分析及经济运行等相关功能都围绕一次生产数据展开[1-3]。数据采集软件需要完成对监管电厂海量实时生产数据的筛选，完成筛选后数据的网络传输，最终汇总到公司侧的数据库，实现生产数据的持久化。实时监管系统中，因监管电厂数量众多，各个电厂信息化程度差异大，接入的数据源差异很大。对于已有厂级监控信息系统（SupervisoryInformationSystem，SIS）、管理信息系统（Ma

4、nagementInforma-tionSystem，MIS）的电厂，数据源主要包括实时数据库和关系数据库。实时数据库应用较为广泛的包括PI、eDNA、openPlant、Rython[4]等；关系数据库主要包括MSSqlserver、Oracle等。部分厂站侧没有集成后的信息系统，需要从生产系统中直接采集，通信协议包括用于过程控制的OLE（OLEforProcessControl，OPC）协议，IEC101、IEC104、CDT、ModBus等规约，少数系统需要采用自定义用户数据报协议（UserDatagramProtocol，UDP）。基于这种现状，数据采集软件

5、必须要解决多种数据源的数据抽取。实时监管系统在构建中需要兼顾数据完整性和数据规模2方面，既要保证采集数据能满足性能计算、分析的需要，又要避免采集数据规模过大，给主站侧系统带来不必要的压力。数据在采集中还需要完成筛选，及源测点和目标测点的映射；在传输中完成实时数据及时戳转换，同时要为工程实施提供易用的测点检索、维护功能等。在大多数实时监管系统中，从电厂的数据源到主站侧服务器，地域跨度较大，中间网络状况较为复杂。这种情况要求在出现网络异常时，软件能及时缓存数据，待通信恢复后，按照数据回补策略重新发送，保证实时数据的完整性。因此，数据采集软件必须能保证数据的可靠、高效传输

6、，要能满足实时系统的相关功能指标要求。综上所述，实时数据采集软件必须涵盖的功能包括：支持多种类型数据源的采集；支持数据抽取筛选，自动完成测点的映射，支持测点和数据的标准化转换；完成实时数据的可靠、高效传输，具备一定的故障恢复能力，支持数据缓存，支持通信的冗余配置。2.1总体架构数据采集模型采用C/S模式，基于TCP/IP协议开发[5]。按照模块功能划分，模型架构如图1所示。2.1.1服务器端的主要功能1）测点管理。基本测点属性见表1所列。通过测点的基本属性配置，完成了源测点与目标测点的映射，为客户端进行数据抽取、数据校验、转换提供了所需的配置信息。为了便于管理、查询

7、，测点属性通常保存在服务器侧实时数据库或本地配置文件中，客户端仅保留一份配置副本，不需进行手动修改。当测点配置更改时，服务器会主动推送信息到客户端或由客户端在下一次连接时发起请求，主动获取更新本地副本。2）客户端管理。客户端管理包括客户端配置管理和状态管理，配置管理包括对每个客户端的基本信息配置，对互为冗余的客户端进行成组配置；状态管理主要检测当前客户端绑定的socket信息，完成当前数据链路的流量统计，完成客户端工作状态判定，通过对网络通信状态及工作超时检测，实现对冗余客户端的自动管理。在数据采集预处理时，服务器端通过测点配置项中的标识字符串或客户端标识，自动