一种分布式实时数据系统中的基于动态索引策略的存取定

《一种分布式实时数据系统中的基于动态索引策略的存取定》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、一种分布式实时数据系统中的基于动态索引策略的存取定位机制李德文，贾士博，谭彰，姚罕琦浙江中控技术股份有限公司，浙江杭州，310053摘要：提出一种分布式实时数据系统中的基于动态索引策略的存取定位机制。该机制结合了改进的一致性哈希算法与“虚拟Token空间”机制。在该机制基础上，针对流程工业领域测点数据的特征和需求，用大量的廉价服务器实现了实时性高、吞吐量大、可扩展性好的分布式实时数据库系统。该数据库系统具有测点数据写入位置的自寻找、服务器集群内部状态变更时测点数据位置的自切换、数据查询的自优化、服务器负载自均衡等优势。该系统封装了分布式系统的各种瓶颈问题，使用户不需要关心系统内部的机

2、制，可以像使用单体数据库系统一样直接向系统读写数据，而该系统性能又是单体数据库的叠加。通过在原型系统中测试验证，结果表明该机制能够达到设计预期目标和性能要求。关键词：分布式；实时数据；虚拟Token空间；动态索引；负载均衡Astorageandinquirylocationmechanismindistributedreal-timedatasystembasedondynamicindexstrategyLiDewen,JiaShibo,TanZhang,YaoHanqiZhejiangSUPCONCo.,Ltd.,Hangzhou,Zhejiang,310053Abstract:

3、Astorageandinquirylocationmechanismindistributedreal-timedatasystembasedondynamicindexstrategyisproposed.Combiningtheimprovedconsistenthashalgorithmwitha"VirtualTokenSpace"mechanismandneedsofthemeasuringpointdatainthefieldofprocessindustries,themechanismachievesahighlyreal-time,largethroughputp

4、ersecondandgoodscalabilitydistributedreal-timedatabasesystems.Thedatabasesystemhasadvantagesofpoint-dataselflocating,locationselfswitchingwhentheinternalstateoftheserverclusterchanged,self-optimizingofdatainquiry,selfbalancingofservers'load.Thesystemencapsulatesavarietyofbottlenecksproblemsindi

5、stributedsystems,sothatusersdonotneedtocareabouttheinternalmechanismsofsystems.Userscouldreadandwritedatadirectlytowardthesystemlikeusingasingle-serverdatabase,butthesystemperformanceisthesuperpositionofthesingledatabase.Relatedtestsshowthatthismechanismachievesexpectedtargetandmeetsperformance

6、requirement.Keywords:distributed;real-timedata;VirtualTokenSpace;dynamicindex;loadbalance0引言面向石化、化工等流程工业领域的实时数据库是现代大型过程控制系统的核心数据平台，向效益评估、工艺优化、管理决策等上层应用提供高效的数据服务。近年来，随着产业结构优化和集中度提升，企业的生产规模不断扩大，对实时数据库的性能、可靠性、可扩展性要求越来越高。而实时数据的动态存取索引机制作为系统提供各项数据服务的基础，其设计与实现的优劣直接影响到整个实时数据库的运行效率、数据安全与弹性扩展能力。因此，如何设计高效

7、、高可靠性、高可扩展性的实时数据动态存取索引机制，成为实时数据库研究领域的一项关键问题。关注于上层控制策略的用户对底层数据实时存取系统的封装性要求也日益增强，更多的用户希望用大量的廉价服务器来实现系统存取性能的叠加，同时希望系统能克服掉分布式系统相较于单体系统的自然缺陷和瓶颈问题。现有实时数据存储动态存取索引方面的研究通过将实时数据的组织特点与应用特性结合[1,2]，从而提高数据库的数据存储、查询性能。当前主流实时数据库产品虽然能够在一定程度上实现分布式存