数据网格中基于发布订阅的实时复制技术及实现

《数据网格中基于发布订阅的实时复制技术及实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、数据网格中基于发布!订阅的实时复制技术及实现!!"中国科学院计算技术研究所"北京!#$$%$#&"中国科学院研究生院"北京!$$$’($摘要!介绍了网格数据库的研究现状"并针对一个企业的实际应用论述了如何基于)*+,-.,/采用发布0订阅模式"实现网格数据库间的实时数据复制%本文就其关键技术和体系结构进行了论述"并给出了主要服务的实现方法%关键词!数据复制发布1订阅)*+,-.,/网格数据库数据网格是在计算网格的基础上发展起来的网格技重复进行的!形成不同系统间稳定的数据复制关系$术!除具有计算网格的动态资源共享和协同工作"多研究由于有些数据对于不同的用户或应用有不

2、同的使用机构组成的虚拟组织特点外!对大量数据的分布处理和分形式!当数据规模较大时!在不同的应用系统中需要对这析是数据网格的主要特点#网格数据库是数据网格的重要些数据以不同的形式进行保存$因此!当原始数据发生变组成部分$网格数据库是对现有数据库的网格化!基于开化后!需要对不同应用系统中的数据进行更新$放网格服务体系结构提供网格数据库服务!使网格用户或!问题提出其他网格服务可通过网格数据库服务访问网格中的各种要实现上述应用需求!需要解决异构系统之间的大规异构数据库!从而实现数据资源的高度共享和协同处理$模实时数据复制问题$这一问题的主要特征包括%网格数据库的研究目前主

3、要集中在以下几方面%!"#数!"-数据异构%目标数据与原始数据之间存在着较大的据库的存取与集成!代表项目是$%&’()’*&+,-分布式差异$这些差异包括数据管理系统之间的差异!数据在目查询!如./012!项目"$%&’()3.项目&+4#数据流处理!如标数据库和原始数据库中存储类型的差异!数据模式的差8"9$实际)56/7项目$另外还有信息检索"科学数据分析等异!不同约束条件的差异等等$上!在网格环境中各异构数据库间的复制技术也是网格数!,-数据量大%如>2/?@A系统中的历史记录表B@ACD0/C;(据库的一个重要研究课题!它对数据访问的负载均衡"提<;ECA

4、!记录数达"FGH多万条!而且还在不断增长$从如此高数据访问性能"降低数据传输开销和提高系统的灾难恢大的表中进行数据抽取!即使采用索引等技术也需要较长复能力等方面都具有非常重要的意义$的时间$如果不对这些数据进行预处理!很难满足实时性目前还没有一个专门的项目针对网格数据库复制技术要求!而且会严重影响原系统的性能$进行研究!数据库间的复制一般还依赖于数据库开发商提供+4#实时性要求高%部分数据需实时进行复制!如.I&的技术$但这些技术一般都是同类数据库的复制!有些数据系统需要.2/?@A系统和$4(’J:’&系统的实时入库信库产品!如&3:(&;2<;2!虽然提供了

5、部分异构数据库间复息"投入信息等$制功能!但也有诸多限制!功能相对较弱$要使网格数据库+H#数据依赖性强%各复制任务间有一定的依赖性$作达到实用化程度!就必须解决异构数据库间的复制问题$业完成数"在制数等表的数据获取需要基准信息表’I1A!因企业实际应用需要!本文开发了网格数据库实时复C;2DK0/L(这样的一些中间数据!而基准信息表数据的获取制系统!很好地解决了异构系统间的复制问题$整个系统也必须作为一个独立的复制任务执行!这样就必须限制这在$%&’()’*的基础上开发!采用了发布=订阅的分布式些复制任务的执行顺序$处理模式$本系统不仅支持简单的表对表间的数据复

6、制!+M#数据需加工处理%系统间的数据复制不是简单的拷而且还支持复杂的数据加工过程!具有很高的实用价值$贝!需要进行复杂的数据处理!处理类型包括%部分截取"本文就其体系结构和实现方法进行了论述$合并"比较计算"增加系统变量或常量等$因此!复制体制目前很多大型企业需要在不同的应用系统或系统的必须支持复杂的数据加工过程$不同部分之间交换数据!以加强不同系统之间的协作$其+N-原始数据变化没有明显标记%有些表数据在发生变中很多数据交换不是一次性的!而是根据一定规则周期性化时没有明显的表示!需要复制系统帮助判断原始数据的)H,)!微型机与应用"!""!年第!期变化情况!这

7、需要一套高效的监控机制!题%为网格应用程序提供了一个良好的运行环境!*20-,!"#需多对多复制"一个目标数据表的数据来自于多个A-B则对复杂数据的操作进行了封装%提供了一种统一的系统的多个数据表#同时一个表的数据也可能被复制到多网格服务接口%使网格用户或服务在网格环境中通过服务个系统的多个表中!如$%&’()和*+,-./-0系统的作业接口%可方便地访问和集成网格中的各种分散的异构数据数$在制数等需同时复制到$10和23.系统!源!*20-,A-B逻辑上由一系列互相协作的网格服务组为了解决上述问题%很多企业开发了专用数据交换系成%这些网格服务作为各个数据库系统的

8、代理%客户