元仓库与源数据库元数据信息同步策略研究与设计

《元仓库与源数据库元数据信息同步策略研究与设计》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、元仓库与源数据库的元数据同步策略的研究与设计1．引言近年来，随着蛋白质组学技术的普及和基础研究的深入，生物信息学正面临一系列新的挑战。对高度复杂的海量蛋白质组学实验数据进行存储、共享与整合即是其中最重要的问题之一。各个数据源在物理上的分布、结构上的互异以及语义上的差异成为了对实验数据进行共享与整合的三大瓶颈。各个数据源的元数据不仅包含了数据的名称、类型等信息，还提供了数据的上下文描述信息，如果将各数据源的元数据按照一个统一的标准提取出来集中存放在一个元数据库中，将集成的元数据信息与用户建立的用户模式的相应字段进行

2、关联，就能够通过解析用户模式得到对应的各数据源数据信息；将获得的各数据源查询结果进行连接、合并等操作，并按用户模式进行输出，就能够实现数据的共享和整合。根据以上分析，我们课题组提出了基于元数据的蛋白质组学数据资源共享与整合方案，并在此基础上已经实现了针对关系数据库中各异域异构的源数据库中的元数据信息集成到CWM的元仓库模型中。但是元仓库的管理员并不能控制源数据库（以下的源数据库均为关系数据库）中的元数据的变化，如果源数据库的元数据信息发生了改变，而元仓库不能进行及时更新同步的话，就有可能造成元数据的悬挂，对用户的

3、查询结果产生不可估量的影响。我们如何捕获源数据库中的结构变化信息，并将该元数据追加到元数据仓库中去，成为我们解决问题的重点。2．现有同步策略的分析与选择对象变化捕获是数据同步的基础，它直接决定了数据同步的更新方式和选时方式。变化捕获不仅要获得复制对象的变化序列或当前映像，还要在对等式复制时提供尽可能详细的控制信息。通过对当前使用捕获方法的综合分析，目前主要有六种基本变化捕获形式，它们是：(1)基于快照法；(2)基于触发器法；(3)基于日志法；(4)基于API法；(5)影子表法；(6)变更轨迹表法。然而这些变化捕捉

4、的方法均是捕捉数据库中数据的变化信息，我们要求获得的则是源数据库结构的变化信息，虽然这些方法和我们捕捉的对象不同，但是我们可以借鉴它们的原理和方法。由于基于快照发、影子表法和变更轨迹法的核心思想是变化后的数据库信息与原数据库信息进行比较，最终得出变化的结果，这种方法效率比较低下，而且这些方法也不太适合对数据库结构变化的捕捉，所以不采用此种方法。基于API法是，主要应用在小型的非关系型的数据库中，而我们主要面对的源数据库对象都是关系数据库，因此这种方法也不适用于我们。7基于触发器法和基于日志法这两种方法运行的效率和

5、通用性都比较的高，但是首先由于基于日志法的实现方法相对而言比较复杂实现的难度较高。其次，是由于现在各主流的DBMS如SQLServer，Oracle，MySQL等都提供了DDL（该触发器主要在响应数据定义语言语句时执行存储过程）的触发器。又考虑到原课题组的成员实现的元数据的导入是通过分析SQL语句实现的，而通过DDL触发器能够获得数据库的变化信息也是以SQL语句形式保存的，综合以上三点，我们最终选择了基于触发器法，来捕获数据库结构的变化信息。这样我们可以利用DDL触发器来记录类似“用户建立表”这种变化的操作。3．

6、基于DDL触发器的元仓库与源数据库的元数据信息同步策略的设计经过以上分析，我们最终选择了基于DDL触发器的元仓库与源数据库的元数据信息同步策略。该方法首先通过各关系数据库的DDL触发器捕获到其元数据的变化信息并保存到源数据库结构变化信息表中，当元仓库的管理者向各数据源发送同步请求时，将信息表中的信息经过SQL语句清理缓冲器整理后，通过网络传送到管理元仓库的服务器中，元仓库服务器最终经过词法分析器将源数据库的结构变化信息更新到元仓库中。元仓库与源数据库的元数据信息同步的流程如图3.1所示：图3.1元仓库与源数据库的

7、元数据信息同步的流程图73.1DDL触发器介绍DDL触发器是一种特殊的触发器，它在响应数据定义语言(DDL)语句时触发。它们可以用于在数据库中执行管理任务，例如，审核以及规范数据库操作。使用DDL触发器，可以达到以下几种目的：第一，要防止对数据库架构进行某些更改。第二，希望数据库中发生某种情况以响应数据库架构中的更改。第三，要记录数据库架构中的更改或事件。与标准的DML触发器一样，DDL触发器在响应事件时执行存储过程。但与标准的DML触发器不同的是，它们并不在响应对表或视图的UPDATE、INSERT或DELET

8、E语句时执行存储过程。它们主要在响应数据定义语言(DDL)语句执行存储过程。这些语句包括CREATE、ALTER、DROP、GRANT、DENY、REVOKE和UPDATESTATISTICS等语句，然而这些语句正是引起源数据库的元数据信息改变的操作，所以我们通过DDL触发器就能够方便的获得源数据库的结构变化信息。3.2源数据库变化捕捉器的设计首先我们根据源数据库不同的D