基于corba的智能异构数据集成系统的存储机制研究

《基于corba的智能异构数据集成系统的存储机制研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、万方数据基于CORBA的智能异构数据集成系统的存储机制研究——李巍李冠宇张俊43基于CORBA的智能异构数据集成系统的存储机制研究*李巍1李冠宇2张俊3(大连海事大学1”大连116026)(中国人民大学3(大连理工大学2大连116026)北京116026)摘要在基于cORBA的智能异构数据集成系统中，资源的不当使用一直影响着查询的效率和事务的处理。合理的利用系统资源，在很大程度上将提高系统的效率和安全。文章针对系统中数据的存储问题，引入数据仓库、语义缓存以及数据源连接池技术，通过重用系统中的历史资源和频繁使用的资源，为查询处理、

2、事务处理等系统服务提供有力的支持，从而改善系统性能，提高查询和事务处理等系统服务的效率。关键词异构数据集成；数据存储；数据仓库；语义缓存；数据源连接池Abstract：InintelligentheterogeneousdataintegrationsystembasedonCORBA，utiIizationofresourceshasanimpactonqueryingandtransactionprocessing．Efficiencyandsecurityofthesystemisbeneficialfromreasona

3、bleutilizationofresources．InthisarticIe，wedevoteourattentionmainlytodatastorageandintroducesometechnologiesincludingdatawarehouse，semanticcachinganddatasourceconnectionp001．Withreusinghistoryandfrequentlyaccessedresources，thesystemwillhavegoodperformanceinqueryingand

4、transactionalprocessingservice．Keywords：intelligentheterogeneousdataintegration；datastorage；datawarehouse；semanticcaching；datasourceconnectionpoolO引言完善查询处理和事务处理的性能一定程度上是建立在数据存储研究基础上的。例如：在原有系统中，相同的查询需重复查询各个分布的异构数据源，这种处理方式增加了系统的开销，影响系统整体效率。如果在原有系统中引入数据存储的观点，对集成后的数据进行存储

5、，那么，同样的查询就可以通过访问客户端缓存或者访问存储了集成数据的数据库来实现，大大简化了查询过程，提高了系统效率和系统可用性。因此，对数据存储问题的研究，可改善智能异构数据集成系统的性能。1异构数据集成系统的数据存储解决方案国内外学者提出了采用中间件技术实现异构收稿日期：2004一06—10*国家自然科学基金资助(60172043)数据集成的方案，但他们对于系统数据存储问题却各持不同的看法，表1分别列出国内东南大学的Versatile系统和国外的Lore系统、Denodo公司的DenodoPlatform系统的数据存储情况[1

6、~3]。下文所提到的主动更新是指在数据源发生变化后，立即更新过期数据。表1Versatile、Lore、Denodo异构数据集成系统数据存储解决方案的比较表1中Versatile、Lore和Denodo均不支持缓存数据的主动集成。东南大学研究的Versatile系统对缓存数据采取了更新策略，即定期刷新和按需刷新。其中按需刷新属于被动更新，而定期刷新属于主动更新，它却在一定程度上增加了系统万方数据44交通与计算机2004年第5期第22卷(总第120期)开销。2智能异构数据集成系统中数据仓库存储体系结构通常意义上，我们所讲的数据仓库

7、在存放大量数据的同时又能像仓库一样对大量数据进行有效地管理，主要侧重对海量数据进行组织和管理，提供有效的数据访问手段。通过对智能异构数据集成系统数据分布情况的研究，发现整个系统的存储体系结构与通常意义上的数据仓库体系结构具有同构性，并且具有数据仓库的一些基本特征，即面向主题性、集成性、非易失性以及随时问变化等‘引。2．1数据仓库体系结构通常意义上的数据仓库体系结构可分为4层，如图1所示。图1W．H．Inmon提出的自顶向F的数据仓库体系结构第1层。数据源层，存储大量信息的各种数据库。第2层。数据获取层，从各数据源中获得想要得到的

8、一定格式的数据。第3层。数据存储层，将抽取、转换后的数据统一存储。第4层。数据集市层，针对于不同的需要，生成特定的数据集。在智能异构数据集成系统中，也存在与数据仓库类似的存储结构，即分布异构的数据源、数据集成器、数据存储集成后的数据库以及针对不同用户的数据集。因