异构数据集成方案的优化设计与实现

《异构数据集成方案的优化设计与实现》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、异构数据集成方案的优化设计与实现摘要:针对现有数据集成方案在处理特定问题时系统查询性能不理想的情况，以Mediator/Wrapper集成模式力基础，绍合数据仓库思想，提出1种异构数据集成的优化方案.该方案基于XML和元数据设计查询构造、解析搜索及缓存等模块，优化系统的查询性能.将该方案应用于石油储层评价系统的数据集成中能明显缩短查询的平均耗用时间，提高查询效率.本文采集自网络，本站发布的论文均是优质论文，供学习和研究使用，文中立场与本网站无关，版权和著作权归原作者所有，如有不愿意被转载的情况，请通知我们删除己转载的信息，如果需要分享，请保留本段说明。

2、关键词：XML;元数据；异构数据集成；优化中图分类号.•TP311.13文献标志码：AOptimizeddesignandimplementationofheterogeneousdataintegratingsolutionZHANGJiea,b,LUDetanga，b(a.InstituteofEng.&Sci.Software；b.KeyLabofComputation&CommunicationSoftwareofAnhui,Univ.ofSci.&Tech,ofChina,Hefei230026，China)Abstract：Tosolvet

3、heproblemthatthecurrentschemeofheterogeneousdataintegrationcannotqueryefficientlyinthespecificcases,combinedwiththeMediator/Wrapperarchitectureandthewarehousingmethod，anoptimizedsolutiononheterogeneousdataintegrationisproposed.BasedonXMLandmetadata,severalmodulessuchasqueryconst

4、ruction,parsingandsearch,andcachingarcdesignedtooptimizequeryperformance.Thesolutionisintroducedintoanevaluationsystemofpetroleumreservoirtoimplementdataintegrationofneuralnetworksystemofreservoiridentification,whichcandistinctlyshortenaveragequerytimeandimprovequeryefficiency.K

5、eywords：XML；metadata；heterogeneousdataintegration；optimization0引言在数据集成项目的开发中经常会遇到这样的情况：待集成数据库的规模大，数据更新不频繁，文件系统数据源较小且分散，用户主要关注的参数较集中，系统对查询效率又有一定的要求.根据这些具体情况，在分析已有数据集成方式特点的基础上，提出异构数据集成优化方案.该方案为所有成员数据源提供统一视图，用户可以进行查询条件的灵活构造，达到异质对象的透明访问；还可以通过相关优化模块提高系统的平均查询效率，减轻系统实时抽取数据时的负荷，并且将此方案应用

6、于油田数据源的集成开发中.1异构数据源集成0前，Mcdiator/Wrappcr［1,2］模式在数据集成中较流行，针对Mediator的设计方案有3种:PUSH,PULL及混合方式.PUSH方式将用户输入的查询翻译成本地SQL语句，由Wrapper将SQL查询转发给关系引擎.在时间和空间上有很好的性能.但对于非关系型数据源，PUSH方式无法使用.PULL方式通过Wrapper将数据按照一定格式抽取出来形成XML文档，然后通过XQuery［3］引擎查询转换后的XML数据，由组装器产生最终的XML结果.它完全支持XQuery特性，可以集成任何数据源.但当作

7、力数据源的实时系统运行负荷较秉时，抽取数据的效率会很低.混合方式［4］结合两种方式的特点，其核心部分是区分数据源类型，选择相应的查询方式.这里提出的集成方案就是采用混合方式.使用PUSH方式进行关系型数据源的数据抽取，使用PULL方式进行非关系型数据源的数据抽取，并设计相关模块以避免各自方式的缺点.2异构数据源集成系统的设计2.1系统结构根据集成项0的具体情况，结合数据仓库思想，设计査询构造模块、元数据管理模块、查询解析与数据源搜索模块、数据缓存准备模块和数据源封装模块（见图1）.图1集成系统结构由于合理的查询条件是查询优化、提高效率的基础，所以查询构

8、造模块能提供统一的界面视图以使用户自由地构造查询条件.数据缓存准备模块通过PUSH和PULL缓