基于动态镜像的实时数据仓库存取处理技术-论文.pdf

《基于动态镜像的实时数据仓库存取处理技术-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、计算机与现代化2015年第3期JISUANJIYUXIANDAIHUA总第235期文章编号：l006—2475(2015)03-0108-05基于动态镜像的实时数据仓库存取处理技术毛莺池，闵伟，接青，朱沥沥(1．河海大学计算机与信息学院，江苏南京211100；2．河海大学淮安研究院，江苏淮安223001)摘要：实时数据仓库是数据仓库技术的重要分支，而实时数据查询和实时数据导入引发的查询竞争问题一直是实时数据仓库技术研究的重点之一。查询竞争问题严重影响查询分析的精度和效率，本文提出一种动态镜像技术，该技术在数据

2、仓库外部构建动态存储区域；同时，本文对传统ETL技术进行了改进。基于TPC—H基准的实时数据仓库测试系统对动态镜像技术下的OLAP性能进行了分析与评估。实验结果显示，实时查询效率提高了50％，平均查询精度达到93％。关键词：查询竞争；动态镜像；实时数据仓库中图分类号：TP311文献标识码：Adoi：10．3969／j．issn．1006-2475．2015．03．023Real-timeDataWarehouseAccessingTechnologyBasedonDynamicMirrorReplicatio

3、nMAOYing．chi一，MINWei，JIEQing，ZHULi—li(1．CollegeofComputerandInformation，HohaiUniversity，Nanjing211100，China；2．Huai’anResearchInstituteofHohaiUniversity，Huai’all223001，China)Abstract：Real—timedatawarehouseisoneofimportantresearchfieldsindatamanagement．Real—t

4、imedataqueryandimportcanbringabouttheproblemofquerycontention．Querycontentionwillseriouslyaffecttheaccuracyofqueryanalysis．Inthispaper，combininganexternaldynamicstoragearea，adynamicmirrorreplicationtechnologywasproposedtoeffectivelySOlVethequerycontentionpr

5、oblem；meanwhile，weimprovedthetraditionalETLtechnology．BasedontheTPC—Hbenchmark，theproposeddy—namicmirrorreplicationtechnologywasevaluated．Theexperimentalresultsdemonstratethequeryefficiencyincreasedby50％，andthequeryaccuracyreached93％onaverage．Keywords：query

6、contention；dynamicmirrorreplication；real—timedatawarehouse时分区、主动分区等。但是上述的方法在查询结果的0引言精度和效率上不能兼顾。近年来，电子信息数据在企业运营中越来越重为解决查询竞争和提高查询结果精度，本文提出要，企业需要对电子信息数据进行实时、高效地分析。一种动态镜像技术。动态镜像技术是在实时数据仓传统的数据仓库通常只支持历史数据的分析与查询，库的外部创建一个动态存储区域，源系统中数据导人不能实时捕获数据源中的变化，因为它们采用ETL数据仓库时，

7、先在动态存储区域创建一个分区并在其_E具周期性地从数据源中抽取数据，经过处理后加载中创建一个节点，将数据存人节点。当这部分数据同到数据仓库，而数据抽取的周期往往较长⋯。在实时有更新需求和查询需求时，利用复制机制新建一个时数据仓库。中，实时数据导入与实时数据查询的节点，与存储该数据的节点物理结构、逻辑结构相同。冲突将严重影响联机在线分析的精度和效率。新数据存人新的节点，当新数据导人完成后，再次进行查询，保证了查询结果的精度，且避免了查询竞争。当前解决这个问题的方法有很多，包括提高数据改进的实时数据仓库架构。将传

8、统的ETL(Ex．库的性能、增加外部实时数据缓存、即时({ustintraction—Transformation—Loading)。过程分割为历史time)合并外部数据缓存信息、反向即时数据合并、实收稿Et期：2014—11—24基金项目：国家自然科学基金资助项目(61272543)；国家科技支撑计划项目(2013BAB06B04)；江苏省自然科学基金资助项目(BK2012584)；中国华能集团公