基于维层次数据立方体存储技术的研究

《基于维层次数据立方体存储技术的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要数据立方体是数据仓库和联机分析处理的核心概念。为了加速响应联机分析处理系统中的复杂多维查询，通常需要预先计算并保存数据立方体，然而数据立方体的巨大尺寸却给其计算和存储带来诸多难题。因此，降低磁盘空间成本和提高查询性能成为数据立方体研究两个重要却又相互制约的目标。为了从根本上解决这些问题，需要探索有效的数据立方体组织方法。本文首先改进实现了计算维层次数据立方体的ICODH方法，该算法在给定的维顺序下，自底向上逐层递归计算；当具体到某一个维，是从维的粗粒度层到细粒度层方向循环计算聚集；通过共享排序来减少磁盘的读写操作，以减小维层次数据立方体的计算时间。另一方面研究了维层次编码技术，提出

2、了一种对维表能有效进行层次编码的方法，保存了原有数据立方体的语义信息。通过这两方面来加快数据立方体的计算速度，提高其查询性能。浓缩数据立方是一种有效缩小数据立方尺寸的机制，但仍然存在大量的前缀冗余，如小方内的前缀冗余和小方间的前缀冗余。对此，本文扩展实现了一种基于维层次的数据立方组织结构IDHC，它结合基本单元组的浓缩和小方内的前缀共享技术，利用维层次的特点，将具有相同聚集维集(或单值维集)的立方元组聚簇，同一簇内的元组以共享前缀的形式组织来进一步减小立方体的压缩尺寸。同时在物理存储这些元组时为了减小因共享前缀而进行大量元组之间的比较，又提出了批处理生成元组的算法。该算法消除了仅包含单

3、个聚集维的数据小方内元组问的比较，并以批处理模式计算IDHC。关键词：OLAP，数据立方体，维层次，维层次编码，基本单元组ABSTRACTDatacubeISthekemelcone印tlonofdatawarehouseandon-lineanalyticalprocessing(OLAP)．Itusuallyneedstopre-computeandsavethedatacubeindiskinordertopromptlyanswercomplexmultidimensionalqueriesintheOLAPapplications．Butthelargesizebringsa

4、boutalotoftroublewhentheyarecomputedandsaved．Todecreasediskstoragecostandimprovequeriesperformanceareveryimportantbutcontradictivegoalsofdatacuberesearch．Forthesakeofresolvingtheseproblems，itneedstoexploretheeffectivestructuresofdatacube．AnewapproachnamedICODHisimprovedhere，whichcomputestuplesin

5、recursionfrombottomtotop．Whenonedimensioniscomputed，itcomputesfromthecoarsegranularitytothefinegranularityincircle．Bysharingthesortingcosts，itdecreasesthereadingandwritingoperationsofthediskinordertoreducethedimensionhierarchycube’Scomputationtime．Ontheotherside，basingontheresearchofdimensionhie

6、rarchyencodingtechnique，thispaperalsoproposesaneffectivemethodtoencodethedimensiontable．Thisapproachpreservesthesemanticrelationsbyvirtueofthecompressingmechanism．Throughtwosides，thedatacubespeedsupthecomputationandimprovestheperformanceofquery．CondensedDataCubehasbeenproposedasaneffectiveapproa

7、chforreducingdatacube’Ssize，buttherearestilllotsofprefix—redundancyinthedatacube，suchasintra—cuboidprefixredundanciesandamong-cuboidprefixredundancies．Forthis，adatacubestructurenamedIDHCisextendedhere．Itcombinestwotechniques