列存储数据仓库的位图索引研究与实现.pdf

《列存储数据仓库的位图索引研究与实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、学校代码：10255学号：2101514列存储数据仓库的位图索引研究与实现ResearchandImplementationoftheBitmapIndexinColumn．OrientedData肠rehouse学科专业：计算机应用技术作者：李清炳指导老师：丁祥武答辩日期：2013年1月2012年12月东华大学学位论文原创性声明本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中己明确注明和引用的内容外，本论文不包含任何其他个人或集体已

2、经发表或撰写过的作品及成果的内容。论文为本人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律结果由本人承担。学位论文作者签名：鹰i景伴自日期：W弓年1月to日东华大学学位论文版权使用授权书学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。本人授权东华大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密口，在——年解密后适用本版权书。本学位论文属于不

3、保密臼。学位论文作者签名：荔：考确指导教师签名：丁C弹式)日期：W乃年I风口日日期：扣矽年f月缈日f煳唧列存储数据仓库的位图索引研究与实现摘要随着数据的爆炸性增长，数据库领域的研究热点逐渐从事务型数据库转移到海量数据分析型数据库。数据仓库作为当今热门的数据分析技术，为企业决策提供有力支持的同时，也越来越引起人们的关注。其中海量数据的高效存储和即席查询是数据仓库研究的核心课题。目前，数据仓库系统主要通过以下途径来提高海量数据的查询性能，一是改变数据的存储结构使其更好地满足上层查询；二是建立高效的索引提高数检

4、索的效率；其三是通过查询优化技术来优化查询语句，如启发式优化、基于代价的优化等。大量的理论研究和实际应用验证了列存储系统在分析型应用方面的查询性能远高于行存储系统。数据仓库管理系统(DataWarehouseManagementSystem，DWMS)主要用于海量数据的查询分析，因而采用列存储技术更有利于即席查询。索引技术是提升海量数据查询效率的关键技术之一，在列存储DWMS中显得尤为重要。本文立足于列存储模型的数据仓库管理系统DWMS，主要研究了列存储数据仓库中的位图索引技术。通过对位图索引及其压缩技术

5、的研究，提出了一种高效的位向量压缩技术，并实现了DWMS中的位图索引技术。本文对位图索引特别是对位向量压缩技术进行了深入研究，针对现有位向量压缩技术的缺陷，提出了一种自适应划分字对齐的混合位向量压缩技术。该技术不仅可以减少位图索引所占的存储空间，同时也充分地考虑了CPU的运算特征。基于提出的位向量压缩方法，实现了在压缩数据上直接进行按位逻辑运算，避免了解压缩所产生的额外代价。对查询处理过程中产生的大量可复用的位置向量，采用本文提出的方法进行压缩，可以节省中间结果的大小，进而可高效地复用中间结果，提高查询处

6、理的性能。最后，使用本文提出的方法，我们在DWMS原型系统中实现了位图索引技术，并在数据仓库基准数据集SSB上进行测试，验证了该方法的有效性。关键字：列存储DWMS原型系统位图索引字节对齐压缩自适应划分字对齐压缩ResearchandImplementationoftheBitmapIndexinColumn．OrientedDataWarehouseWiththeexplosivegrowthofthedatasets，thehotspotofthedatabaseresearchhaschangedf

7、romtheonlinetransactionprocessingtoonlineanalysisprocessingdatabase．Databasehasbeentakenasthemostpopulartechnologyforthehugedatasetsanalysis，whichmakesgreatefforttotheenterprisedecision，andwidelybeenpaidattentiontotherecentresearch．Hugedatastorageandad-ho

8、cquery锄弓thetwoCOresubjectsinthedatabaseresearchfield．Therearethreecommonwaystoimprovethehugedataqueryperformance．Firstofall，wecanchangethedatastoragemodeltobettermeetthedataquery．Secondly,wecancreateeffectiveindexes