资源描述:
《列存储数据库关键技术综述》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、第37卷第12期计算机科学Vol.37No.122010年12月ComputerScienceDec2010列存储数据库关键技术综述李超张明博邢春晓胡劲松(清华大学信息技术研究院北京100084)摘要随着互联网技术的发展、硬件的不断更新、企业及政府信息化的不断深入,应用的复杂性要求越来越高,推动着数据存储技术向着海量数据、分析数据、智能数据的方向发展,以便为数据仓库、在线分析提供高效实时的技术支持。基于行存储的数据库技术面临新的问题,已经出现了技术瓶颈。近些年来,一种新的数据存储理念,即基于列存储的关系型数
2、据库(简称列数据库,下同)应运而生。列数据库能够快速发展,主要原因是其复杂查询效率高,读磁盘少,存储空间少,以及由此带来的技术、管理和应用优势。对列数据库技术的基本现状、关键支撑技术以及应用优势进行了介绍和分析。关键词列数据库,列存储,数据压缩,延时物化,成组迭代,不可见连接,数据仓库,商业智能,TPCH中图法分类号TP391文献标识码ASurveyandReviewonKeyTechnologiesofColumnOrientedDatabaseSystemsLIChaoZHANGMingboXINGC
3、hunxiaoHUJinsong(ResearchInstituteofInformationTechnology,TsinghuaUniversity,Beijing100084,China)AbstractColumnorienteddatabaseisakindofnewdatabasestoragetechnologythatstoresdataaccordingtocolumn(nottraditionallyrow).ThedatabasepioneerssuchasDr.MichaelStonebr
4、akerareadvocatingandexploringthenewtheoryandtechnologyforcolumnorienteddatabase.Themainfeaturesofitaregoodqueryefficiency,lessdiskaccess,lessstorage,andsignificantimprovementofdatabaseperformance.Columnorienteddatabaseisanidealarchitecturefordatawarehousenatively
5、,andthusshowsagoodpotentialinsupportinghighlyefficientbusinessintelligenceapplications.Thisnewtechnologyispromisinginbothacademicandbusiness,thereforeattractinglotsofhightechcorporationsandresearchinstitutestodevoteinit.Thispaperintroducedandanalysedthemainfeatu
6、res,keytechnologiesandcurrentR&Dsituationsofcolumnorienteddatabase.KeywordsColumnorienteddatabase,Compression,Blockiteration,Latematerialization,Invisiblejoin,Datawarehouse,Businessintelligence,TPCH是我们所熟知的传统关系型数据库,即数据按记录存储,每一1引言条记录的所有属性都存储在一起,如果要查询一条记录的一列数据库是基
7、于列存储的、主要面向企业决策分析领域个属性值,需要先读取整条记录的数据。而列数据库是按数的关系型数据库。在SIGMOD85,论文ADecomposition据库记录的列来组织和存储数据的,数据库中每个表由一组StorageModel[1]提出了一种新的存储概念,简称DSM,这页链的集合组成,每条页链对应表中的一个存储列,而该页链就是列数据库的雏形,但是这种技术在当时并没有得到足够中每一页存储的是该列的一个或多个值。的重视。近些年来在以MichaelStonebraker,DanielJ.Abadi,1.2列数据库的学术价
8、值与应用价值PeterBoncz为首的一批专家的大力提倡下,列数据库相关技列数据库技术有它独有的学术价值,近些年来在国际一术及应用快速发展,在企业决策领域已经开辟了一条新道路流的数据库会议上频频有关于这个领域的优秀论文出(参考网址www.databasecolumn.com)。这种技术的特