基于列存储的数据库物理层优化研究

《基于列存储的数据库物理层优化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201072365学校代码10487密级硕士学位论文基于列存储的数据库物理层优化研究学位申请人：胡俊飞学科专业：计算机软件与理论指导教师：吴恒山副教授答辩日期：2013年01月23日AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringResearchonOptimizationofPhysicalLayerinColumn-OrientedDatabaseCandidate:HuJunfeiMajor

2、:ComputerSoftwareandTheorySupervisor:AssociateProf.WuHengshanHuazhongUniversityofScienceandTechnologyWuhan430074,P.R.ChinaJanuary,2013独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律

3、结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在_____年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要由于网络数据的海量增长

4、、数据仓库和OLAP的飞速发展以及商务数据分析的需求，在海量数据存储和分析方面占有优势的列存储得到很快的成长。但以列为导向的物理层存储结构意味着在设计列存储模块或列数据库的物理层时，需要采用不同于传统行存储的方式。同时，传统的许多优化技术和方法在列存储中的效率普遍不高，且存储代价较大。其中比较典型的例子是索引技术。因此，研究列存储的物理层架构和索引技术，对列数据库的开发和应用具有重要的意义。基于以上需求，研究了列存储的物理层架构，对物理层各模块进行设计，实现了一个列存储的原型系统。在数据组织上采用固定记录数据块的方式和基于大内存分

5、配的内存池管理方式。在压缩算法上，采用基于字典编码的LZW压缩算法，并与基于统计编码的PPM压缩算法进行性能对比。针对英文单词特征的长字符串类型，设计了一种旨在减少不相关检索数据块的元辅音树。首先，针对列存储索引的需求和字符串特性，设计了一种精简的树结构；基于该树的结构，研究了字符串输入过程的状态变化，并基于此定义了有限自动状态机的各元组。之后，针对该树结构和有限自动状态机的各元组定义，设计了树的初始化、存储、字符串扫描等操作算法；在对有限自动状态机进行状态转移和状态推导的基础上，设计了查询匹配算法。在实际应用于列存储时，对元辅音

6、树进一步改进，设计出元辅音根树和数据块元辅音树的双层结构，同时采用单模式和双模式匹配相结合的策略，在一次单模式匹配基础上进行二次双模式匹配，以此更进一步提高查询效率。关键词：列存储，索引技术，树索引，元辅音树I华中科技大学硕士学位论文AbstractBecauseoftherapidgrowthofmassivedataontheInternet,thedevelopmentofdatawarehouseandOLAP,andtheneedsofbusinessanalysis,column-orientedstoragemode

7、l,withitsstoringandqueryingadvantages,hasbeendevelopingprettyquickly.Itscolumn-orientedstoragefeaturemeansthat,differentmethodsshouldbeusedtodesignphysicallayerofdatabase.Meanwhile,asmanyoptimizationtechniquesinrow-orienteddatabasescan’tapplytocolumn-orienteddatabases

8、,especiallytheindextechniques,weneedtodesignnewoptimizationtechniques.Therefore,todoresearchonthestructureofphysicallayerand