基于hbase的数据压缩技术研究

《基于hbase的数据压缩技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、＇Ｕ巧ｒ＜方取．脊甲ｒ巧ｆ、．兹ｔ＇．４＂．参通／．—．屬攀ｒ＾Ｉ．心＇￡Ｖ＾於ｒ领节声严－Ｖ．么；＾＼呑，／＃一／，戴、．Ｕ．－Ｗ＇．嗎．．．署．辜＼一癸／琴發．．＼巧：．，签ｉ？每．巧巧＿齊ｉ襄：、ｎ香．一．；．Ｍ．巧罕／每复７苗、呑，．乂紀■－，找７；＾貧背．巧ｄ女健裕冷．戎袭哨．＼、數？＾譚－、寒？＾，Ａ‘聋ｋ冥？；知；－Ｗ－￥巧％？苗，＞篆．．：：‘＾：．：资巧．為５羞ｓｖ，巧去當．；ｔ、参男ｙ、－名－令讓＜這Ｈ１；暮葱音六＾．靡．．烤惹為．：公＇ｒ，Ｉ＇４％ｆ令，兴，

2、－／：与咬；．．皆，．＂言奈＼／＇啼逢；皆＾：Ｊ＇：一．論打苦讀．＂－．：Ｖｒ．女若豕＾络■餐＼祭讓致軍京；＂．尤：；聋，零，賓．＼．：．＇＇；／ｎ．為．、ｖ：‘．＇－．／豁廣？‘巧寧；游．ｅ杂？就．警＞＂．爲，殘－袭；，ｓ．，备－如，超＇＞会＼ｉ．．纖厚Ｓ脉－ｋ１省為业星ａ＞？巧＾？麵／向－ｒ７３．±郎别Ｐ？擎’守．遍＼？Ｓ期ｉ在．兴－’名．一．转．違ｔ巧至空善％／，Ｖ觀．｝－打．穀Ｖ孩：羣－护肖茸遊‘蠢Ｖ南京邮电大学学位论文原创性声

3、明工作及取得的研究成的学位论文是我个人在导师指导下进行。本人声明所呈交的研究果标注和致谢，已我知，除了文中特别加的地方外论文中不包含其他人经或撰写过尽所发表，也不包含为获得南电。巧成果京邮大学或其它教肯机构的学位或证书而使用过的材料的研一的志对巧所做的任何贡献巧己与同工作同本研在论文中作了明确的说明并示了谢意。我表＾本人学位论文及涉及相关，愿意资料若有不实承担切相关的法律责任。。＇＞《斗研；命ｙ曰期：Ｈ巧生签名而本南京邮电大学学位论文使用授权声明子文本人授权南京邮电大学可公保留并向国

4、家有关部口或机构送交论文的印电复件和档论文被查阅和借闽；可臥将学位论文的全部或部分进行检索；；允许内容编入有关数据库可臥用影印、缩印或扫描等复制手段保存、汇编本论文。本文电子文档的内容和纸质采学位一论文的内容相。论文的公（包括刊登）授权南京邮电大学研兒生院办理。致布涉密学位论文在解密后适用本授权。书么。！么＇午名：是师签名；期：１研巧生签日方ResearchonDataCompressionTechnologyBasedonHBaseThesisSubmittedtoNanjingUniversityo

5、fPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByCaihangFuSupervisor:Prof.HaiyanWangMarch2016摘要随着大数据技术的发展以及Hadoop等大数据平台的迅速普及与推广，生活中产生的数据量呈现爆炸性增长的趋势，数据种类呈现复杂化，存储方式呈现多样化。传统的基于行存储的大数据存储方式并不能够以较低的成本将大数据存储起来。与此同时，由于数据的访问频度的不同，对于不同访问级别的数据所采用的存储方式提出了新的要求。针对以

6、上情况，结合大数据平台下的HBase数据库，本文对大规模数据环境下基于HBase的压缩存储技术进行了研究，主要的创新点如下：首先，提出一种基于访问频度的数据分类方法：根据一段时间内数据库文件的访问次数得到相应的访问频度，依据各数据文件的访问频度及相关阈值将数据文件划分为冷热数据并确定具体的访问级别。在此基础之上，提出基于数据访问级别的压缩策略选择方法：定义了确定数据样本的抽样方法，针对原有的压缩策略选择方法中先验知识未必可靠的缺陷，通过添加评估层及时调整先验知识，并在基于相邻参照区和基于统计列选择方法的基础上设计出HBas

7、e数据压缩策略选择方法，优化存储成本。仿真实验与结果表明，本文提出的方法不仅能够有效实现大数据的存储，同时还提高了数据的访问性能。其次，从数据迁移的角度，提出一种基于文件价值的数据迁移方法。首先，根据数据访问频度等因素计算出数据块文件的价值，由这个文件价值得到数据迁移的目的设备。同时改进了数据迁移技术，利用数据缓冲区和双缓冲队列解决了数据迁入迁出速率不匹配的问题，提高了数据迁移效率，节省了内存和时间消耗，最终实现了对大数据平台数据的存储优化。最后，基于以上的方法与理论，本文构建了基于数据压缩存储的原型系统并给出一个电子商务

8、应用示范。系统的实现遵循需求分析、概要设计、详细设计及其实现等流程，完成压缩存储管理、数据迁移等功能模块，验证了本文提出算法的可行性，展现了基于HBase的压缩技术理论成果在动态场景下的应用效果。关键词:冷热数据，访问级别，HBase，数据压缩，数据迁移IAbstractWiththedevelopme