面向流数据的分布式混合内存索引

《面向流数据的分布式混合内存索引》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文论文题目：面向流数据的分布式混合内存索引作者姓名项俊腱指导教师杨良怀学科专业计算机科学与技术培养类别全日制学术型硕士所在学院计算机科学与技术学院提交日期2017年3月29日万方数据浙江工业大学硕士学位论文面向流数据的分布式混合内存索引作者姓名：项俊腱指导教师：杨良怀浙江工业大学计算机科学与技术学院2017年3月万方数据DissertationSubmittedtoZhejiangUniversityofTechnologyfortheDegreeofMasterDistributedIn-MemoryHybridIndexforBigDataStreamCandida

2、te:XiangJunJianAdvisor:Prof.YangLiangHuaiCollegeofComputerScienceandTechnologyZhejiangUniversityofTechnologyMay.2017万方数据浙江工业大学学位论文原创性声明本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的

3、法律责任。作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于1、保密□，在一年解密后适用本授权书。2、保密□，在二年解密后适用本授权书。3、保密□，在三年解密后适用本授权书。4、不保密□。（请在以上相应方框内打“√”）作者签名：日期：年月日导师签名：日期：年月日万方数据浙江工业大学硕士学位论文面向流数据的分

4、布式混合内存索引摘要随着信息通信技术（ICT）的发展，数据获取变得便捷，数据流处理技术在工农业监控、通信、金融分析、物联网系统等领域得到广泛应用。数据流具有实时性、易失性、无限性、突发性、无序性等特征。由于数据流到达速度快、数据量大，系统在极短的一段时间内需要处理大量的数据，传统的数据库系统难以胜任。面向大数据流的高效存储、索引成为数据库界面临的一个挑战性研究议题。本文在分布式集群环境下，提出了一种面向流数据的分布式内存B+树索引。该索引基于二级B+树结构，采用时间窗口机制，将数据流切分成连续的时间窗口分片，每个时间窗口构建一颗内层B+树，将该内层B+树根节点信息和根节点地址作为

5、一个“value”值，以时间窗口时间生成“key”值，形成元组，用于构建外层B+树，实现大数据流的分布式高效存储，可提供高并发、低时延的索引服务。本文主要贡献如下：1.提出了多次微批量排序单次批量装载（MBSortSBLoad）的内层B+树构建方法。该方法采用创新的批量装载方式，提出先构建B+树骨架再赋码，完成B+树构建，构建速度快、时延低、但在缓存流元组过程中无法提供近实时查询。2.提出了多微批量排序多批量装载（MBSortMBLoad）的内层B+树构建方法。将时间窗口分片，每个分片缓存完成后进行排序并构建B+树。该方法在保证构建速度的基础上，在缓存流元组

6、时提供近实时查询。3.提出了一种面向流数据的分布式内存B+树索引系统。该索引采用二级B+树结构，将数据缓存、索引构建、数据查询三者分离，在实现大数据流高效存储的同时，快速构建索引，并提供高并发的查询服务。所提方法解决了传统B+树无法维持数据流持续频繁更新的问题。实验验证了所提方法的有效性。关键词：B+树，数据流，分布式，内存索引，大数据i万方数据浙江工业大学硕士学位论文DistributedIn-MemoryHybridIndexforBigDataStreamABSTRACTWiththedevelopmentofinformationandcommunicationtechn

7、ology(ICT),dataacquisitionbecomesmoreandmoreconvenient.Theprocessingtechnologyfordatastreamhasbeenwidelyusedinthevariousfields,suchasindustryandagriculturemonitoring,communication,financialanalysis,Internetofthingsandsoon.Thedatastreamhasthec