Spark与NoSQL数据库集成技术的研究与实现

《Spark与NoSQL数据库集成技术的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ＴＰ３９１１４０６００８５分类号学号ＵＤＣ聲级公开工学硕士学位论文Ｓｐａｒｋ与ＮｏＳＱＬ数据库集成技术的研究与实现硕士生姓名李永亮学科专业计算机科学与技术研究方向诲量数据处理指导教师杨树强研究员国防科学技术大学研宄生院二〇一六年十一月ＴｈｅＲｅｓｅａｒｃｈａｎｄＩｍｌｅｍｅｎｔａｔｉｏｎＯｆｐＳｐａｒｋａｎｄＮｏＳＱＬＤａｔａｂａｓｅｓＩｎｔｅｇｒａｔｉｏｎＣａｎｄｉｄａｔｅ：ＬｉＹｏｎｌｉａｎｇｇＡｄｖｉｓｏｒ：Ｐｒｏｆ．ＹａｎｇＳｈ

2、ｕｑｉａｎｇＡｔｈｅｓｉｓＳｕｂｍｉｔｔｅｄｉｎｐａｒｔｉａｌｆｕｌｆｉｌｌｍｅｎｔｏｆｔｈｅｒｅｑｕｉｒｅｍｅｎｔｓｆｏｒｔｈｅｄｅｒｅｅｏｆＭａｓｔｅｒｏｆＥｎｉｎｅｅｒｉｎｇｇｇｉｎＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＧｒａｄｕａｔｅＳｃｈｏｏｌｏｆＮａｔｉｏｎａｌＵｎｉｖｅｒｓｉｔｏｆＤｅｆｅｎｓｅＴｅｃｈｎｏｌｏｙｇｙＣｈａｎｇｓｈａ，Ｈｕｎａｎ，Ｐ．Ｒ．ＣｈｉｎａＮｏｖｅｍｂｅｒ２０１６，独创性声明本人声明所呈交的学位论文是我

3、本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它，一教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文题目：ＳＤａｒｋ与ＮｏＳＱＬ数据库集成技术的研究与实现学位论文作者签名：＞４Ｈ日期：＾年／／月》日学位论文版权使用授权书本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国防科学技术大学可以保留

4、并向国家有关部门或机构送交论文的复印件和电子＇文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密学位论文在解密后适用本授权书。）学位论文题目：Ｓｐａｒｋ与ＮｏＳＱＬ数据库集成技术的研究与实现学位论文作者签名：日期：年＂月２日ｉ作者指导教师签名：日期：年ｗ月日国防科技大学研宄生院硕士学位论文目录ｍｗｖｉＡＢＳＴＲＡＣＴＶＩＩ第一章绪论１１．１研宄背景１１．２国内外研宄现状２１３．

5、研宄内容及意义５１．４论文组织结构７第二章相关技术９２．１ＡａｃｈｅＳａｒｋ分布式计算弓９ｐｐ｜擎２＿１＿１Ｓｐａｒｋ概述９２．１．２Ｓｐａｒｋ程序执行架构１０２．１．３弹性数据集ＲＤＤ１１２２数ＤｔＬｔ．据本地ｆ生（ａａｏｃａｌｉｙ）１２２．２．１Ｈａｄｏｏｐ数据本地性１３２．２．２Ｓａｒｋ本地性１３ｐｋ据２．３ＮｏＳＱＬ数据库１５２．３．１ＮｏＳＱＬ数据库概述１５２．３．２ＮｏＳＱＬ数据库存储模型１６２３３ＮｏＳＬ数．．Ｑ据库分区

6、策略１６２．４ＨＢａｓｅ数据库１７２４１ＨＢ．．ａｓｅ基本架构１７２．４．２ＨＢａｓｅ数据模型１８２．５本章小结１８第三章集成框架设计１９３．１Ｓｐａｒｋ计算过程分析１９３１１ＲＤＤｔｓ．．Ｏｂｊｅｃ构建２０３．１．２Ｔａｓｋ２０调慶第Ｉ页国防科技大学研宄生院硕士学位论文３．１．３Ｔａｓｋ计算２４３．１．４计算结果汇总２４３２．集成框架总体设计２５３．２．１集成框架设计分析２５３２２集．．成框架模型设计２７３．２．３集成框架接

7、口规范２８３．３集成架构设计３０３．３．１集成架构分析３０３入和输出源．３．２ＮｏＳＱＬ数据库作为输３１３．３．３Ｓｐａｒｋ和ＨＤＦＳ、ＮｏＳＱＬ数据库混合集成架构３１３．４本章小结３２第四章集成框架实现３４４．１集成框架模块实现３４４．１．１分片映射模块３４４．１．２数据集抽象模块３５４．１．３空数据集抽象模块３９４１４ＲＤＤ．．输入接口４０４．１．５ＲＤＤ写回接口４０４．２集成框架接口规范的基本实现４１４．３基于集成框架的Ｓｐａｒｋ任务

8、执行流程４１４．４本章小结４２第五章基于框架的ＳＰＡＲＫ与ＨＢＡＳＥ集成设计与实现４３５．１Ｓｐａｒｋ与ＨＢａｓｅ