天文大数据存储管理关键技术研究

《天文大数据存储管理关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：１０２５５学号：２１３１５６５天文大数据存储管理关键技术研究ＫｅｅｃｈｎｏｌｏＲｅｓｅａｒｃｈｏｆＡｓｔｒｏｎｏｍｉｃａｌＢｉＤａｔａＳｔｏｒａｅｙＴｇｙｇｇＭａｎａｅｍｅｎｔｇ学科专业：软件工程作者：过汇卿指导教师：乐嘉锦答辩日期：２０１６年１月东华大学计算机科学与技术学院ＳｃｈｏｏｌｏｆＣｏｍｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｐｇｙＤｏｎｈｕａＵｎｉｖｅｒｓｉｔｇｙ东华大学学位论文原创性声明本

2、人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已明确注明和引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品及成果的内容。论文为本人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日东华大学学位论文版权使用授权书、学位论文作者完全了解学校有关保留使用学位论文的规定，同意学校保留并向国家有关部口或机构送交论文的复印件和电子版

3、，允许论文被查阅或借阅。本人授权东华大学可将本学位论文的全部或レ、部分内容编入有关数据库进行检索，可ッ采用影印缩印或扫描等复制手段保存和汇编本学位论文。。保密□，在年解密后适用本版权书＿本学位论文属于不保密□〇学位论文作者签名：指导教师签名：日期：年月日日期：年月日天文大数据存储管理关键技术研究摘要伴随着信息爆炸，大数据时代已经走入各行各业，在诸如天文学、物理学、社会科学等行业中正源源不断地产生着真正的海量大数据。、、。然而在这些行

4、业中，对大数据存储处理分析的手段还相对落后＾ｈｏｏ、Ｇｏｏｌ另方面，Ｙａｇｅ等互联网公司不断推出处理大数据的新技术，诸如分布式化、并行化的设计思想和技术被广泛运用。然而，当今许多主流的科学软件依然是串行化设计，其性能低下，极大地影响了对科学大数据的高效处理。在天文科学界，随着几个国际合作的天文项目的筹建，先进的观。测设备投入使用，获取到的数据量如潮水般涌来而常用的射电天文处理软件ＣＡＳＡ却是集中式串行设计。虽然ＣＡＳＡ提供了强大的天文阵列数据处理的功能，但现在却无法快

5、速实时的满足当前海量天文数据处理的需求。为了使ＣＡＳＡ继续发挥其在阵列数据处理上的优势，又可应对海量数据的快速数据存取，本文对ＣＡＳＡ底层数据存。储的分布式化，并且使其分布式底层可适应阵列数据进行了研究首先，论文阐述了海量阵列数据处理所面对的挑战与重要意义，及阵列数据的背景、特殊性和常用的处理方法。对海量数据处理的方法进行了总结与归纳。介绍并分析了并行编程，分布式系统，数据分配的发展历程和当前状况。总结了他们各自所取得的成就和不足之处。Ｉ然后，论文对阵列数

6、据处理模型进行了详细的总结，其中包括阵列数据底层的存储模型、ＣＡＳＡ的体系架构、数据流程和其底层数据读写实现。随后，本文深入研究了适用于ＣＡＳＡ的分布式底层的结构设计和实现。其底层主要由数据划分策略与数据分配策略、分布式的文件系统、ＤＤＳＳＳｔＭａｎ的实现和整个数据导入导出流程设计四个方面组＿。成其中，数据划分和数据分配策略的设计实现描述了对列存储海量阵列数据采取源合分片和基于并行进程的＾致性哈希分配的方案；分布式的文件系统为ＣＡＳＡ的分布式底层提供了支持，并且适

7、应之前数据划分策略；ＤＤＳＳＳｔＭａｎ重写了ＣＡＳＡ的数据读写方法，使其支＿持分布式化和并行化；数据导入导出流程从宏观上展示了整个系统从指令查询到返回结果的过程。最后，本文使用ＭＷＡ天文项目的数据作为测试数据集，将上述的各项关键技术实现，整合入ＣＡＳＡ库，并且进行性能验证。通过对相关技术的性能测试结果进行对比分析，验证了本文所述内容的正确性和有效性。在处理海量数据时，实现了ＣＡＳＡ的分布式化和并行。化，并且显著提升了ＣＡＳＡ的数据读写能为关键词：阵列数据

8、；分布式；并行化；ＣＡＳＡ；天文ＩＩＫＥＹＴＥＣＨＮＯＬＯＧＹＲＥＳＥＡＲＣＨＯＦＡＳＴＲＯＮＯＭＩＣＡＬＢＩＧＢＡＴＡＳＴＯＲＡＧＥＭＡＮＡＧＥＭＥＮＴＡＢＳＴＲＡＣＴＡｌｏｎｇｗｉｔｈｔｈｅｉｎｆｏｒｍａｔｉｏｎｅｘｌｏｓｉｏｎｂｉｄａｔａｈａｓｃｏｍｅｉｎｔｏａｌｌｗａｌｋｓｏｆｌｉｆｅ．Ｉｎａｒｅａｓｓｕｃｈａｓｐ，ｇａｓｔｒｏ打ｏｍｙ，ｐｈｙｓｉｃｓ，ｓｏｃｉａｌｓｃｉｅ打ｃｅｓａｎｄｏｔｈｅｒｉｎｄｕ