面向时域天文学的时空数据存储布局.pdf

《面向时域天文学的时空数据存储布局.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、面向时域天文学的时空数据存储布局DataLayoutforSpatio-temporalDatainTimeDomainAstronomy学科专业：计算机科学与技术作者姓名：阎杰指导教师：于策副教授天津大学计算机科学与技术学院二零一七年十二月万方数据万方数据万方数据万方数据摘要天文学是最早进入大数据时代的学科之一，随着望远镜观测数据量的不断增大，天文学数据存储也逐渐成为了新的问题。不同于传统的数据存储方式，天文学数据具有数据量大，同时具有时间和空间两种属性的特点。这种特点在时域天文学这一天文学分支中体现的更多明显。时域天文学注重观测

2、天体在一段时间内的变化，其数据按照观测时间顺序生成，但是在查询请求却按照空间顺序提取数据。在南极天文观测的应用场景中，由于这种特定的数据处理方式，导致传统的布局方式在本应节能的存储系统上浪费了能源。因此一套面向天文观测的时空数据存储布局显得尤为必要。通过调研传统的数据布局系统和节能存储技术，本文分析了传统的磁盘变速技术、磁盘分组技术、数据冗余技术在南极存储节能系统及数据布局中所能起到的作用和不足之处，讨论了南极气候和环境对存储系统的制约之处，设计了一套面向南极天文观测的时空数据布局方案。这种方案改变了传统的按照时间顺序进行存储的方案

3、，将磁盘矩阵和观测天区进行结合并一一对应，使用缓存磁盘将原始的观测数据从按照时间排序转为按照空间排序，再存储到天区对应的磁盘中。同时使用树形结构对观测天区中的热门观测区进行再划分，将密集的数据进行分割；使用边缘数据备份的方式对冷门区域进行优化，减少在数据查询时因为数据跨区现象导致的额外能源消耗。为了验证新的存储布局的性能和节能效果，文本使用南极天文AST3望远镜的实际观测数据进行了仿真实验，通过使用三种不同数据进行实验，证明相比按照时间顺序进行存储的数据布局，新的布局在进行查询时平均需要打开的磁盘数量从10.16次降低至1.85次，

4、在查询阶段的能耗降低为原先的32.43%。关键词：节能，数据布局，天文数据，时空数据，时域天文学I万方数据II万方数据ABSTRACTAstronomyisoneofthefirstdisciplineswhichsteppedintotheeraofbigdata.Withtheincreasingofthetelescope’sobservationdata,astronomicaldatastoragehasbecomeanewissuegradually.Differentfromthetraditionaldata,Ast

5、ronomydatapossessesthecharacteristicsofbothspaceandtime,andhasalargevolume.Asthebranchofastronomy,Timedomainastronomyismoreaffectedbythisdatafeature.Timedomainastronomyputsemphasisonhowastronomicalobjectschangewithtime.Thedataareusuallystoredaccordingtotheobservationti

6、mesequencewhereasaccessedinspatialorder.Traditionalstoragelayoutalwaysconsumesalotofenergyindatasearchstagebecauseitusuallyneedstovisitallthediskstogetthetargetdata.However,energyisthemostlimitationfactorinAntarctic.SoalayoutspecificallydesignedfortheAntarcticastronomi

7、calobservationsisnecessary.Inthispaper,basedonthesurveyofthetraditionaldatalayoutsystemandenergystoragetechnology,anewdatalayoutoftheAntarcticastronomicalobservationswithspatio-temporaldatahasbeendesigned.Thislayoutisdifferentfromthetraditionalstoragelayoutwhichstoresd

8、ataaccordingtothetimeorder.Instead,itcombinesthediskarrayandtheobservationareaandusesacachedisktotransformtheoriginal