大数据量交叉证认算法研究

大数据量交叉证认算法研究

ID:26685043

大小:853.35 KB

页数:25页

时间:2018-11-28

大数据量交叉证认算法研究_第1页
大数据量交叉证认算法研究_第2页
大数据量交叉证认算法研究_第3页
大数据量交叉证认算法研究_第4页
大数据量交叉证认算法研究_第5页
资源描述:

《大数据量交叉证认算法研究》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、高丹中国虚拟天文台研发团队ChineseVirtualObservatory大数据量交叉证认算法研究内容星表介绍交叉证认的意义现有的交叉证认工具交叉证认概念交叉证认方法比较B-tree索引HTM索引HTM索引分区+kdtree进一步工作11/29-12/032China-VO2006,Guilin星表星表是包含天体信息(如赤经、赤纬、星等、流量)的二维数据表格多波段:光学、红外、射电、X射线等星表的每一行对应一个天体,不同星表的同一天体的共同属性是位置信息赤经:0~360度赤纬:-90~90度11/29-12/033China-VO2006,Guili

2、n星表实例11/29-12/034China-VO2006,Guilin交叉证认的必要性多波段数据急剧增长革命性步骤:数据融合联系桥梁:位置交叉证认11/29-12/035China-VO2006,Guilin交叉证认的意义多波段数据融合,获得天体多波段信息对天体的物理性质、演化规律获得更全面系统的认识为进一步的统计分析、数据挖掘做准备提取天体的参数越多,越有利于天体分类和测光红移的计算增加了发现新天体的概率LAMOST三大核心子课题之一虚拟天文台数据融合必由之路11/29-12/036China-VO2006,Guilin现有的交叉证认工具SIMBA

3、DALADINNEDMASTTOPCATOpenSkyqueryGVO-cross-match11/29-12/037China-VO2006,Guilin现有工具的优缺点优点:界面友好数据资源丰富缺点:不能进行大样本的交叉证认参数不能自由选择交叉证认结果需要用户进一步加工没有对结果进行分类没给出交叉证认的概率只能与特定的数据交叉证认11/29-12/038China-VO2006,Guilin交叉证认的概念将不同星表或数据库中的源按位置属性将它们联系起来,在相同位置的源或一定误差半径范围内的源,被证认为是同一天体。11/29-12/039China-

4、VO2006,Guilin证认的判断方法有两个源分别在星表a、b中,它们的误差半径分别为r1,r2,它们的之间的球面距离为d。如果它们的关系满足,则认为它们是同一天体。(1)11/29-12/0310China-VO2006,Guilin证认的判断方法(例子)2MASS:r1=0.1ra=357.661036243116,decl=0.434507548194SDSS:r2=0.1ra=357.661059,decl=0.434484d:0.000032746961两个源满足(1)式,被证认为同一个天体11/29-12/0311China-VO2006

5、,Guilin索引Indexingmechanismsusedtospeedupaccesstodesireddata.11/29-12/0312China-VO2006,GuilinB-tree索引的交叉证认为星表的ra,decl两列建B-tree索引以小表为中心,在大表中遍历寻找证认源以(1)式为判断算法复杂度O(N*N)11/29-12/0313China-VO2006,GuilinB-tree索引的交叉证认(续)11/29-12/0314China-VO2006,GuilinB-tree索引方法优缺点优点:证认精度高缺点:内存限制,索引不好速度

6、慢,算法复杂度高11/29-12/0315China-VO2006,GuilinHTMTheSpatialIndexisaquadtreeofsphericaltriangles.Thetreeisbuiltinthefollowingway:Startoutwith8trianglesonthesphereusingthe3maincirclestodeterminethem.Then,everytrianglecanbedecomposedinto4newtrianglesbydrawingmaincirclesbetweenmidpointsof

7、itsedges11/29-12/0316China-VO2006,GuilinHTMpcodera=45.0,decl=66.0,level=14N31333030333000311/29-12/0317China-VO2006,GuilinHTMlevelLevelArea(arcmin^2)NumLeaves101.77E18,388,608111.43E033,554,432121.11E0134,217,728132.77E-1536,870,912146.92E-22,147,483,648151.73E-28,589,934,592201

8、.69E-58,796,093,022,208251.65E-89,007,199,254,7

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。