各个领域在近二十年来取得突破性的研究进展

《各个领域在近二十年来取得突破性的研究进展》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、天文中的数据挖掘技术DataMining&KnowledgeDiscovery形势发展的需要各个领域在近二十年来取得突破性的研究进展计算机技术,网络技术和传感技术的飞速发展来自各个巡天计划和天文台的“数据雪崩”科学家,工程师和领域专家的缺乏必要性技术是一个驱动因素更大,更便宜的存储器--磁盘密度以Moore’slaw增长“每次18个月增长一倍”--存储器价格飞快下降更快,更便宜的信息处理器--分析更多的数据--适应更多复杂的模型--引起更多查询技术--激起更强的可视化技术巨大的数据组特征:--以Tebyte甚至Pebyte计量--不均匀性--动力学

2、性--高维性(加上时间维可达13维甚至更高维)区别四个概念数据:原始的,未解释的信号或者符号,如:1信息:有一定解释或意义的数据,如:S.O.S知识:综合信息形成的观点和普适性的理论智慧:能够综合知识和经验用以生存计划的人类思维的结晶数据挖掘的定义定义:半自动或自动地从海量数据中发现模式,相关性,变化,反常规律性,统计上的重要结构和事件.在天文上,就是从海量数据中发现稀有的天体或现象,或者发现以前未知种类的天体或新天文现象.特点:半自动或自动提取预测大数据库数据挖掘不同于传统上的统计学前者:发现驱动(数据驱动)数据研究后者:假设驱动(人为驱动)研究数

3、据数据挖掘依赖的基础统计学机器学习数据库高效率的计算统计学Gauss,Fisher,和--最小二乘法，最大似然法--一些基本原理的发展数学时代--1950`s：Neyman等数学家独领风骚计算时代--自从1960`s平稳增长--1970`s：EDA,Bayesianestimation,flexiblemodels,EM,etc--逐渐意识到计算机在数据分析中的能力和作用计算机科学模式识别和人工智能(AI)--集中于感官问题,如:语言识别,图像识别--1960`s:统计方法与非统计方法的分流--应用统计学与工程学的交叉如:统计图像分析机器学习和神经

4、网络--1980`s非统计学习方法的失败--flexiblemodels的出现,如:树,网络--应用统计学与学习方法的交叉数据挖掘技术的出现直接演化的结果:--AI和机器学习*1989KDD工作组2000ACMSIGKDD工作组*集中于自动发现--数据库研究*大型数据组*SIGMMODassociationrules,scalablealgorithms--数据管理者*如何处理数据*面向客户*工业占主导的,面向应用必然性数据挖掘模型的分类描述性模型:描述数据中的模式,用以创建有意义的群或子群预测性模型:在从已知条件中确定的模式基础上,预测一些现象或数

5、值数据挖掘的分类事件驱动性数据挖掘相关驱动性数据挖掘事件驱动性数据挖掘已知事件/已知算法:用已有的物理模型去确定数据中存在的人们感兴趣的已知现象,无论空间上或时间上已知事件/未知算法:用模式识别或数据的聚类特性来发现在已知现象中存在新的观测相关性未知事件/已知算法:以天文现象的观测参数中存在着预期的相关性来预测数据中存在着以前未知的事件未知事件/未知算法:用临界值确定瞬时事件或独特事件,从而发现新现象相关驱动性数据挖掘空间相关:在天空中的同一位置证认天体时间相关:证认发生在相同时间或相关时间的事件或现象一致相关:用聚类方法证认存在于同一多维参数空间

6、的现象天文数据挖掘的科学要求天体的交叉证认天体的交叉相关最近邻规则证认系统的数据探索天体的交叉证认原理:以源的位置为参量,将存在于不同数据库中的源联系起来,用以加深对证认源的新的天文理解例子:gamma-ray暴的对应体问题:多波段数据库的交叉证认会产生一对一,一对多,多对一,多对多,甚至多对无,对于除一对一的情况,有时需要用概率方法处理天体的交叉相关原理:用假定分析方法处理数据中的所有参数例子:在HDF巡天中,通过双色图中作为U波段的“dropouts”证认远距离星系在DPOSS和SDSS巡天中,通过双色图中远离正常恒星区的特性发现高红移类星体最近

7、邻规则证认原理:在多维空间中运用聚类算法证认天体或现象例子:在TW长蛇座中过通过天体具有相似的运动学特征,X射线发射,Hα和Li丰度,发现了人们最熟悉的年轻恒星族系统的数据探索原理:在数据库中广泛地应用事件驱动性和相关驱动性数据挖掘技术以偶然发现一种新天体或新类型天体例子:新类型变星的发现,如:在MACHO数据中发现的“bumpers”数据挖掘在天文中的具体应用主分量分析方法人工神经网络EM算法决策树&…主分量分析方法(一)应用举例:利用光谱将K矮星从K巨星中区分出来恒星,星系和类星体的光谱分类星系的形态分类自动的红移确定通过将发射线分解为几个

8、独立量来研究发射区的发射线的变化及其结构和动力学特征在观测基平面