科学数据挖掘应用系统的研究与初步设计

《科学数据挖掘应用系统的研究与初步设计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、科学数据挖掘应用系统的研究与初步设计周园春2006年9月3日目录背景数据挖掘系统的发展现状科学数据挖掘应用系统科学数据库中国科学院作为中国自然科学的研究中心，在长期的科学研究实践中，通过观测、考察、试验、计算等多种途径产生和积累了大量具有重要科学价值和实用意义的科学数据和资料科学数据的用途科研人员研究的成果和积累支持他们做更为复杂的创新研究不可替代的资源科学数据库始建于1983年，45个研究所，几百个专业数据库，几十几百TB的数据量数据库的内容覆盖了化学、生物、天文、材料、高能物理、光学机械、自然资源、生态、遥感、大气等数据科学数据库系统平台各

2、领域的专业人员可能还开发了各种不同的专业数据库数学模型和专家系统，形成了不同专业的专业咨询系统、科研过程和生产过程模拟系统缺点：独立的、分散的学科的交叉融合、新型交叉学科的出现和跨学科领域的大型科学问题的研究：共享和集成运用先进信息技术来支撑科学数据库的发展和应用的软硬件综合平台其总体目标是：硬件上满足科学数据库的需求的存储、计算、通信和服务能力；软件上实现对科学数据库中大规模、分布式、异构的海量数据进行整合，实现科学数据资源的共享存在的问题只是对数据的共享和协同，还没有对数据进行深加工或者分析随着科学数据库中数据的不断积累，数据的加工处理，从

3、数据中获取有用的知识，充分挖掘数据资源的价值，变得越来越重要数据量大而且复杂，完全人工去分析或者查看是不现实也是不可能的科学数据库中开发数据挖掘应用的问题首先，数据挖掘过程往往与数据挖掘模型、具体挖掘算法紧密关联，这就带来了技术上和应用推广上的困难其次，数据挖掘与具体应用结合，就会导致应用范围窄，灵活性差，增加数据挖掘应用开发的难度能否建立一个科学数据挖掘应用系统？目录背景数据挖掘系统的发展现状科学数据挖掘应用系统什么是数据挖掘？数据挖掘是从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程数据挖掘的过程数据挖掘到数据挖

4、掘系统研究重点的转移从发现方法到系统应用，注重多种发现策略和技术的集成，以及多学科之间的相互渗透。理论和应用的结合数据挖掘是面向应用的多学科交叉领域，应用推动了数据挖掘技术和理论的研究。而数据挖掘系统是数据挖掘研究和应用的桥梁，对数据挖掘技术的推广起到很大的作用数据挖掘系统数据挖掘是一个交叉学科领域，受多个学科影响，包括数据库系统、统计学、机器学习、可视化和信息科学。数据挖掘系统如何将现有的算法集中在一个统一的框架下，并且与特定的领域相结合，构造出能被各种层次的用户所接受的数据挖掘应用系统，是数据挖掘系统研究需要迫切解决的问题之一分类：横向的数

5、据挖掘工具纵向的数据挖掘工具横向的数据挖掘工具数据挖掘软件需要和以下三个方面紧密结合数据库和数据仓库多种类型的数据挖掘算法数据清洗、转换等预处理工作“工具集”的数据挖掘软件（1995年）对各个领域提供多种数据挖掘算法包括数据的转换和可视化并非面向特定的应用，是通用的算法集合，所以称之为横向的数据挖掘工具。典型的系统有IBM的IntelligentMiner、SASEnterpriseMiner、SPSSClmentine、SGI的MineSet、OracleDarwin等缺点只有精通数据挖掘算法的专家才能熟练使用，如果对算法不了解，难以得出好的

6、模型纵向的数据挖掘工具1999年开始就出现纵向的数据挖掘解决方案，即基于工具集，针对特定的应用提供完整的数据挖掘方案典型应用KDI（主要用于零售业）、Options&Choice（主要用于保险业）、HNC（欺诈行为侦测）和UnicaModel（主要用于市场）特点很强的针对性，能够满足特定的应用需求用户能专注于具体的应用问题，对具体算法无须了解。缺点应用范围是纵向的，过于狭窄，灵活性不够。比如为某个银行定制的信用卡数据挖掘方案可能不适合其他银行。数据挖掘系统纵向的还是横向的数据挖据应用系统，都很少考虑到科学数据挖掘，大多都是应用于商业、金融等领域

7、目录背景数据挖掘系统的发展现状科学数据挖掘应用系统科学数据挖掘应用系统的目标希望在“十五”的基础上形成的大规模的科学数据资源上，结合现有的元数据定义的规范，为各个建库单位提供统一的、良好可扩展性和灵活性的科学数据挖掘平台各建库单位根据自身数据的特征来定制领域模型，平台根据这些业务模型来实现对科学数据进行分析和挖掘，最后以可视化的形式把结果呈现给科研人员和科研管理人员，使得科研人员能够从数据的背后进行更加深入科研的活动，同时也为科研管理人员提供决策的资料来源科学数据挖掘应用系统的目标使科学家可以从桌面电脑上访问大量的数据和计算资源符合e-Scie

8、nce的首要的挑战从数据的“雪崩”中有效地抽取、集成、探测、分析和表达知识使得科学家能够利用数据的潜能引发的不同领域的需求数据资源集成到一起的计算基础