土壤有机质含量高光谱遥感中的数据挖掘

《土壤有机质含量高光谱遥感中的数据挖掘》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、土壤有机质含量高光谱遥感中的数据挖掘　　摘要：文章分析了数据挖掘技术在土壤有机质含量高光谱遥感数据分析中的发展历程以及目前所面临的问题；探讨了聚类、模糊集、粗集、神经网络、决策树等数据挖掘算法在高光谱数据分析中的应用；展望了数据挖掘技术的应用前景。 关键词：数据挖掘；高光谱遥感；算法 　　数据是客观世界性质、特征和状态的描述，但由于客观世界的复杂性和在数据产生过程中携带了一些和客观无关的因素的干扰，使得数据产生了与客观世界不一致的状况，人们通常把这些干扰称为“误差”，在信息科学中则称之为“噪声”。根据信息理论，数据是由信息和噪声共同组成的，只有当数据中排除了“噪声”之后，才能称为信息：信

2、息=-。在日常应用中，大量的数据未能充分利用这一现象常常被描述为“数据丰富，但信息贫乏”。为此，决策者迫切需要从海量数据库中提取有价值知识的工具，数据挖掘技术正是为满足上述要求而产生的。 　　土壤高光谱遥感数据就是这样一种情况，在室内土壤高光谱测试过程中，由于可控条件和不可控条件的变化，使得所得结果有一定的差异，如土壤的粒径差异、测试土样表面处理方法的不同、测试时几何条件的差异等都会引起土壤光谱反射系数的不确定。同时，高光谱遥感数据波段众多，数据量庞大，这些给处理和解译都带来了很大困难，而数据挖掘技术能够很好的解决这种情况。 一、数据挖掘技术的发展 数据挖掘的产生发展 　　数据挖掘其

3、实是一个逐渐演变的过程，其思想可以追溯到20世纪70年代。随着数据库存储技术和计算速度提高，科学研究人员意识到，还可以利用机器学习的方式来分析数据。机器学习的过程就是将一些已知的并已被成功解决的问题作为范例输入计算机，机器通过学习这些范例总结并生成相应的规则，这些规则具有通用性，使用它们可以解决某一类的问题。随后，伴随着神经网络技术的形成和发展，人们的注意力转向知识工程。知识工程不同于机器学习那样给计算机输入范例，让它生成出规则，而是直接给计算机输入已被代码化的规则，而计算机是通过使用这些规则来解决某些问题。80年代末在美国底特律召开的第11届国际人工智能联合会议的专题讨论会上首次出现KDD

4、这个术语，人们接受了这个术语，并用KDD来描述整个数据发掘的过程。随后的KDD国际学术大会研究重点逐渐从发现方法转向系统应用，并且注重多种发现策略和技术的集成，以及多种学科之间的相互渗透，数据挖掘和知识发现成为当前计算机科学界的一大热点。随着支持数据挖掘技术发展，数据挖掘渐渐成为成熟的技术，并在实际应用中取得了良好效果。 数据挖掘所面临的问题 　　由于数据挖掘时遇到的数据库种类繁多，且各种数据挖掘方法作用范围有限，因此采用单一方法难以得到决策所需的各种知识，多方法融合将成为数据挖掘的发展趋势。而数据挖掘技术当前所面临的问题主要有：如何进行降维操作、高维数据索引、典型特征提取等；挖掘算法的

5、表达和改进创新；如何对挖掘产生的规则和模式进行解释与表达，使其与信息处理的要求相关联以得到应用，并对挖掘的知识进行客观、科学的评价，控制知识可靠性和质量，实施有效管理；针对高光谱遥感信息的特点，对数据挖掘任务的描述、算法功能模块组织都是其中的关键问题。 二、数据挖掘的主要算法 　　数据挖掘算法很多，结合不同的应用领域又发展了一些新的方法，进一步丰富和发展了数据挖掘的算法体系。数据挖掘可以采用的方法主要包括聚类、空间分析、模糊集、粗集、神经网络、决策树等。这些方法都有局限性，但它们的有机组合具有互补性，多方法融合将成为数据挖掘的发展趋势。目前一些具有较好应用效果的方法主要包括： 聚类

6、　　聚类是把一组个体按照相似性归纳成若干类别，即“物以类聚”。它的目的是使得属于同一类别的个体之间的距离尽可能的小，而不同类别上的个体间的距离尽可能的大。在实现其他挖掘任务之前，应用聚类方法可使挖掘精度与效率大大提高。聚类方法包括统计方法、机器学习方法、神经网络方法和面向数据库的方法。由于高光谱遥感信息的海量特点，聚类是一种有效的挖掘算法。通过将信息从光谱维和空间维进行聚类，挖掘隐含在其中的规则和知识，对于解决波段选择、特征提取、纯净象元识别等问题，具有明显的优越性。由于聚类仅是实现对目标的集群分析，而对不同集群的属性和特征进行挖掘才能取得更好的效果，因此聚类一般要和其他算法结合进行。 人

7、工神经网络 　　神经网络是数据挖掘和知识发现非常重要的方法，包括前向神经网络、径向基函数神经网络、反馈神经网络等已都得到了重视和应用。另一方面，人工神经网络也在高光谱遥感信息中得到了一些应用。神经网络常用于两类问题：分类和回归。神经网络的参数可以比统计方法多很多。由于参数如此之多，参数通过各种各样的组合方式来影响输出结果，以至于很难对一个神经网络表示的模型做出直观的解释。实际上神经网络也正是当作“黑盒”来用