浅析数据挖掘概念与技术

《浅析数据挖掘概念与技术》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、浅析数据挖掘概念与技术摘要：随着信息技术的迅速发展，数据库的规模不断扩大，而传统的查询、报表工具无法满足挖掘有效信息的需求，因此，需要一种新的数据分析技术处理大量数据，并从中抽取有价值的潜在知识，即数据挖掘技术。本文深入浅出地阐述了数据挖掘技术的产生，概念以及数据挖掘的常用技术。关键词：数据库数据挖掘知识发现DMKDD一、数据挖掘技术概述　　随着信息技术的迅速发展，数据库的规模不断扩大，从而产生了大量的数据。为了给决策者提供一个统一的全局视角，在许多领域建立了数据仓库，但大量的数据往往使人们无法辨别隐藏在其中的能对决策提供支持的信息，

2、而传统的查询、报表工具无法满足挖掘这些信息的需求。因此，需要一种新的数据分析技术处理大量数据，并从中抽取有价值的潜在知识，数据挖掘（Data  Mining）技术由此应运而生，数据挖掘技术也正是伴随着数据仓库技术的发展而逐步完善起来的。但是并非所有的信息发现任务都被视为数据挖掘，例如，使用数据库管理系统查找个别的记录，或通过因特网的搜索引擎查找特定的Web页面，则是信息检索（informationretrieval）领域的任务。数据挖掘是一个以数据库、人工智能、数理统计、可视化四大支柱技术为基础，我们知道，描述或说明一个算法设计分为三

3、个部分：输入、输出和处理过程。数据挖掘算法的输入是数据库，算法的输出是要发现的知识或模式，算法的处理过程则设计具体的搜索方法。从算法的输入、输出和处理过程三个角度分，可以确定数据挖掘主要涉及三个方面：挖掘对象、挖掘任务、挖掘方法。挖掘对象包括若干种数据库或数据源，例如关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据库、多媒体数据库、历史数据库，以及万维网（WEB）等。挖掘方法可以粗分为：统计方法、机器学习方法、神经网络方法和数据库方法。统计方法可细分为：回归分析、判别分析等。机器学习可细分为：遗传算法等。神经网络方法可细分

4、为：前向神经网络、自组织神经网络等。数据库方法主要是多维数据分析方法等。数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现（KDDKnowledge  Discovery  in  Database）的过程，它是一门涉及面很广的交叉性新兴学科，涉及到数据库、人工智能、数理统计、可视化、并行计算等领域。数据挖掘是一种新的信息处理技术，其主要特点是对数

5、据库中的大量数据进行抽取、转换、分析和其他模型化处理，并从中提取辅助决策的关键性数据。数据挖掘是知识发现（KDD）过程中的一个特定步骤，它用专门算法从数据中抽取模式（patterns），它并不是用规范的数据库查询语言（如SQL）进行查询，而是对查询的内容进行模式的总结和内在规律的搜索。传统的查询和报表处理只是得到事件发生的结果，并没有深入研究发生的原因，而数据挖掘则主要了解发生的原因，并且以一定的置信度对未来进行预测，用来为决策行为提供有利的支持。二、数据挖掘的常用技术　　机器学习、数理统计等方法是数据挖掘进行知识学习的重要方法。数据

6、挖掘算法的好坏将直接影响到所发现知识的好坏，目前对数据挖掘的研究也主要集中在算法及其应用方面。统计方法应用于数据挖掘主要是进行数据评估；机器学习是人工智能的另一个分支，也称为归纳推理，它通过学习训练数据集，发现模型的参数，并找出数据中隐含的规则。其中关联分析法、人工神经元网络、决策树和遗传算法在数据挖掘中的应用很广泛。　　（一）关联分析法。从关系数据库中提取关联规则是几种主要的数据挖掘方法之一。挖掘关联是通过搜索系统中的所有事物，并从中找到出现条件概率较高的模式。关联实际上就是数据对象之间相关性的确定，用关联找出所有能将一组数据项和另

7、一组数据项相联系的规则，这种规则的建立并不是确定的关系，而是一个具有一定置信度的可能值，即事件发生的概率。关联分析法直观、易理解，但对于关联度不高或相关性复杂的情况不太有效。　　（二）人工神经元网络（ANN），是数据挖掘中应用最广泛的技术。神经网络的数据挖掘方法是通过模仿人的神经系统来反复训练学习数据集，从待分析的数据集中发现用于预测和分类的模式。神经元网络对于复杂情况仍能得到精确的预测结果，而且可以处理类别和连续变量，但神经元网络不适合处理高维变量，其最大的缺点是不透明性，因为其无法解释结果是如何产生的，及其在推理过程中所用的规则。

8、神经元网络适合于结果比可理解性更重要的分类和预测的复杂情况，可用于聚类、分类和序列模式。　（三）决策树（DT）是一种树型结构的预测模型，其中树的非终端节点表示属性，叶节点表示所属的不同类别。根据训练数据集中数据的不同取值