浅谈数据挖掘的技术应用及其在web中的发展

《浅谈数据挖掘的技术应用及其在web中的发展》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、浅谈数据挖掘的技术应用及其在ffeb中的发展摘要:随着信息产业的迅猛快速的发展以及Internet/Web技术的快速普及，使海量数据不断产生。随之而来的问题是如此多的数据让人难以消化，无法从表面上看出他们所蕴涵的有用信息，从而不能有效地进行分析处理。数据挖掘(DataMining)就是从大量的实际应用数据屮提取隐含信息和知识，它利用了数据库、人工智能和数理统计等多方面的技术，是一类深层次的数据分析方法。并且由于数据挖掘技术对网络应用提供了强大支持，所以如何在Web这个全球最大的数据集合中发现有用信息无疑将成为数据挖掘研究的热点。本文从现阶段出发简要

2、的概述数据库技术的现状、数据挖掘的技术方法，并对其在Web挖掘屮的应用，出现的问题和发展方向进行说明。关键字:数据挖掘数据挖掘技术Web挖掘发展方向一、数据挖掘的起源和概念数据是进行信息化处理的基础，从数据中获取重要信息并将其转化为实际的生产和应用效果变得越来越广泛，也推动着社会生产和市场经济的快速发展。尽管现代的数据库技术己经相当优秀能够使我们使我们很容易的存储人量的数据流，但还没有一种成熟的技术帮助我们分析、理解并使数据以可理解的信息表示出来。以往,我们通常由知识工程师把专家经验知识经过分析、筛选、比较、综合、再提取出知识和规则来获取有用信息。

3、但由于专家所拥有知识的有局限性,所以对于获取的信息是否完全表达了数据本身还不是很确定。传统的知识获取技术已经无法满足巨型数据仓库，数据挖掘技术就应运而生。数据挖掘是指从数据中自动地抽取模型O数据挖掘包括以卜'步骤:从人规模数据库中(或从其他来源)取得数据;选择合适的特征属性;挑选合适的样本策略;剔除数据中不止常的数据并补足不够的部分;用恰当的降维、变换使数据挖掘过程与数据模型相适合或相匹配;辨别所得到的是否是知识则需将得到的结果信息化或可视化，然后与现有的知识相结合比较。这些步骤是从数据到信息的必由之路。数据挖掘的研究领域涉及广泛,主要包括数据库系

4、统，基于知识的系统，人工智能，机器学习，知识获取，统计学,空间数据库和数据可视化等领域。二、数据挖掘技术的方法和应用数据挖掘技术的方法很多，根据开采任务分,可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等;根据开采对象分，有关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web;根据开采方法分,可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习屮，可细分为：归纳学习方法（决策树、规则归纳等）、基于范例学习、

5、遗传算法等。统计方法中，可细分为：回归分析（多元凹归、自回归等）、判别分析（贝叶斯判别、费歇尔判别、非参数判别等）、聚类分析（系统聚类、动态聚类等）、探索性分析（主元分析法、相关分析法等）等。神经网络方法中，可细分为:前向神经网络（BP算法等）、口组织神经网络（自组织特征映射、竞争学习等）等。由于数据的独特性质使得数据挖掘技术应用的领域非常广泛。一般包括一下儿个方面：科学研究：从科学研究方法学的角度看，科学研究可分为三类:理论科学、实验科学和计算科学。计算科学是现代科学的一个重要标志。计算科学工作者主要和数据打交道，每天要分析各种大量的实验或观测数

6、据。随着先进的科学数据收集工具的使用，如观测卫星、遥感器、DNA分子技术等,数据量非常大，传统的数据分析工具无能为力，因此必须有强大的智能型自动数据分析工具才行。数据挖掘在生物学上的应用主要集中于分子生物学特别是基因工程的研究上。基因研究中,同功能的蛋口质）和RNA分子的结构和功能。近儿年，通过用计算生物分了系列分析方法,尤其是基因数据库搜索技术已在基因研究上作出了很多重大发现。市场行销：由于管理信息系统和POS系统在商业尤其是零售业内的普遍使用，特别是条形码技术的使用，从而可以收集到大量关于用户购买情况的数据，并何数据量在不断激增。对市场行销來说

7、，通过数据分析了解客户购物行为的一些特征，对提高竞争力及促进销售是大有帮助的。利用数据挖掘技术通过对用户数据的分析，可以得到关于顾客购买取向和兴趣的信息,从而为商业决策提供了可靠的依据。数据库数据挖掘在行销业上的应用可分为两类：数据库行销（databasemarketing）和货篮分析（basketanalysis）。金融投资:典型的金融分析领域有投资评估和股票交易市场预测,分析方法一般采用模型预测法（如神经网络或统计回归技术）O由于金融投资的风险很大，在进行投资决策时，更需要通过对各种投资方向的有关数据进行分析，以选择最佳的投资方向。数据挖掘可以

8、通过对已有数据的处理，找到数据对象之间的关系，然后利用学习得到的模式进行合理的预测。产品制造:随着现代技术越来越多地应用于