数据挖掘开发及应用研究.pdf

《数据挖掘开发及应用研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2015年软件2015,Vol36,No.5第36卷第5期COMPUTERENGINEERING&SOFTWARE国际IT传媒品牌数据挖掘开发及应用研究卓广平(太原师范学院计算机系，山西太原030619)摘要:数据挖掘在当今的数字时代、网络时代以及大数据时代发展尤为迅猛，属于多学科、多领域的交叉学科，它在较短的时间内取得了令人瞩目的研究成果，并在社会的各个领域获得应用，表现了出巨大的优势和潜能。本文对数据挖掘的过程和数据挖掘技术进行了较为详细的介绍，并探讨了其应用领域和前景，旨在为数据挖掘理论与实践提供一

2、些借鉴和新的思路。关键词:数据挖掘；大数据；网络中图分类号:TP311文献标识码:ADOI：10.3969/j.issn.1003-6970.2015.05.017本文著录格式：卓广平.数据挖掘开发及应用研究[J].软件，2015，36(5)：8183AStudyoftheDevelopmentandApplicationofDataMiningZHUOGuang-ping(DepartmentofComputerScience,TaiyuanNormalUniversity,Taiyuan,Shanx

3、i030619,China)【Abstract】:Dataminingisdevelopingrapidlyintoday'sdigital,Internetandbigdataera.Beinganinterdisciplinaryofmanydisciplinesandfields,ithasmaderemarkableachievementsinashortperiod.Appliedinvariousfields,itshowsitsgreatadvantagesandpotential.Inth

4、ispaper,theprocessandtechnologyofdataminingarefirstlydescribedindetailbytheauthor.Thenitsapplicationfieldsandprospectsareexplored,aimingtoprovidesomereferenceandnewideasforthetheoryandpracticeofdatamining.【Keywords】:Datamining;Bigdata;Internet0引言数据挖掘是从大量的

5、(或海量的)、不完全的、模糊的、有噪声的以及具有随性的数据中，对隐含的、具有潜在作用和有意义(有时称作有趣的)知识进行提取的过程。其主要任务是从数据集中发现模式。通过数据挖掘发现的模式形式可以多样，根据功能可分为预测性模式和描述性模式两种。在实际运用中，则可根据其实际作用划分为分类模式、预测模式、相关性分析模式、序列模式、聚类模式以及数据可视化等。数据挖掘涉及多种学科、技术和领域，因此也会有一些不同的挖掘方法和实现。根据挖掘对象的不同，可分为关系数据库、空间数据库、文本数据源、时态数据库、多媒体数据库、遗

6、产数据库和万维网Web等的挖掘技术；根据挖掘任务的不同，可将其分为分类或预测模型发现、聚类、关联规则发掘、数据汇总、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等；同时还可以根据挖掘方法进行划分，大致分为统计学方法、机器学习方法、数据库方法和神经网络方法等。1数据挖掘过程首先，目标定义与数据准备。目标定义即是定义出明确的数据挖掘目标，数据挖掘的成败受到目标定义是否适度的影响，因此在目标定义的过程中技术人员需要具备丰富的数据挖掘经验，并与相关专家、最终用户实现紧密协作来实现，在明确实际工作的数据挖掘

7、要求的同时，进行各种学习算法的对比，最终确定有效科学的算法。整个数据挖掘过程中数据准备占有最大的比例，约60%左右。数据准备阶段具体过程分为三步，即数据选择，数据预处理和数据变换。(1)数据选择(DataSelection)：数据选择即是从已有的数据作者简介:卓广平(1972‒),男,副教授,研究方向:人工智能与数据挖掘,从事计算机教学和科研第36卷第5期软件库或数据仓库中进行相关数据的提取，并形成目标数据(TargetData)。(2)数据预处理(DataProcessing)：对参与提取的数据进行处理

8、，从而使数据能够符合数据挖掘的要求。(3)数据变换(DataTransformation)：数据变换的目的主要在于使数据维数得到精简，进而从数据初始特征中找出真正有用的特征，减小数据挖掘过程中需要考虑的变量个数与特征。其次，数据挖掘。数据挖掘阶段属于实际的挖掘工作过程，首先需要进行算法的规划，决定所要采用的数据挖掘方法，然后在挖掘方法的基础上选择一种算法，待完成上述准备工作后，对数据挖掘算法模块予以运行。数据挖掘阶段是相关领域