浅谈高维数据挖掘的现状与方法-论文.pdf

《浅谈高维数据挖掘的现状与方法-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、o曩妻浅谈高维数据挖掘的现状与方法李泽安“。(1南通大学杏林学院江苏南通226019；2南通大学计算机学院江苏南通226019)【摘要】：&-N~lg掘出现于20世纪80年代后期，是数据库研究中一个很有应用价值的领域．随着大数据出现，高维数据的挖掘成为了热点和难点。本文在介绍传统数据挖掘的基础上，介绍了高维数据的特点以及目前面临的问题，高维数据挖掘最新研究的情况，并在此基础上进行了总结和展望。【关键字】：gc-N~lg掘；高维数据挖掘；稀疏性1、数据挖掘简介高维度。目前高维数据挖掘已成为数据挖掘的重点和数据挖掘fDataMining)是

2、在2O世纪8O年代被难点。如各种类型的贸易交易数据、Web文档、基因表提出来的，90年代取得发展，是当今数据库系统及其达数据、WEB使用数据及多媒体数据等，它们的维度应用领域中的一个热点话题。数据挖掘就是从大量(属性)通常可以达到成百上千维。的、不完全的、有噪声的、模糊的、随机的原始数据中，3、高维数据对于数据挖掘产生的影响提取隐含在其中的、新颖的、潜在有用的、并且最终可在高维空间中，一方面引起基于索引结构的数据理解的模式的非平凡过程，并进行数据分析、数据融挖掘算法的性能下降，另一方面很多基于全空问距离合(DataFusion)以及决策

3、支持的过程。函数的挖掘方法也会失效。总的来说高维数据会对传数据挖掘是一门交叉学科，主要包括：数据库技统意义上的数据挖掘的影响主要存在以下几个方面：术、人工智能、模式识别、统计学、信息搜索技术、数据(1)聚类算法可视化和高性能计算等。数据挖掘主要分3个阶段：在高维空间中很多情况下距离度量已经失效。数据准备、数据挖掘、结果的评价和表达。数据挖掘包另外在高维空间中索引结构的失效，网格数随维数呈括以下几个基本过程：f1)确定研究目标；(2)数据的收指数级增长的问题也使得不再有效。集与整理；(3)建立合适的数据挖掘模型；(4)分析和(2)关联规则

4、挖掘评价模型；(5)知识同化，即将数据挖掘中得到的信息大多数频繁集挖掘算法都是基于特征计数的，当应用到实际问题提出执行方案。数据挖掘方法通常分维数增加，特征的组合也呈指数级的增长，这使得当为两类：描述性方法和预测性方法。常用的方法包括：维数达到一定量级时不可能再在这个空间中进行搜关联规则、决策树、聚类分析、回归分析、神经网络、预索。测估计、时间序列、异常分析、描述和可视化法等。(3)异常检测数据挖掘领域的具有十大经典算法：C4．5，k—高维数据具有稀疏性，它的稀疏性使得原来数据Means，SVM，Apriori，EM，PageRank，

5、AdaBoost，kNN，挖掘中对于“异常”检测的方法变得无法操作。NaiveBayes，andCART。常用的数据挖掘常用软件有：4、研究现状介绍clementine，R软件，Weka软件。然后正因为高维数据具有“稀疏性”和“异质性”2、高维数据简介特点。解决的方法可以通过降维将数据从高维降到低高维数据挖掘是基于高维度的一种数据挖掘，数维，然后用低维数据的处理办法进行处理。据挖掘领域并没有明确定义说维数达到多少称之为基于回归分析的方法当中中正则化方法是进行高维数据集，但通常认为当维数增长到使一般的数据数据挖掘的最重要方法，其主要的做法

6、就是在目标函处理明显变得异常困难时，该数据集即可认为是高维数上增加一个适当的惩罚函数，利用惩罚参数的调数据集。它和传统的数据挖掘最主要的区别在于它的节，使得最终的估计具有自动的稀疏性，从而实现变本文受南通大学杏林学院自然科学项目资助(2012K116和2012K108)(下转第147页)2014年第7期l福建电脑·9·～⋯一一一⋯～～⋯～蓐建一⋯一艘⋯鞣Uj；AeOp¨T鞋聃与实施项目教学法前本人所任教的班级相比较，探索钻研的过程，为了能学众人之长，项目完成后的基于项目教学下的教学实施取得了较好的教学效果，总结也相当重要。它应包括思路总

7、结和技巧总结。思主要表现在：路总结可以帮助学生明晰项目完成的最佳思考方法，比较项实施后实施前找到自己理论上的不足。技巧总结中，每一种方法不对教师的评价有较高的水平感觉与实际脱节管难易都应该展示给学生，再由教师与学生共同评价学生学习兴趣高、浓～一般课堂气氛十分活跃、师生交流多⋯般，师生交流少各种方法的优缺点及适用范围，这样，学生可以学到学生综合技能明显提高一般更多的操作技巧，全面吸收整个项目活动的精髓。学习内容合理开放、满足不同层次学生的需要预设的、封闭的实践证明项目教学法适合在中职学校计算机网5项目教学法在具体实践中应该注意的问题络技术

8、专业《网络管理与维护》课程教学过程中使用。在项目教学中，学习过程成为一个人人参与的创使用这种教学模式有利于学生掌握相关的知识点，同造性的实践活动，它注重的不是最终结果，而是完成时能够提高学生的合作精神，大大