基于聚类算法的大数据样本集优化的研究

《基于聚类算法的大数据样本集优化的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP302.7单位代码：10190研究生学号：201307010密级：无硕士学位论文基于聚类算法的大数据样本集优化的研究ResearchonOptimizationofBigDataSampleBasedonClusteringAlgorithm研究生姓名：孙佳专业：计算机科学与技术指导教师姓名：胡明指导教师职称：教授2016年4月长春工业大学硕士学位论文原创性声明本人郑重声明：所呈交的硕士学位论文，《基于聚类算法的大数据样本集优化的研究》是本人在指导教师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，

2、本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。作者签名：年月日长春工业大学硕士学位论文版权使用授权书本学位论文作者及指导教师完全了解“长春工业大学硕士学位论文版权使用规定”，同意长春工业大学保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权长春工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。作者签名：年月日校内

3、指导教师签名：年月日硕士学位论文摘要大数据已成为继云计算之后信息技术领域中研究热点之一。如何有效的分析和处理这些呈爆炸式增长的数据并提取其中有价值的信息，是当前亟待解决的问题。然而，现有的数据挖掘算法在处理如此巨量的数据信息时往往存在很大的局限性，不仅会消耗大量的物理资源，并且获得挖掘结果的质量也不高。针对这些问题，降低数据规模、对数据进行抽样分析是解决该问题的有效途径之一。当数据增加到一定规模时，其中所蕴含的知识和模式并不是成指数增长，而是逐渐趋于平稳，所以如何通过抽样算法在降低数据规模的同时保证原数据的分布特点，使更多的数据挖

4、掘算法能够应用于大数据的分析处理，具有很重要的研究意义。本文首先对数据挖掘中抽样算法的国内外研究成果进行了汇总，通过对这些成果的深入研究，发现了当前数据挖掘中抽样算法的特性以及存在的问题。一方面，传统的抽样算法虽然能够解决数据规模问题，但是当数据集并不是均匀分布时，就可能导致抽样效率低、样本代表性差等问题。另一方面，也有很多数据挖掘算法是采取将抽样算法融入自身的算法改进中来应对大数据问题，然而这种算法改进只针对自身算法有效而不能适用于其他算法，存在一定的局限性。针对上述问题，本文提出了一种基于聚类算法的大数据抽样算法BKMS。首先

5、对大数据的聚类方法进行了分析，然后对聚类算法中的K-means算法进行深入研究，针对K-means算法对初始聚类中心敏感的缺陷提出了一种改进策略。通过计算每个候选点临域内所有数据点的重心作为初始聚类中心，旨在选取的每个初始聚类中心相距较远避免算法陷入局部最优，使得聚类结果更加全面准确。同时引入MapReduce并行处理框架对算法进行实现，使算法更快更高效。在此基础上提出了抽样算法BKMS，该算法基于改进的K-means算法将数据进行分类，并引入最优样本容量的确定方法，在大数据环境下，对每一类别的数据分别进行抽取，在降低问题规模的同

6、时能够保证数据信息的分布特点。最后对算法进行了验证分析，实验结果表明本文提出的抽样方法能够抽取到更具有代表性的样本集，并且具有更少的运行时间。关键词：大数据抽样K-meansMapReduceI硕士学位论文AbstractAtpresent,bigdatahasbecomeoneofthehotspotsininformationtechnologyfieldaftercloudcomputing.Howtoanalyzeandprocesstheexplosivegrowthofthedataeffectivelyandtryt

7、oextractvaluableinformationrequiretobesolvedimmediately.However,theexistingdataminingalgorithmshaveobviouslimitationswhendealingwithsuchhugeamountofdata.Itwillnotonlyconsumehugetonsofphysicalresources,butalsogetlow-qualityresults.Therefore,reducingthedatasizeandmaking

8、samplinganalysisofthedataisregardedasoneoftheefficientapproachestosolvetheseproblems.Whenthedataincreasestoacertainsize,thec