基于云计算与非负矩阵分解的数据分级聚类

《基于云计算与非负矩阵分解的数据分级聚类》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。基于云计算与非负矩阵分解的数据分级聚类　　摘要：为了提高传统数据聚类算法在大数据挖掘应用中的性能，借助云计算的相关技术，并结合非负矩阵分解方法设计并实现了一种并行的数据层次聚类算法。该算法采用MapReduce编程平台，利用Hadoop的HDFS存储大容量的电信运营商数据；描述了MapReduce的数据分级聚类并行处理的工作机制与流程；通过Map和Reduce这种主?从编程模式很方便地使数据分级聚类的子任务在H

2、adoop的PC集群上运行。实验结果表明，该方法比传统用于数据聚类的非负矩阵方法具有更好的运行时间与加速比，能够在可以接受的时间范围内完成电信运营商的大数据处理。　　关键词：云�算；分级聚类；MapReduce；非负矩阵分解；聚类算法；并行数据　　中图分类号：?34；文献标识码：A文章编号：1004?373X05?0056?05　　Abstract：Inordertoimprovetheperformanceoftraditionaldataclusteringmethodsonbigdataminingapplication，aparalleldatahierarchicalclus

3、teringalgorithmwasdesignedandrealizedbymeansofthecorrelationtechnologiesofcloudcomputingandnon?negativematrixfactorizationmethod.The为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修

4、学校进行培训，熟悉系统的使用和维护。MapReduceprogrammingplatformisusedinthealgorithm.TheHDFSbasedonHadoopisusedtostorethelarge?capacitydataoftelecomoperators.TheworkingmechanismandflowofdatahierarchicalclusteringbasedonMapReducearedescribedindetail.Themaster?slaveprogrammingmodebasedonMapandReducemakesthesubtasko

5、fdatahierarchicalclusteringoperatingonPCclustersbasedonHadoopeasily.Theexperimentalresultsshowthat，incomparisonwiththetraditionalnon?negativematrixmethodusedindataclustering，theproposedmethodhasshorterruntimeandsmallerspeedupratio，andcanrealizethebigdataprocessingoftelecomoperatorwithintheaccept

6、abletime.　　Keywords：cloudcomputing；hierarchicalclustering；MapReduce；non?negativematrixfactorization；clusteringalgorithm；paralleldata　　0引言为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到

7、县教师进修学校进行培训，熟悉系统的使用和维护。　　近年来移动互联网与物联网的急速发展积累了大量的数据资源，这些海量数据中蕴藏着大量可以应用于个性化商务的有效信息[1?3]，然而传统的数据挖掘技术是主要应用于中小规模数据中的信息挖掘，为了从海量数据资源中挖掘出有用信息，必须采用新型的数据挖掘技术，其中基于多维数据相似性的数据聚类作为一种新型数据挖掘技术正好解决上述问题。　　非负矩阵分解NMF方法在多维数据相似性的数据聚类、文本聚类、社交网络聚类中