云平台下的基于项目的KNN协同过滤算法在煤炭系统中的研究与应用.pdf

《云平台下的基于项目的KNN协同过滤算法在煤炭系统中的研究与应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第32卷第5期煤炭技术Vol-32．No．052013年5期CoalTechnologyMay，2013云平台下的基于项目的KNN协同过滤算法在煤炭系统中的研究与应用罗莉(四川交通职业技术学院，四川成都61l13o)摘要：随着互联网技术的发展，往往希望通过分析消费者已有的历史数据，推荐消费者可能感兴趣的产品，并进一步取得更好的销售记录。煤炭系统中希望通过分析用户的消费记录，从而推荐给用户潜在的煤炭产品，提高煤炭的销售量。基于用户协同过滤算法被广泛地应用在煤炭推荐系统中，基于项目的KNN协同过滤算法是通过

2、分析产品之间的相似性完成聚类并推荐。传统的基于项目的KNN协同过滤算法对现有的海量规模的煤炭系统中的销售记录数据不能高效、快速地完成推荐工作。文章基于海量规模数据，提出了基于MapReduce的分布式、基于项目的KNN协同过滤算法。通过实验结果表明，文中提出的算法具有很高的加速比，并且，具有很好的可扩展性。关键词：协同过滤；KNN，MapReduce；海量数据；煤炭产业中图分类号：TP301．6；TP311．13文献标识码：A文章编号：1008—8725(2013)05—0193—03Researcha

3、ndApplicationofCloudPlatformBasedonKNNCollaborativeFilteringAlgorithminCoalSystemLU0Li(SichuanVocationalandTechnicalCollegeofCommunication，Chengdu611130，China)Abstract：Withthedevelopmentofinternettechnology，weusuallyhopetoconsumerhistoryrecordsandrecomme

4、nderthepossibleinterestedproductstotheconsumers，andobtainbettersalerecords．Incoalsystem，theyhopetorecommendtouserswiththepotentialcoalproductsthroughanalyzingusersconsumingrecordS．CollaborativefilteringalgorithmiswidelyusedinCoalRecommendationSystemandit

5、em—basedKNNcollaborativefilteringalgorithmcompletesclusteringandrecommendationthroughanalyzingthesimilarityoftheitems．Traditionalitem—basedKNNcollaborativefilteringalgorithmcouldnotdealwithhugescalecoalsaledataeffectivelytocompleterecommendationwork．Inth

6、ispaper，basedonlargescaledata，weproposeadistributeditem——basedKNNcollaborativefilteringalgorithmonMapReducecloudcomputingplatform．Theexperimentalresultsshowthatthealgorithminthispaperhashighspeed—up，andgoodscalability．Keywords：collaborativefiltering；KNN；

7、MapReduce；largescaledata；coalsystem提出的算法具有很高的加速比，并且有很好的可扩展性。0引言1基于项目的KNN算法随着互联网商业网站的发展，大规模电子商务网基于项目的KNN算法是通过使消费者对商品的站每天都有大量的消费记录，商务网站通过这些消费购买项目频度，针对不同消费者测试项目之问的相似历史记录，分析消费者兴趣，并做出有效的商品推荐，度，并对消费者进行商品的推荐。下面，对该算法进行以促使消费者购买更多的商品，从而商家获得更大的详细地描述。利益。在煤炭产业系统中，也逐渐

8、地使用电子商务销售(1)使用矩阵表示消费者购买记录，如式(1)所示。产品，煤炭产业希望通过分析电子商务的销售记录，分其中，含有m个消费者，个商品，每行表示某一消费析用户潜在感兴趣的产品，从而提高煤炭系统的销售者的消费记录，每列表示不同消费者对该商品的购买记录。基于项目的KNN协同过滤算法被广泛应用在推频度，矩阵的每个元素表示消费者u对项目i的购荐系统中，该算法通过分析消费者项目之间的相似度，买频度。推荐给消费者可能感兴趣的商品。但是，随着数