改进的louvain算法及其在推荐领域的研究

《改进的louvain算法及其在推荐领域的研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、改进的算法及其在推荐领域的研究江苏大学计算机科学与通信工程学院摘要：文屮在深入研宂社区发现算法、个性化推荐技术和集群实现技术的棊础上，提出了基于叶子q区的社区发现算法和对应的t性化推设计方案。采用SeX语言，结合图计算技术在集群上实现该方案。与传统推荐技术相比，基于dlX发现的个性化推荐方法在f隹荐效率以及正确度方面都得到大幅度提升。关键词：社区发现■个性化推荐■叶子社区■算法■作者简介：夏玮男，硕士，研究方向为数据挖掘。收稿日期：zen-ez-mIrifeii^^?^rnA■MM■騸■WX$•8••^••C—■b—m

2、■—■bbEftyA—Tfca仲Abstract：K!Mi

3、b4fc9,Af*S

4、I■»9im•Cm

5、*wlmV•■li^Me",.■•■«•，jihdbmm■•■■ir^elI»mIi^lKeyword：ihbM^A

6、bmjmAwwii•"IMarferfe-e^immU：ztrwz-•)•引言简单的社会网络是指以人或团体为个体的集合，他们之间具冇某些形式的联系。人们可以把一个简单的社会网络抽象成一个关系复杂的图，其屮点集表示复杂的社会网络中的人或者团体，其中团体包括公司、学校、倶乐部、工厂等■边集表示个体之间的联系

7、，联系包括朋友、雇佣、同事等等。现实生活中的社会网络往往是很复杂的、它在简单的社会网络基础上、还包含了以人或团体为个体的集合对物品的行为信息，包括消费行为，使用行为，运输行为等等。同吋在个体形成的社会网络屮，它又有很强的结构特征。通过社区发现算法，可以从网络屮划分成多个结构紧凑的社区，社区包括一些个体、这些个体间联系频繁，而社区之间联系比较稀少。通过将现实生活中的社会网络抽象成计算机能够表示的图之后运用社区划分算法、根据图的特性将图划分成一个个联系密切的子图＜即社区〉。算法是棊于模块度的一个快速算法，用模块性对社区划分

8、的质量进行衡量，如果模块性的值越大，说明社区划分的质量越高。并行化后的算法在分布式环境下进行多次迭代，每次迭代需要同步更新多个节点的信息、即根据上一次迭代中邻居节点的信息来更新木次迭代中节点的信息、从而充分发挥高并发性的优势。本文中优化的算法是在并行化的算法基础上对初始边权的计算方面的重新定义。U.wfa算法初始的边权默认为I。以电子商务网络为例，它将复杂的网络结构划分为买家集合和商品集合，买家集合中的买家对其拥有的商品产生行为＜如购买＞，同时买家与买家之间也存在联系＜如好友关系＞。在这种情况下、只要买家之间存在联系、

9、那么他们之间的联系权值为L而忽略了买家作为个体对拥有项目1如商品＞偏爱程度的差异。这样的结果只会导致社区划分结果的不准确性，从而进一步影响棊于社区划分结果产生的推荐效果。本文着重研宄了社会网络中社区发现方法，首先对社会网络的用户集合抽象成其次对CM■边的初始权重新计算生成新的然后在集群中运行社区发现算法产生社区划分结果、最后再运用和关的推荐技术，从而形成一个高性能、高准确率的推荐、满足用户的个性化的需求。I改进的Les算法叶子社区思想本文借鉴文献II屮不用计算△，直接将叶子节点要划分到与相邻节点所在的社区中的思想提出基

10、于叶子社区剪枝策略的算法：叶子社区算法思想：＜1＞从过滤出叶子节点保存到MeuM。G＞从•中取出叶子节点并划归到与其相连节点所在的社区喏叶子节点没有相邻节点＞那么该叶子节点为一个单独社区＞_，形成一个叶子社区。O＞压缩叶子社区成一个节点，计算叶子社区相邻节点的模块度变化并记录△9最大的那个邻居节点、如果则把最大的那个邻居节点分配给叶子社区。＜4）重复步骤O＞,直到更新该叶子社区中节点的«＞对每个屮的节点，判断是否更新，如果未更新，重复步骤＜2＞-＜4＞操作。*＞Mk-uM过滤出己经更新过vAh»的点，形成一个新的重复步

11、骤11＞-«＞直到lMuiM节点为空。对比可见、叶子社区的■算法极大地减少了重复计算、没有了之前计算耗时较多的是最底一层的社区划分，只是少量的计算叶子社区与相邻节点的模块度，由点及面，逐步进行社区划分。aUfiuJi算法边权值重新计算传统的社会网络在运用算法吋，默认两个个体之间联系的权值为L而忽略丫用户对物品行为的影响，导致社区划分结果的不准确性。如图I所示有4个用户么■，C，其中用户^对物品«过行为，用户■对物品•TIS有过行为，用户C对物品I、■•有过行为、用户》对物品I，*有过行为。同时与■为朋友吴系、■与C为朋

12、友吴系，C与B为朋友关系。当使用算法构造进行社区划分时，汲权值为LiC权值为L»权值为I.而等之间的权值为•。虽然訧不是朋友关系，但是訧对物品都有过行为，而虽然为朋友关系，但是i■遍之间对物品的行为没有交集。可能ik跟C比SX跟i之间联系更加密切，但是传统的权值计算方式已经无法准确表达用户之间的联系。基于这样的权值计算方式而使用L