推荐算法之推荐矩阵

《推荐算法之推荐矩阵》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

推荐算法之推荐矩阵每个人都会有这样的经历：当你在电商网站购物时，你会看到天猫给你弹出的“和你买了同样物品的人还买了XXX”的信息；当你在SNS社交网站闲逛时，也会看到弹出的“你可能认识XXX“的信息；你在微博添加关注人时，也会看到“你可能对XXX也感兴趣”；等等。所有这一切，都是背后的推荐算法运作的结果。最经典的关联规则算法是大名鼎鼎的Apriori算法，源自一个超市购物篮的故事：啤酒总是和尿布一起被购买。有兴趣的可以去看看。本章我们来学习一种最简单的推荐算法：推荐矩阵。虽然简单，但是却被广泛应用着。1、推荐矩阵为描述方便，以下我们以“购物推荐”作为背景进行介绍。假设你有个卖商品的网站，拥有每个用户购买每个物品的数据。现在，某个用户A购买了商品a，如何向他推荐他最有可能感兴趣的其他商品呢？为达到这个目的，通常有两种思路：1：寻找与该用户（A）购买习惯最为相似的用户（B)，认为B购买的物品，A也最有可能感兴趣。这种情况适用于A已经购买过一些商品，算法能够根据A已经购买的物品作为特征，去匹配与A购买习惯最相近的用户。这种方式是以用户为中心的，推荐出来的商品b可能跟商品a风流马不相及，因此更适合于类似SNS和微博这样的平台，根据用户的已知兴趣集合来向其推荐其他具有相同兴趣的用户；2：寻找与商品（a）最为相似的商品（b)，认为A既然对a感兴趣，也有可能对b感兴趣；这种情况是以商品为中心的，因此更适合购物推荐这样的场景。 而要计算两个向量“最相似”的程度，有很多方法，如KNN中用到的欧式距离，或者海明距离等。但是欧式距离并不适用于本场合。比如用户A购买了5个商品a，5个商品b，用户B购买了5个商品a，0个商品b，用户C购买了10个商品a，10个商品b，用距离来度量的结果必然是A与B更近。而实际上A跟C是极其相似的。因此这里，我们介绍皮尔森相关系数(Pearsoncorrelationcoefficient)。其定义如下：

1该系数定义的是两个向量的线性相关程度，取值范围为[-1,+1]，0表示线性无关，绝对值越大线性相关程度越大，正/负表示正/负线性相关。简单的给几个例子：[1,2,3]，[4,5,6]：1[1,2,3]，[6,5,4]：-1[1,2,3]，[1,2,4]：0.98[1,2,3]，[-1,-11,-111]：-0.9因此，我们将构造一个矩阵来描述用户购买商品的情况，该矩阵以用户为行、商品为列。要计算某个商品a最相似的商品，我们通过计算商品a所在的列与其他的每一列的皮尔森相关系数，找出最大的前N个推荐给用户即可。2、测试数据数据为一份简单的购物清单，每一行对应着用户id——商品id这样的数据对。如下图所示：[plain] viewplaincopy1.1 1 3  2.1 2 3  3.1 3 3  4.1 4 1  5.2 1 1  6.2 2 1  7.2 3 1  8.2 4 1  9.......  如第一行对应着用户1购买了商品1，数量为3。可以认为该数据是一个稀疏矩阵。该矩阵可视化出来结果如下：

2上图中每一行代表一个用户，每一列代表一个商品，对应的颜色不同表示购买的数量不同，深蓝色表示购买数为0。从图上很容易看出，用户0与用户1同时购买了商品0，1，2，仅仅数量不一样；而商品0和商品1售出的情况一模一样——只被用户0，1，3，8购买过，看上去就像是捆绑销售的一般。3、代码与分析[python] viewplaincopy1.# -*- coding: utf-8 -*-  2.from matplotlib import pyplot  3.import scipy as sp  4.import numpy as np  5.from matplotlib import pylab  6.from sklearn.datasets import load_files  7.from sklearn.cross_validation import train_test_split  8.from sklearn.metrics import precision_recall_curve, roc_curve, auc  9.from sklearn.metrics import classification_report  10.  11.import time  12.from scipy import sparse  13.  

31.start_time = time.time()  2.  3.#计算向量test与data数据每一个向量的相关系数，data一行为一个向量  4.def calc_relation(testfor, data):  5.    return np.array(  6.        [np.corrcoef(testfor, c)[0,1]  7.         for c in data])  8.  9.# luispedro提供的加速函数:  10.def all_correlations(y, X):  11.    X = np.asanyarray(X, float)  12.    y = np.asanyarray(y, float)  13.    xy = np.dot(X, y)  14.    y_ = y.mean()  15.    ys_ = y.std()  16.    x_ = X.mean(1)  17.    xs_ = X.std(1)  18.    n = float(len(y))  19.    ys_ += 1e-5  # Handle zeros in ys  20.    xs_ += 1e-5  # Handle zeros in x  21.    return (xy - x_ * y_ * n) / n / xs_ / ys_  22.  23.          24.#数据读入  25.data = np.loadtxt('1.txt')  26.x_p = data[:, :2] # 取前2列  27.y_p = data[:,  2] # 取前2列  28.x_p -= 1          # 0为起始索引  29.y = (sparse.csc_matrix((data[:,2], x_p.T)).astype(float))[:, :].todense()  30.nUser, nItem = y.shape  31.  32.  33.#可视化矩阵  34.pyplot.imshow(y, interpolation='nearest')  35.pyplot.xlabel('商品')  36.pyplot.ylabel('用户')  37.pyplot.xticks(range(nItem))  38.pyplot.yticks(range(nUser))  39.pyplot.show()  40.  41.  42.#加载数据集，切分数据集80%训练，20%测试  43.x_p_train, x_p_test, y_p_train, y_p_test = \  44.          train_test_split(data[:,:2], data[:,2], test_size = 0.0)      

41.x = (sparse.csc_matrix((y_p_train, x_p_train.T)).astype(float))[:, :].todense()  2.      3.  4.Item_likeness = np.zeros((nItem, nItem))  5.  6.#训练      7.for i in range(nItem):  8.    Item_likeness[i] = calc_relation(x[:,i].T, x.T)  9.    Item_likeness[i,i] = -1          10.          11.for t in range(Item_likeness.shape[1]):  12.    item = Item_likeness[t].argsort()[-3:]  13.    print("Buy Item %d will buy item %d,%d,%d "%  14.          (t, item[0], item[1], item[2]))  15.  16.print("time spent:", time.time() - start_time)  输出如下：BuyItem0,recommonditem3,2,1 BuyItem1,recommonditem3,2,0 BuyItem2,recommonditem3,0,1 BuyItem3,recommonditem0,1,5 BuyItem4,recommonditem6,7,8 BuyItem5,recommonditem0,1,3 BuyItem6,recommonditem4,7,8 BuyItem7,recommonditem4,8,6 BuyItem8,recommonditem4,7,6 timespent:1.9111089706420898代码中，我们计算了每一个Item与其他所有item的相关性，然后排序选取最大的前3个作为推荐。最需要注意的是，真正的应用中，大量的用户与大量的商品之间建立矩阵，计算量是巨大的。从皮尔森相关系数的定义来看，其计算量也是巨大的。因此代码中给了luispedro提供的一种计算相关系数的替换函数，效率能提高不少。