07-01 推荐系统常用度量指标

北城余情 提交于 2020-03-03 11:27:01

推荐系统常用评估指标

在这里插入图片描述

RMSE

  加大了对预测不准的用户物品评分的惩罚。

RMSE=u,iT(ruirui^)2T \text{RMSE}=\sqrt\frac{\sum_{u,i\in{T}}(r_{ui}-\hat{r_{ui}})^2}{|T|}

# records[i] = [u,i,rui,pui] # rui是用户u对物品i的实际评分,pui是用户u对物品i的预测评分

def rmse(records):
    """计算均方根误差"""
    
    return math.sqrt(sum([(rui-pui)*(rui-pui) for u,i,rui,pui in records])/len(records))

MAE

  如果评分系统是基于整数建立的,对预测结果取整会降低MAE的误差。

MAE=u,iTruirui^T \text{MAE}=\frac{\sum_{u,i\in{T}}|r_{ui}-\hat{r_{ui}}|}{|T|}

# records[i] = [u,i,rui,pui] # rui是用户u对物品i的实际评分,pui是用户u对物品i的预测评分

def mae(records):
    """计算平均绝对误差"""
    
    return math.sqrt(sum([abs(rui-pui) for u,i,rui,pui in records])/len(records))

Precision(准确率)&Recall(召回率)

Precision=uUR(u)T(u)uUR(u) \text{Precision}=\frac{\sum_{u\in{U}}|R(u)\bigcap{T(u)}|}{\sum_{u\in{U}}|R(u)|}
其中R(u)R(u)是用户在训练集上的行为给用户作出的推荐列表。

Recall=uUR(u)T(u)uUT(u) \text{Recall}=\frac{\sum_{u\in{U}}|R(u)\bigcap{T(u)}|}{\sum_{u\in{U}}|T(u)|}
其中T(u)T(u)是用户在测试集上的行为给用户作出的推荐列表。

def precision_recall(test, N):
    """
    计算准确率和召回率
    test: 
    N: 推荐列表长度
    """
    hit = 0
    n_recall = 0
    n_precision = 0

    for user, item in test.items():
        rank = Recommend(user, N)
        hit += lenn(rank & itmes)
        n_recall += len(items)
        n_precision += N

    return [hit/(1.*n_recall), hit/(1.*n_precision)]

覆盖率

  覆盖率描述一个推荐系统对物品长尾的发掘能力。

Coverate=uUR(u)I \text{Coverate}=\frac{|\bigcup_{u\in{U}}R(u)|}{I}
其中R(u)R(u)是推荐系统给每个用户推荐一个长度为NN的物品列表。

信息熵

  信息熵可以定义覆盖率。

H=i=1np(i)logp(i) H=\sum_{i=1}^np(i)\log{p(i)}
其中p(i)p(i)是物品ii的流行度除以所有物品流行度之和。

基尼系数

  基尼系数可以定义覆盖率。基尼系数也可以查看推荐系统算法是否具有马太效应(流行更流行,不流行更不流行)。

G=1n1j=1n(2jn1)p(ij) G=\frac{1}{n-1}\sum_{j=1}^n(2j-n-1)p(i_j)
其中iji_j是按照物品流行度pp从小到大排序的物品列表中的第jj个物品。

def gini_index(p):
    """计算基尼系数"""
    j = 1
    n = len(p)
    G = 0
    
    for item, weight in sorted(p.items(), key=itemgetter(1)):
        G += (2*j-n-1)*weight

    return G / float(n-1)

多样性

  多样性描述了推荐列表中物品两两之间的不相似性。

Diversity(R(u))=1i,jR(u),ijs(i,j)12R(u)(R(u)1) \text{Diversity}(R(u))=1-\frac{\sum_{i,j\in{R(u)},i\neq{j}}s(i,j)}{\frac{1}{2}|R(u)|(|R(u)|-1)}
其中R(u)R(u)为用户uu的推荐列表,s(i,j)[0,1]s(i,j)\in[0,1]定义了物品ii和物品jj之间的相似度。

推荐系统的整体多样性定义为:
Diversity=1UuUDiversity(R(u)) \text{Diversity}=\frac{1}{|U|}\sum_{u\in{U}}\text{Diversity}(R(u))

获取各种评测指标的途径

- 离线实验 问卷调差 在线实验
用户满意度 x y o
预测准确度 y y x
覆盖率 y y y
多样性 o y o
新颖性 o y o
惊喜度 x y x

长尾分布

fi(k)=αikβifu(k)=αukβu f_i(k)=\alpha_ik^{\beta_i} \\ f_u(k)=\alpha_uk^{\beta_u}
其中fu(k)f_u(k)表示对kk个物品产生行为的用户数;fi(k)f_i(k)表示被kk个用户产生过行为的物品数。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!