推荐系统

07-01 推荐系统常用度量指标

北城余情 提交于 2020-03-03 11:27:01
文章目录 推荐系统常用评估指标 RMSE MAE Precision(准确率)&Recall(召回率) 覆盖率 信息熵 基尼系数 多样性 获取各种评测指标的途径 长尾分布 推荐系统常用评估指标 RMSE   加大了对预测不准的用户物品评分的惩罚。 RMSE = ∑ u , i ∈ T ( r u i − r u i ^ ) 2 ∣ T ∣ \text{RMSE}=\sqrt\frac{\sum_{u,i\in{T}}(r_{ui}-\hat{r_{ui}})^2}{|T|} RMSE = ∣ T ∣ ∑ u , i ∈ T ​ ( r u i ​ − r u i ​ ^ ​ ) 2 ​ ​ # records[i] = [u,i,rui,pui] # rui是用户u对物品i的实际评分,pui是用户u对物品i的预测评分 def rmse ( records ) : """计算均方根误差""" return math . sqrt ( sum ( [ ( rui - pui ) * ( rui - pui ) for u , i , rui , pui in records ] ) / len ( records ) ) MAE   如果评分系统是基于整数建立的,对预测结果取整会降低MAE的误差。 MAE = ∑ u , i ∈ T ∣ r u i − r u i ^ ∣ ∣ T ∣

【推荐系统】【论文阅读笔记】Improving Content-based and Hybrid Music Recommendation using Deep Learning

有些话、适合烂在心里 提交于 2020-03-03 07:26:27
原文作者:Xinxi Wang and Ye Wang 在歌曲相关因素中,音乐音频内容是非常重要的。在大多数情况下,我们喜欢/不喜欢一首歌,这是因为它的音频内容具有一些特征,例如人声、旋律、节奏、音色、体裁、乐器或歌词。没有听内容,我们对这首歌的质量几乎一无所知,更不用说我们是否喜欢它了。因为音乐内容在很大程度上决定了我们的偏好,所以内容应该能够为推荐提供良好的预测能力。 然而,现有的音乐推荐者对音乐音频内容的依赖往往会产生不尽如人意的推荐效果。它们都遵循两个阶段的方法:提取传统的音频内容特征,如梅尔倒谱系数(MFCC),然后使用这些特征预测用户偏好。然而,传统的音频内容特征不是为音乐推荐或与音乐相关的任务而创建的(例如,MFCC最初用于语音识别)。在发现他们也能描述诸如体裁、音色和旋律等高级音乐概念之后,他们才开始关注音乐推荐。使用这些特性可能会导致推荐性能在以下两个方面下降。1.由于所谓的语义鸿沟,高层概念无法准确描述。2.即使特征描述是准确的,高级的概念对于用户的音乐偏好也可能不是必需的。因此,传统功能可能无法考虑与音乐推荐相关的信息。 我们认为,一种有效的基于内容的音乐推荐方法的关键是一套好的内容特征。人工获取这样的特征是可能的,但费时费力。一个更好的方法是将现有的两阶段方法结合到一个统一的自动化过程中:自动和直接从音频内容中学习特征,以最大限度地提高推荐性能

基于用户的协同过滤推荐算法原理和实现

依然范特西╮ 提交于 2020-03-03 00:13:29
在推荐系统众多方法中,基于用户的协同过滤推荐算法是最早诞生的,原理也较为简单。该算法1992年提出并用于邮件过滤系统,两年后1994年被 GroupLens 用于新闻过滤。一直到2000年,该算法都是推荐系统领域最著名的算法。 本文简单介绍基于用户的协同过滤算法思想以及原理,最后基于该算法实现园友的推荐,即根据你关注的人,为你推荐博客园中其他你有可能感兴趣的人。 基本思想 俗话说“物以类聚、人以群分”,拿看电影这个例子来说,如果你喜欢《蝙蝠侠》、《碟中谍》、《星际穿越》、《源代码》等电影,另外有个人也都喜欢这些电影,而且他还喜欢《钢铁侠》,则很有可能你也喜欢《钢铁侠》这部电影。 所以说,当一个用户 A 需要个性化推荐时,可以先找到和他兴趣相似的用户群体 G,然后把 G 喜欢的、并且 A 没有听说过的物品推荐给 A,这就是基于用户的系统过滤算法。 原理 根据上述基本原理,我们可以将基于用户的协同过滤推荐算法拆分为两个步骤: 1. 找到与目标用户兴趣相似的用户集合 2. 找到这个集合中用户喜欢的、并且目标用户没有听说过的物品推荐给目标用户 1. 发现兴趣相似的用户 通常用 Jaccard 公式或者余弦相似度计算两个用户之间的相似度。设 N(u) 为用户 u 喜欢的物品集合,N(v) 为用户 v 喜欢的物品集合,那么 u 和 v 的相似度是多少呢: Jaccard 公式: 余弦相似度:

win7升级win10系统

我怕爱的太早我们不能终老 提交于 2020-03-02 11:09:18
写一个无关技术的 昨晚把电脑升级了一下win10系统 因为博主是一个比较念旧的人,没那么容易接受新事物 感觉win7用的也挺舒服,就想13年我还在用xp系统,一直拖到14年才升级。 主要是担心重装系统的一些列操作之后,系统的环境和开发环境都要再配置一遍 这个虽然说很简单,但是有点繁琐。 在一系列的某度之后,发现事情貌似不是我想的那样,升级很简单,东西也不会变。 简单说一下怎么升级。 一、从控制面板去检查更新 之前由于嫌烦就关了自检 不太推荐这个,感觉也是慢的一批 二、下载升级助手 别下载错了认准官方标志 https://support.microsoft.com/zh-cn/help/3159635/windows-10-update-assistant 然后就是打开助手,按部就班的升级就可以了,简直就是傻瓜式升级 大概我用了三个小时 左右,中途包含下载win10的升级包,这个和网速挂钩 大概重启几次之后就升级好了,开机密码不变。 只不过wifi密码电脑不记得了,不知道怎么回事 桌面布局也没什么变化,图标也没丢,一会我再瞅瞅还有什么问题不。 都是拖延症害了我,原来升级这么简单-.- 如果有出现啥问题的,自行根据错误代码某度就好,一般问题都不难 我是完美升级哈哈 来源: CSDN 作者: Beyond 链接: https://blog.csdn.net/u012998306

人工智能教程 - 学科基础课程2.6 - 机器学习导论 16.推荐系统,基于内容推荐算法,协同过滤

冷暖自知 提交于 2020-02-28 22:10:53
推荐系统 是机器学习中的一个重要的应用。推荐系统的特征对于学习算法的性能有很大的影响。 预测电影评分例子: 有 5 部电影和 4 个用户,要求用户为电影打分。 基于内容的推荐算法 content based recommendations 每部电影都有两个特征 x 1 , x 2 x_1,x_2 x 1 ​ , x 2 ​ 可以根据特征和参数,生成空缺值的预测值 最优解目标对象 协同过滤 collaorative filtering 可以进行特征学习 feature learning 协同过滤优化算法 代价函数 学习电影的特征: 给定x的话,能估算出 θ \theta θ ;而给定 θ \theta θ 的话,能估算出x。这就有点儿像“先有鸡,还是先有蛋?” 来源: CSDN 作者: KuFun人工智能 链接: https://blog.csdn.net/fsdaewrq/article/details/104554365

大数据项目之电商推荐系统视频教程

删除回忆录丶 提交于 2020-02-27 16:23:20
目录:/80 尚硅谷大数据项目之电商推荐系统 ┣━━4.视频 ┃ ┣━━01 电商推荐系统_课程简介.wmv ┃ ┣━━02 电商推荐系统_项目系统设计(上).wmv ┃ ┣━━03 电商推荐系统_项目系统设计(中).wmv ┃ ┣━━04 电商推荐系统_项目系统设计(下).wmv ┃ ┣━━05 电商推荐系统_项目框架搭建.wmv ┃ ┣━━06 电商推荐系统_数据加载模块(上).wmv ┃ ┣━━07 电商推荐系统_数据加载模块(中).wmv ┃ ┣━━08 电商推荐系统_数据加载模块(下).wmv ┃ ┣━━09 电商推荐系统_统计推荐模块(上).wmv ┃ ┣━━10 电商推荐系统_统计推荐模块(下).wmv ┃ ┣━━11 电商推荐系统_基于LFM的离线推荐模块(上).wmv ┃ ┣━━12 电商推荐系统_基于LFM的离线推荐模块(中).wmv ┃ ┣━━13 电商推荐系统_基于LFM的离线推荐模块(下).wmv ┃ ┣━━14 电商推荐系统_ALS模型评估和参数选择(上).wmv ┃ ┣━━15 电商推荐系统_ALS模型评估和参数选取(下).wmv ┃ ┣━━16 电商推荐系统_实时推荐模块(一).wmv ┃ ┣━━17 电商推荐系统_实时推荐模块(二).wmv ┃ ┣━━18 电商推荐系统_实时推荐模块(三).wmv ┃ ┣━━19 电商推荐系统_实时推荐模块(四)

推荐系统-文章汇总

南楼画角 提交于 2020-02-27 09:25:54
今日头条算法构架师:3亿用户每天的头条各不一样,靠数据是怎么做到的? https://mp.weixin.qq.com/s?__biz=MzUyMDQ5NzI5Mg==&mid=2247494530&idx=1&sn=72e1943351654c03e4ce6404f2bc4270&source=41#wechat_redirect 今日头条、抖音推荐算法原理全文详解! https://mp.weixin.qq.com/s/NOLOm4VBohR2QlJVuCVnVw CTR预估问题没有“银弹”,比模型结构更重要的是什么? https://mp.weixin.qq.com/s/MhW2RDgFv58Yt4cvD2YvHg 沈国阳:美团推荐系统整体框架与关键工作 https://mp.weixin.qq.com/s/obLnWqxoGJh6gpfUpewbuw 实时推荐系统的3种方式 https://mp.weixin.qq.com/s/U-xkJ7-Icp9fZfTS4kQ2sg 亿级规模的 Feed 流系统,如何轻松设计? https://segmentfault.com/a/1190000020185647 来源: https://www.cnblogs.com/yaoyaohust/p/11158004.html

【推荐系统实践】协同过滤

我怕爱的太早我们不能终老 提交于 2020-02-24 22:54:35
1. 推荐系统常用评价指标 主要讨论的是topN推荐 准确率,召回率,覆盖率(有多少物品被推荐出来了),流行度(推荐物品的流行度,计算平均流行度对每个物品的流行度取对数,因为满足指数分布) 2. 协同过滤 2.1 user base 计算两两用户的相似度,复杂度为O(U*U) 计算优化点:建立物品-用户的倒排表,物品下,每两个用户+1 关键参数K:参考最相似的k个用户的打分,k越大,越接近于热点,流行度越高,覆盖率越低,但准确率和召回率不一定 算法优化点:惩罚热门,原来分子是1的加和,改成1/log(1+物品i的热度) 2.2 item base 参数k:对指标没有明显规律(?) 对活跃的用户进行惩罚:和上面一样 哈利波特问题,对热门物品进行惩罚:所有物品都与哈利波特相似,分母加上(1-a) a指数 物品相似度归一化(重要):对相似矩阵,按列除以每列最大值。一般来说,热门门类的物品相似度比较大,不归一化的话,容易推荐出热门物品 2.3 对比 UserCF更加社会化,反应了所在群体的喜好 itemCF更加个性化,反映了自己的兴趣 新闻推荐中,兴趣比较粗粒度,热点大家都爱看,并且新闻更新很快,基本都用userCF 在电影,书籍推荐中,兴趣比较精细 3. 隐语义模型 topN推荐的关键问题:选取负样本 一般来说,正负样本数量一样,选那些热门但是没有行为的物品 正负样本比是关键参数

推荐系统的基本概念及其在各个领域的应用

五迷三道 提交于 2020-02-24 21:20:07
初学推荐系统相关内容,写写自己读《推荐系统实践》的读书笔记。 推荐系统: 对用户来说推荐系统帮助用户发现自己想要的商品,对于商品来说找到对其感兴趣的用户,前者例如电影,歌曲的推荐,后者例如广告推送。 产生推荐系统主要是因为信息过载,用户难以从大量信息中发现自己想要的信息。 对于物品来说,在线上购物网站可以包含大量的商品,如何发觉长尾商品,并且将这些长尾商品推荐给用户,是推荐系统的重要作用。 个性化推荐系统主要以下场景: 电子商务 ,例如亚马逊,淘宝。 商品推荐页主要包括的内容有(1)推荐结果的标题,缩略图以及其他内容属性,(2)推荐结果的评分(3)推荐理由。 亚马逊的推荐有以下三种:(1)基于用户之前的行为,例如购买过武侠小说,会继续推荐别的武侠小说。 (2)基于用户的好友关系,例如亚马逊拿到用户的Facebook的好友,然后向用户推荐他的好友都买了啥 (3)基于物品的相似度,例如购买了该商品的用户还买了哪些商品。 电影和视频推荐: 这种和电子商务不太一样,这种用户通常只是想看电影,但是并没有很明确的需求要看那部电影甚至是哪种类型的电影。 从Netflix的推荐理由来看,它们的算法和亚马逊的算法类似,也是基于物品的推荐算法,即给用户推荐和他们曾经喜欢的电影相似的电影。 音乐电台: 个性化推荐的成功应用需要两个条件。第一是存在信息过载

多模型融合推荐算法

China☆狼群 提交于 2020-02-24 06:13:27
常见的多模型融合算法 多模型融合算法可以比单一模型算法有极为明显的效果提升。但是怎样进行有效的融合,充分发挥各个算法的长处?这里总结一些常见的融合方法: 1. 线性加权融合法 线性加权是最简单易用的融合算法,工程实现非常方便,只需要汇总单一模型的结果,然后按不同算法赋予不同的权重,将多个推荐算法的结果进行加权,即可得到结果: 是给用户(user)推荐商品(item)的得分, 是算法K的权重,是算法k得到的用户(user)对商品item的推荐得分。这种融合方式实现简单,但效果较差。因为线性加权的参数是固定的,实践中参数的选取通常依赖对全局结果升降的总结,一旦设定后,无法灵活的按照不同的推荐场景来自动变换。比如如果某个场景用算法A效果较好,另外一种场景用算法B效果较好,线性融合的方式在这种情况下不能取得好的效果。为了解决这个问题,达观数据进行了改进,通过引入动态参数的机制,通过训练用户对推荐结果的评价、与系统的预测是否相符生成加权模型,动态的调整权重使得效果大幅提升。 2. 交叉融合法 交叉融合常被称为Blending方法,其思路是在推荐结果中,穿插不同推荐模型的结果,以确保结果的多样性。 这种方式将不同算法的结果组合在一起推荐给用户。 交叉融合法的思路是“各花入各眼”,不同算法的结果着眼点不同,能满足不同用户的需求,直接穿插在一起进行展示