DLRM

如何加速推荐系统?这是个高价值问题

那年仲夏 提交于 2020-08-11 01:54:59
今年的ISCA中有一个Tutorial[2]和三篇论文[3-5],直接和推荐系统的加速有关。以此为起点,本文讨论一下如何加速推荐系统这个问题。推荐系统的优化和加速是一个系统性问题。本文主要围绕Facebook的一些分析和工作,后续可能进行更多的讨论。 我们每打开一个App或者访问一个网站,呈现在我们面前的内容有很大的可能就是推荐系统工作的成果。它们都是推荐系统基于用户和“商品”的各种信息(特征),对用户动作进行预测后推送给我们的。和搜索引擎根据明确的搜索请求返回结果不同,推荐系统是主动去”猜“用户”想要什么“,能够在”信息过载“的情况下,推送最合适的内容,这是一个好的推荐系统能够给用户带来的最大的价值。 而对”商品“提供者来说,推荐系统的价值和重要性也是不言而喻的。引用王喆老师的《深度学习推荐系统》[6]中的例子,2019年天猫”双11“的成交额是2684亿元,而天猫的推荐系统实现了首页商品的个性化推荐,其目标是提高转化率和点击率。假设推荐系统进行了优化, 整体的转化率提高1%,那么增加的成交额大约就是26.84亿 。有这么明确的收益,我们不难想象互联网巨头优化推荐系统的动力。另一个例子是,在ISCA的tutorial[2]中,百度的同学介绍他们为什么在广告推荐系统中使用一个巨大的模型(10TB)而不能进行压缩的时候,给出的原因就是,尝试压缩后的模型会 导致0.1%左右的AUC

Github上10个深度学习开源项目,程序员:涨经验的时候到了

怎甘沉沦 提交于 2019-12-06 14:31:05
深度学习背后的主要思想是人工智能应该从大脑中汲取灵感。 这种观点引申出了“神经网络”术语,大脑包含数十亿个神经元,它们之间有成千上万的连接;在许多情况下,深度学习算法类似于大脑,因为大脑和深度学习模型都涉及大量的神经网络。 单个的计算单元(神经元)并不智能,但是当它们彼此交互时会变得智能。 今天给大家推荐10个Gihub上的有趣且高星的开源项目 ,对于开发者来说,希望你能找到一个激发你灵感的有趣项目。 1、UGATIT: 具有图像到图像转换的自适应层实例规范化的无监督生成网络。——Github:3346星 2、Dlrm: 深度学习推荐模型(DLRM)的实现。——Github:1318星 3、实时语音克隆(Real-Time-Voice-Cloning): 在5秒内克隆语音以实时生成任意语音。——Github:4546星 4、RAdam: 适应性学习率的方差及超越。——Github:1902星 5、TensorNetwork: 一个用于轻松高效地处理Tensor网络的库。——Github:783星 6、威震天-LM(Megatron-LM): 正在进行的大规模培训变压器语言模型的研究,包括:BERT&GPT-2。——Github:911星 7、Python_autocomplete: 用于python自动完成的简单神经网络。——Github:621星 8、现实神经网络-对话-头部模型

Github上10个深度学习开源项目,程序员:涨经验的时候到了

戏子无情 提交于 2019-12-06 11:31:32
深度学习背后的主要思想是人工智能应该从大脑中汲取灵感。 这种观点引申出了“神经网络”术语,大脑包含数十亿个神经元,它们之间有成千上万的连接;在许多情况下,深度学习算法类似于大脑,因为大脑和深度学习模型都涉及大量的神经网络。 单个的计算单元(神经元)并不智能,但是当它们彼此交互时会变得智能。 今天给大家推荐10个Gihub上的有趣且高星的开源项目 ,对于开发者来说,希望你能找到一个激发你灵感的有趣项目。 1、UGATIT: 具有图像到图像转换的自适应层实例规范化的无监督生成网络。——Github:3346星 2、Dlrm: 深度学习推荐模型(DLRM)的实现。——Github:1318星 3、实时语音克隆(Real-Time-Voice-Cloning): 在5秒内克隆语音以实时生成任意语音。——Github:4546星 4、RAdam: 适应性学习率的方差及超越。——Github:1902星 5、TensorNetwork: 一个用于轻松高效地处理Tensor网络的库。——Github:783星 6、威震天-LM(Megatron-LM): 正在进行的大规模培训变压器语言模型的研究,包括:BERT&GPT-2。——Github:911星 7、Python_autocomplete: 用于python自动完成的简单神经网络。——Github:621星 8、现实神经网络-对话-头部模型