论文|Sentence2Vec & GloVe 算法原理、推导与实现
万物皆可Embedding系列会结合论文和实践经验进行介绍,前期主要集中在论文中,后期会加入实践经验和案例,目前已更新: 万物皆可Vector之语言模型:从N-Gram到NNLM、RNNLM 万物皆可Vector之Word2vec:2个模型、2个优化及实战使用 Item2vec中值得细细品味的8个经典tricks和thinks Doc2vec的算法原理、代码实现及应用启发 Sentence2Vec & GloVe 算法原理、推导实与现 后续会持续更新Embedding相关的文章,欢迎持续关注「搜索与推荐Wiki」 Sentence2vec Sentence2vec 是2017年发表于ICLR(国际学习展示回忆)的一篇论文,其全称为: A Simple but tough-to-beat baseline for sentence embeddings 下面来看一下论文所介绍的内容(论文的内容比较晦涩难懂,小编水平也不高,如果不当之处,评论区留言,感谢!)。 1、概述 论文主要提出了一种无监督的,基于单词词向量计算句子embedding的方法,称之为Smooth Inverse Frequecy(SIF),使用加权平均的方法从word embedding到sentence embedding,然后再基于句子的embedding进行相似度计算