softmax

原文地址：https://www.cnblogs.com/guoyaohua/p/9240336.html 2013年，Google开源了一款用于词向量计算的工具——word2vec，引起了工业界和学术界的关注。首先，word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；其次，该工具得到的训练结果——词向量（word embedding），可以很好地度量词与词之间的相似性。随着深度学习（Deep Learning）在自然语言处理中应用的普及，很多人误以为word2vec是一种深度学习算法。其实word2vec算法的背后是一个浅层神经网络。另外需要强调的一点是，word2vec是一个计算word vector的开源工具。当我们在说word2vec算法或模型的时候，其实指的是其背后用于计算word vector的CBoW模型和Skip-gram模型。很多人以为word2vec指的是一个算法或模型，这也是一种谬误。接下来，本文将从统计语言模型出发，尽可能详细地介绍word2vec工具背后的算法模型的来龙去脉。 Statistical Language Model 在深入word2vec算法的细节之前，我们首先回顾一下自然语言处理中的一个基本问题： 如何计算一段文本序列在某种语言下出现的概率？之所为称其为一个基本问题，是因为它在很多NLP任务中都扮演着重要的角色。 例如

论文地址： Unsupervised Feature Learning via Non-Parametric Instance Discrimination github代码: NCE代码 摘要: 在有标签数据上训练的神经网络分类器能够很好的捕捉图片间的视觉相似性。文章假设：我们能通过训练基于实例（将每一个样本视为单独的类别）的分类器代替基于类别的分类器，得到可以捕捉视觉相似性的特征表达。我们将其总结为 非参数化实例级判别 ，并且通过**噪声对比估计（noise-contrastive estimation）**解决大量实例类别引起的计算困难。 我们的实验证明了，在无监督学习的限制下，我们的方法在ImageNet数据集上超越了当前最好方法。采用更多的训练数据和更先进的网络结构，我们的方法能够进一步提高分类准确率。通过微调学习到的特征，我们能观察到与半监督学习和目标检测任务上相当的结果。同时，我们的非参数化模型十分紧致：每张图片仅需要提取128维的特征，百万量级的图片也仅需要600MB存储空间，使得实际运行时能够很快达成近邻检索的目的。 引言 研究者在本文中提出的无监督学习的创新方法源于对监督学习物体识别结果的一些观察。在 ImageNet 上，top-5 分类误差远低于 top-1 误差 ，并且图像在 softmax 层输出中的预测值排第二的响应类更可能与真实类有视觉关联。 如图

1. Hinge Loss 表达式 Hinge loss也称之为Multiclass SVM loss L ( W ) = 1 / N ∑ i = 1 N ∑ i ≠ j m a x ( 0 , S i − S j + 1 ) L(W) =1/N \sum_{i=1}^N \sum_{i\neq j} max(0, S_i-Sj+1) L ( W ) = 1 / N ∑ i = 1 N ​ ∑ i  ​ = j ​ m a x ( 0 , S i ​ − S j + 1 ) 2. 正则化 当Hinge loss = 0 时，W的取值不唯一，而通过添加正则项可以使得w的值唯一。 3. Softmax 与cross-entropy损失公式 Softmax: P ( Y = k ∣ X = x i ) = e s k ∑ j e s j P(Y=k|X=x_i)=\frac{e^{s_k}}{\sum_j e^{s_j}} P ( Y = k ∣ X = x i ​ ) = ∑ j ​ e s j ​ e s k ​ ​ cross-entropy loss: L = − l o g ( P ( Y = k ∣ X = x i ) ) L = -log(P(Y=k|X=x_i)) L = − l o g ( P ( Y = k ∣ X = x i ​ ) ) 最大值是无穷大，最小值是0