softmax

转自：http://www.cnblogs.com/BYRans/ 多分类问题 在一个多分类问题中，因变量y有k个取值，即 。例如在邮件分类问题中，我们要把邮件分为垃圾邮件、个人邮件、工作邮件3类，目标值y是一个有3个取值的离散值。这是一个多分类问题，二分类模型在这里不太适用。 多分类问题符合 多项分布 。有许多算法可用于解决多分类问题，像决策树、朴素贝叶斯等。这篇文章主要讲解多分类算法中的 Softmax回归（Softmax Regression) 推导思路为：首先证明多项分布属于指数分布族，这样就可以使用广义线性模型来拟合这个多项分布，由广义线性模型推导出的目标函数 即为Softmax回归的分类模型。 证明多项分布属于指数分布族 多分类模型的输出结果为该样本属于k个类别的概率，从这k个概率中我们选择最优的概率对应的类别（通常选概率最大的类别），作为该样本的预测类别。这k个概率用k个变量 ， …， 表示。这个k变量和为1，即满足： 可以用前k-1个变量来表示，即： 使用 广义线性模型 拟合这个多分类问题，首先要验证这个多项分布是否符合一个指数分布族。定义T(y)为： 在这里，统计分量T(y)并没有像之前那样定义为T(y)=y，因为T(y)不是一个数值，而是一个k-1维的向量。使用符号 表示向量T(y)的第i个元素。 在这里引入一个新符号： ，如果括号内为true则这个符号取1

转载请注明出处： http://www.cnblogs.com/BYRans/ 多分类问题 在一个多分类问题中，因变量y有k个取值，即 。例如在邮件分类问题中，我们要把邮件分为垃圾邮件、个人邮件、工作邮件3类，目标值y是一个有3个取值的离散值。这是一个多分类问题，二分类模型在这里不太适用。 多分类问题符合 多项分布 。有许多算法可用于解决多分类问题，像决策树、朴素贝叶斯等。这篇文章主要讲解多分类算法中的 Softmax回归（Softmax Regression) 推导思路为：首先证明多项分布属于指数分布族，这样就可以使用广义线性模型来拟合这个多项分布，由广义线性模型推导出的目标函数 即为Softmax回归的分类模型。 证明多项分布属于指数分布族 多分类模型的输出结果为该样本属于k个类别的概率，从这k个概率中我们选择最优的概率对应的类别（通常选概率最大的类别），作为该样本的预测类别。这k个概率用k个变量 ， …， 表示。这个k变量和为1，即满足： 可以用前k-1个变量来表示，即： 使用 广义线性模型 拟合这个多分类问题，首先要验证这个多项分布是否符合一个指数分布族。定义T(y)为： 在这里，统计分量T(y)并没有像之前那样定义为T(y)=y，因为T(y)不是一个数值，而是一个k-1维的向量。使用符号 表示向量T(y)的第i个元素。 在这里引入一个新符号：

转载请注明出处： http://www.cnblogs.com/BYRans/ 多分类问题 在一个多分类问题中，因变量y有k个取值，即 。例如在邮件分类问题中，我们要把邮件分为垃圾邮件、个人邮件、工作邮件3类，目标值y是一个有3个取值的离散值。这是一个多分类问题，二分类模型在这里不太适用。 多分类问题符合 多项分布 。有许多算法可用于解决多分类问题，像决策树、朴素贝叶斯等。这篇文章主要讲解多分类算法中的 Softmax回归（Softmax Regression) 推导思路为：首先证明多项分布属于指数分布族，这样就可以使用广义线性模型来拟合这个多项分布，由广义线性模型推导出的目标函数 即为Softmax回归的分类模型。 证明多项分布属于指数分布族 多分类模型的输出结果为该样本属于k个类别的概率，从这k个概率中我们选择最优的概率对应的类别（通常选概率最大的类别），作为该样本的预测类别。这k个概率用k个变量 ， …， 表示。这个k变量和为1，即满足： 可以用前k-1个变量来表示，即： 使用 广义线性模型 拟合这个多分类问题，首先要验证这个多项分布是否符合一个指数分布族。定义T(y)为： 在这里，统计分量T(y)并没有像之前那样定义为T(y)=y，因为T(y)不是一个数值，而是一个k-1维的向量。使用符号 表示向量T(y)的第i个元素。 在这里引入一个新符号：

全文共 11413 字，预计学习时长 33 分钟 图源：Unsplash “每隔一段时间，就会出现一种能改变一切的革命性产品。” ——史蒂夫·乔布斯（SteveJobs） 这句21世纪最知名的言论之一与深度学习有什么关系呢？ 想想看。计算能力的提升带来了一系列前所未有的突破。 若要追根溯源，答案将指向注意力机制。简而言之，这一全新概念正在改变我们应用深度学习的方式。 图源：Unsplash 注意力机制是过去十年中，深度学习研究领域最具价值的突破之一。 它催生了包括Transformer架构和Google的BERT在内的自然语言处理（NLP）领域的许多近期突破。如果你目前（或打算）从事NLP相关工作，一定要了解什么是注意力机制及其工作原理。 本文会讨论几种注意力机制的基础、流程及其背后的基本假设和直觉，并会给出一些数学公式来完整表达注意力机制，以及能让你在Python中轻松实现注意力相关架构的代码。 大纲 l 注意力机制改变了我们应用深度学习算法的方式 l 注意力机制彻底改变了自然语言处理（NLP）甚至计算机视觉等领域 l 本文将介绍注意力机制在深度学习中的工作原理，以及如何用Python将其实现 目录 1.什么是注意力？ 1. 深度学习是如何引入注意力机制的 2. 了解注意力机制 2.使用Keras在Python中实现简单的注意力模型 3.全局与局部注意力 4

本文来自《L2-constrained Softmax Loss for Discriminative Face Verification》，时间线为2017年6月。 近些年，人脸验证的性能因引入了深度卷积网络而提升很大。一个典型的人脸识别流程就是： 训练一个基于softmax loss的深度卷积网络； 提取倒数第二层作为每个样本图片的特征表征； 基于两个样本的表征向量，计算cos的向量相似度。 softmax本身并不会让两个正样本对的相似度得分优化的更大，两个负样本对的相似度得分优化的更小。而实际需要中，需要构建具有类内紧凑性和类间可分性的特征，这会存在瓶颈，所以需要在loss上增加一些类似正则项的东西。本文中，作者在特征表征层加入 \(L_2\) 约束，意图让该样本落在一个固定半径的超球面表面。该模型可以很容易的基于现有的深度学习框架实现。通过在训练集整合该简单步骤，明显能够提升人脸验证的性能。特别的，在IJB-A上的True Accept Rate为0.909，False Accept Rate为0.0001。 近些年，人脸识别上也有不少出色的工作，其主要从2个角度解决人脸验证上的问题： 将人脸图片对输入到训练算法中，并获得embedding向量，在该向量中，正对（相同ID的人脸）会更靠近，负对（不同ID的人脸）会更远离。如《Learning a similarity

介绍 Transformer 是一种基于 encoder-decoder 结构的模型,模型结构如下图所示，在encoder中主要有Multi-Headed Attention和前馈神经网络层组成，decoder 中主要有Multi-Headed Attention、前馈神经网络层和Masked Multi-Headed Attention组成。 在 Encoder 中， Input 经过 embedding 后，要做 positional encodings 经过Multi-head attention 再经过 position-wise Feed Forward 每个子层之间有残差连接 在 Decoder 中， 如上图所示，也有 positional encodings，Multi-head attention 和 FFN，子层之间也要做残差连接，但比 encoder 多了一个 Masked Multi-head attention，最后要经过 Linear 和 softmax 输出概率。 Positional Encoding Positional Encoding 是一种考虑输入序列中单词顺序的方法。 encoder 为每个输入 embedding 添加了一个向量，这些向量符合一种特定模式，可以确定每个单词的位置，或者序列中不同单词之间的距离。计算方式如下： 其中 p o s