softmax

目录 简介 关于关系抽取 Pipline模型 Model 1: Relation Classification via Convolutional Deep Neural Network Model 2: Relation Extraction: Perspective from Convolutional Neural Networks Model 3: Classifying Relations by Ranking with Convolutional Neural Networks Model 4: Bidirectional Long Short-Term Memory Networks for Relation Classification Model 5: Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification Model 6: Relation Classification via Multi-Level Attention CNNs Model 7: Bidirectional Recurrent Convolutional Neural Network for Relation Classification 简介 信息抽取

FITNETS: HINTS FOR THIN DEEP NETS 论文地址: https://arxiv.org/abs/1412.6550 这篇论文主要是研究如何在更深的学生网络上取得更好的效果。之前提出的知识蒸馏，是用比较小的学生模型来模仿比较大的老师模型的知识、信息、输出，在这里为了取得更好的表现，我们希望学生模型更大一点更深一点，更为了防止更深的网络在模仿时出错，我们不知考虑老师模型的最终输出，也考虑模仿中间层的输出，来指导学生模型的训练。 只考虑单纯的知识转移的蒸馏过程，核心点是对softmax层的输入添加了温度参数。 学生网络的输出 P S τ = s o f t m a x ( a S τ ) P^{\tau}_S=softmax(\frac{a_S}{\tau}) P S τ ​ = s o f t m a x ( τ a S ​ ​ ) 老师网络的软化输出（软标签）： P S τ = s o f t m a x ( a S τ ) P^{\tau}_S=softmax(\frac{a_S}{\tau}) P S τ ​ = s o f t m a x ( τ a S ​ ​ ) 最终的损失函数是由两部分组成的，一个是学生输出和硬标签的差距，一个是学生输出和软标签的差距。 L K D ( W s ) = H ( y t r u e , P s ) + λ H (

知道了W是什么之后的问题是怎样选出W：先用损失函数衡量W的好坏，然后用优化方法选出最好的W 目录 损失函数和优化 1. Hinge Loss 表达式 二元SVM或叫二分类SVM的推导（待写） 2. 加正则的目的 3. Softmax 与交叉熵损失公式 softmax softmax如何在编程计算的时候稳定 交叉熵 交叉熵损失的最大值与最小值（待写） softmax 求导（待写） 4. Hinge loss与Softmax的区别 5.梯度下降作为优化方法 各种其他优化方法（待写） 损失函数和优化 这是损失函数的一般表达式 1. Hinge Loss 表达式 是正确类的分数（横轴）， 是其他类的分数，它们组成线性分类器的结果 这里正确类分数需要比其他类分数高出的分数1是可以随意选择的，因为这个分数的绝对值并不需要多关心，只关心分数间的相对差值，讲义里有详细证明。 这里是损失函数随错误分类分数增大而增加是线性的，如果改为平方，那么意味着对于分类很错误的情况会带来非常大的损失，也就是这样设计会避免分类很错的情况出现，但是如果分类错误不明显就只做微小修正。 所以选择哪种损失函数要根据具体应用更关心哪种分类错误。 二元SVM或叫二分类SVM的推导（待写） 二分类SVM的情况下，只有两个类，每个样本要么为正要么为负 2. 加正则的目的 当损失函数结果为0的时候，W是不唯一的

今天简单了解了一下softmax函数，记录一下呀呀呀呀~~~~~~~~ 深度学习最终解决的是分类或者回归问题。分类：离散问题（是或不是）；回归：连续值问题(是多少)。 在现实中，输出层我们采用softmax函数或sigmoid函数来输出分类概率值，其中二元分类一般采用的是sigmoid函数。softmax函数将多个神经元的输出映射到（0-1）的区间内，根据概率的高低进行分类，并且概率之和为1，所以我们就可以看成概率来理解，从而进行多分类。 先了解max函数 假如说有2个数，a和b，并且a>b,如果取max，那么就直接取a（ 只能取一个，没有第二个可能性 ） 但是 我们并不希望上面的max函数那样，死死的，只能选一个。这样会造成max值小的那个，直接过滤掉。我们现在的目的：希望分值大的那一项经常取到，分值小的那一项在某种概率一下也可以取到，这时候就用到了sotfmax函数了。通过设定一个softmax函数来计算a和b的概率，这样，我们可以根据设置的概率大小来设置a和b的权重大小。 函数定义 假设我们有一个数组V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 也就是说，每一个元素的概率值是该元素的指数与所有元素指数和的比值。 sofmax函数的特点 softmax应用于神经网络的最后一层，是因为这个函数优点很多： （1）这个函数计算简单，在计算损失的时候，计算量小

Hierarchical Softmax（分层Softmax）： 使用分级softmax分类器（相当于一个树型分类器，每个节点都是可能是一个二分类器），其计算复杂度是前面的log⁡级别。在构造分级softmax分类器时，仿造哈夫曼树，一般常用的词会放在树的顶部位置，而不常用的词则会放在树的更深处，其并不是一个平衡的二叉树。 按照这种规律，常用的靠近树根，因此走的路少，总体上会降低复杂度，而不常用的靠近叶子，走的路多，总体上会降低复杂度。 来源： CSDN 作者： Wanderist_ZK 链接： https://blog.csdn.net/m0_37922734/article/details/100768818