cs231n笔记（3）

1. Hinge Loss 表达式

Hinge loss也称之为Multiclass SVM loss
$L(W) =1/N \sum_{i=1}^N \sum_{i\neq j} max(0, S_i-Sj+1)$

2. 正则化

当Hinge loss = 0 时，W的取值不唯一，而通过添加正则项可以使得w的值唯一。

3. Softmax 与cross-entropy损失公式

Softmax: $P(Y=k|X=x_i)=\frac{e^{s_k}}{\sum_j e^{s_j}}$
cross-entropy loss: $L = -log(P(Y=k|X=x_i))$
最大值是无穷大，最小值是0.
softmax 求导：
$\frac{df(x)}{d(x)} = lim_{h->0} \frac{f(x+h)-f(x)}{h}$

4. Hinge loss与Softmax的区别

Hinge loss主要用于SVM中，而Softmax 分类器可以理解为逻辑回归分类器面对多个分类的一般话归纳，其输出(归一化的分类概率)更加直观,且可以从概率上解释。

来源：CSDN

作者：weixin_45958102

链接：https://blog.csdn.net/weixin_45958102/article/details/103455610