计算机视觉 - 06 前向传播( Forward Propagation)、分类模型、交叉熵、标准化(学习笔记)
1、图片在卷积神经网络中是怎么变化的(前向传播 Forward Propagation) 代码详见: https://zhuanlan.zhihu.com/p/34222451 2、分类模型 Loss 函数为什么要用 交叉熵Cross Entropy? https://zhuanlan.zhihu.com/p/53045651 (1)分类模型 与 Loss 函数的定义监督学习的 2 大分支: 分类问题:目标变量是离散的。 回归问题:目标变量是连续的数值。 为了训练模型,必须先定义衡量模型好与坏的标准。 在机器学习中,我们使用 loss / cost,即, 当前模型与理想模型的差距。 训练的目的,就是不断缩小 loss / cost. (2)为什么不能用 classification error classification error 很难精确描述模型与理想模型之间的距离。 (3)Cross-Entropy (交叉熵)的效果对比 ACE 结果准确的体现了模型 2 优于模型 1。 cross-entropy 更清晰的描述了模型与理想模型的距离。 (4)为什么不用 Mean Squared Error (平方和) 分类问题,最后必须是 one hot 形式算出各 label 的概率, 然后通过 argmax 选出最终的分类。 (稍后用一篇文章解释必须 one hot 的原因)在计算各个