大家好，继续理论学习，网络的设置接近了尾声，本次学习目标函数和正则化。
1.目标函数
(1)分类问题中的目标函数
这类问题中最常用的就是交叉熵函数了，也即softmax。假设共有N个训练样本，针对网络最后分类层第i个样本的输入特征为xi，其对应的真实标记为yi，hi为其网络对应的最终输出，C为分类任务的类别数。有了如上定义，其形式可写为：
(2)回归问题中的目标函数
在分类任务中，最后的样本真实标记实际上是一条一维向量，仅在yi处标记为1其余地方均为0。但回归问题的输出就不一样了，也是一条一维向量，但其每一个元素都为实数，而不是仅为二值。
首先介绍残差的概念：即xi真实值和预测值的差
则回归常用的l1，l2目标函数定义如下：(M为标记向量总维度)
2.正则化
我们通常使用正则化来减小过拟合。
(1)l2正则化
l2正则化在深度学习中也叫权重衰减，就是通过对网络中权重w的正则来控制拟合程度。假设待正则的网络参数为w，则其表达式为：
其中λ用于控制正则项大小，λ越大对模型复杂度的约束就越大。
(2)l1正则化
l1除了和l2一样约束参数量级以外，还可以使参数更加稀疏，能够更好地去噪。
(3)dropout
dropout可以使网络中节点随机失活，降低参数对网络的依赖，有效抑制过拟合。
简单介绍就是这样，我们下期见！
文章来源: 深度学习理论――目标函数&正则化