一、目标函数
结构风险最小： 目标函数=损失函数（loss function/cost function代价函数）+lamda*正则项
经验风险最小： 目标函数=损失函数（loss funciton/cost function代价函数）
二、GB理论
用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个CART回归树。
三、GBDT理论
1.当基函数为DT时，首先正则项为0。第二、损失函数是均方损失函数，它的梯度值是残差的2倍，貌似和残差一致。
所以容易产生问题二的疑问。
2.对于每棵决策树叶子结点y值，貌似不是直接和前面的值相加，具体怎么加的还没搞清楚。？？？
四、GBDT步骤
变量说明：
i=1...N，训练样本
拟合的函数，m表示拟合m棵树，或者进行了m次迭代
第m次拟合的函数，第m棵树，
第m次拟合时第i个样本的目标变量，是根据负梯度值计算得到的
，这些样本构成第m棵树的训练样本