1. 传统GBDT以CART作为基分类器，特指梯度提升决策树算法，而XGBoost还支持线性分类器（gblinear），这个时候XGBoost就相当于带L1正则和L2正则项的 logistics回归（分类问题）或者线性回归（回归问题）
2. 传统的GBDT只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。
3. xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias variance tradeoff角度来讲，正则项降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统的GBDT的一个特性