CART算法

CART算法

---

• CART算法
  区别于ID3算法的信息增益和C4.5算法的信息增益率，CART算法在分支处理中分支属性的度量指标是Gini指标，基尼指数越小，不确定程度越小，区分力越大。定义如下：
  $Gini(S_i)=1-\sum_{i=1}^mp_j^2$

$p_j=\frac{|C_j|}{|S|}$

$Gini(S)=\frac{S_1}{S}Gini(S_1)+\frac{S_2}{S}Gini(S_2)+...\frac{S_i}{S}Gini(S_i)$

其中，$S_i$是属性$S$的$i$种取值结果，即$i$种分支属性，$C_j$是频数，$p_j$表示第$i$种分支属性的$j$种分类结果($j=1,2,3,...,m$)的概率。

• 实例模型：
  上述哺乳动物分类模型中，假设选择会飞这一属性，$i=1,2$表示两种分支属性：会飞与不会飞，$j=1,2$表示各分支属性中两种分类结果：是哺乳动物，不是哺乳动物。
• CART算法Gini指数的计算：
  分支属性取值结果即为 $S_1$是会飞，$S_2$不会飞，通过前面ID3算法博客表中的是否哺乳动物的数据计数，代入公式计算得：

$\begin{aligned} Gini(会飞) & =\frac{|S_1|}{|S|}Gini(S_1)+\frac{|S_2|}{|S|}Gini(S_2) \\ & =\frac{|11|}{|14|}\times[1-{\frac{|7|}{|11|}}^2-{\frac{|4|}{|11|}}^2]+\frac{|3|}{|14|}\times[1-{\frac{|1|}{|3|}}^2-{\frac{|2|}{|3|}}^2]\\ & =0.4589 \end{aligned}$

• 同样的方法，其余三种属性的Gini指标也可计算出。

来源：CSDN

作者：Jone1997

链接：https://blog.csdn.net/weixin_39920026/article/details/103979025