Lasso回归算法: 坐标轴下降法与最小角回归法小结
前面的文章对线性回归做了一个小结,文章在这: 线性回归原理小结 。里面对线程回归的正则化也做了一个初步的介绍。提到了线程回归的L2正则化-Ridge回归,以及线程回归的L1正则化-Lasso回归。但是对于Lasso回归的解法没有提及,本文是对该文的补充和扩展。以下都用矩阵法表示,如果对于矩阵分析不熟悉,推荐学习张贤达的《矩阵分析与应用》。 1. 回顾线性回归 首先我们简要回归下线性回归的一般形式: \(h_\mathbf{\theta}(\mathbf{X}) = \mathbf{X\theta}\) 需要极小化的损失函数是: \(J(\mathbf\theta) = \frac{1}{2}(\mathbf{X\theta} - \mathbf{Y})^T(\mathbf{X\theta} - \mathbf{Y})\) 如果用梯度下降法求解,则每一轮\(\theta\)迭代的表达式是: \(\mathbf\theta= \mathbf\theta - \alpha\mathbf{X}^T(\mathbf{X\theta} - \mathbf{Y})\) 其中\(\alpha\)为步长。 如果用最小二乘法,则\(\theta\)的结果是: \( \mathbf{\theta} = (\mathbf{X