1. 统计学习方法概论
1.回归问题:输入变量和输出变量均为连续变量的预测问题。等价于函数拟合,回归模型表示输入变量到输出变量之间映射的函数。 2. 分类问题:输出变量为有限个离散变量的预测问题称为分类问题 3.标注问题:输入变量和输出变量均为变量序列的预测问题 4.假设空间:模型属于有输入空间到输出空间的映射的集合,这个集合就是假设空间。假设空间的确定意味着学习范围的确定。 5.统计学习方法的三要素:方法=模型+策略+算法。模型就是所要学习的条件概率或决策函数。 策略是从假设空间中按照什么样的准则学习或者选择最优模型,引入损失函数和风险函数。算法是指学习模型的具体计算方法。 6. 损失函数是f(x)和Y的非负实值函数,记作L(Y,f(x)), 常用的损失函数有(1)0-1损失函数,(2)平方损失函数,(3)绝对损失函数,(4)对数损失函数 7. 经验风险最小化:如最大似然估计,容易出现过拟合。 8. 结构风险最小化:等价于正则化,在经验风险上加上表示模型复杂度的正则化项或惩罚项。如贝叶斯估计中的最大后验概率估计 9.防止过拟合的方法:正则化和交叉验证。正则化项一般是模型复杂度 的单调递增函数,模型越复杂,正则化值就越大,可以是模型参数向量的范数。 10.分类问题可以用到的统计学习方法:k近邻法,感知机,朴素贝叶斯法,决策树,决策列表,统计斯谛回归模型,支持向量机,提升方法,贝叶斯网络,神经网络等 11