李航统计学习方法笔记——泛化误差上界
泛化误差上界 References 统计学习方法(第2版)李航著 p25~27 定理 对于二分类问题,当假设空间是有限个函数的集合 F = { f 1 , f 2 , . . . , f d } F=\{f_1,f_2,...,f_d\} F = { f 1 , f 2 , . . . , f d } 时,对任意一个函数 f ∈ F f\in F f ∈ F ,至少以概率 1 − δ 1-\delta 1 − δ , 0 < δ < 1 0<\delta<1 0 < δ < 1 ,以下不等式成立: R ( f ) ≤ R ^ ( f ) + ε ( d , N , δ ) R(f)\leq \hat{R}(f)+\varepsilon(d,N,\delta) R ( f ) ≤ R ^ ( f ) + ε ( d , N , δ ) 其中, ε ( d , N , δ ) = 1 2 N ( log d + log 1 δ ) \varepsilon(d,N,\delta)=\sqrt{\frac{1}{2N}(\log{d}+\log{\frac{1}{\delta}})} ε ( d , N , δ ) = 2 N 1 ( lo g d + lo g δ 1 ) 前置知识 关于 f f f 的期望风险: R ( f ) = E [ L ( Y ,