李航

牛顿法(Newton method)和拟牛顿法(quasi-Newton method)也是求解无约束最优化的常用方法，有收敛速度快的优点。牛顿法是迭代算法，每一步需要求解目标函数的黑塞矩阵的逆矩阵，计算比较复杂。拟牛顿法通过正定矩阵近似黑塞矩阵的逆矩阵或黑塞矩阵，简化了这一计算过程。 牛顿法 考虑无约束最优化问题 min ⁡ x ∈ R n f ( x ) (B.1) \min_{x\in R^n}f(x)\tag{B.1} x ∈ R n min ​ f ( x ) ( B . 1 ) 其中 x ∗ x^* x ∗ 为目标函数的极小值。 ​ 假设f(x)具有二阶连续偏导数，若第k次迭代值为 x ( k ) x^{(k)} x ( k ) ,则可将f(x)在 x ( k ) x^{(k)} x ( k ) 附近进行二阶泰勒展开： f ( x ) = f ( x ( k ) ) + g k T ( x − x ( k ) ) + 1 2 ( x − x ( k ) ) T H ( x ( k ) ) ( x − x ( k ) ) (B.2) f(x)=f(x^{(k)})+g^T_k(x-x^{(k)})+\frac{1}{2}(x-x^{(k)})^TH(x^{(k)})(x-x^{(k)}) \tag{B.2} f ( x ) = f ( x ( k ) ) + g k T

以统计学习方法（李航）这本书的例子为基础 需要注意的地方： 我用的是pycharm python版本是3.7 graphviz是一个软件， 在pycharm里面下了还得去官网下 下完之后得加入环境变量可能还需要重启电脑 缺啥库就安啥库 那个数据是我自己设置的，手敲的。 贷款申请样本数据表 ID 年龄 有工作 有自己的房子 信贷情况 类别 1 青年 否 否 一般 否 2 青年 否 否 好 否 3 青年 是 否 好 是 4 青年 是 是 一般 是 5 青年 否 否 一般 否 6 中年 否 否 一般 否 7 中年 否 否 好 否 8 中年 是 是 好 是 9 中年 否 是 非常好 是 10 中年 否 是 非常好 是 11 老年 否 是 非常好 是 12 老年 否 是 好 是 13 老年 是 否 好 是 14 老年 是 否 非常好 是 15 老年 否 否 一般 否 数据集 特征量 表示 年龄 青年：1 中年：2 老年：3 有工作 是：1 否：0 有自己的房子 是1：否：0 信贷情况 一般：1 好：2 非常好：3 类别 是：1 否：0 dataset=[ [1,0,0,1,0], [1,0,0,2,0], [1,1,0,2,1], [1,1,1,1,1], [1,0,0,1,0], [2,0,0,2,0], [2,0,0,2,0], [2,1,1,2,1], [2,0,1,3,1], [2

1 下载链接 百度云盘链接： 李航《统计学习方法》高清带标签可复制PDF下载 2 内容简介 统计学习是计算机及其应用领域的一门重要的学科。《统计学习方法》全面系统地介绍了统计学习的主要方法，特别是监督学习方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与支持向量机、提升方法、em算法、隐马尔可夫模型和条件随机场等。除第1章概论和最后一章总结外，每章介绍一种方法。叙述从具体问题或实例入手，由浅入深，阐明思路，给出必要的数学推导，便于读者掌握统计学习方法的实质，学会运用。为满足读者进一步学习的需要，书中还介绍了一些相关研究，给出了少量习题，列出了主要参考文献。 《统计学习方法》是统计学习及相关课程的教学参考书，适用于高等院校文本数据挖掘、信息检索及自然语言处理等专业的大学生、研究生，也可供从事计算机应用相关专业的研发人员参考。 3 目录 第1章 统计学习方法概论 1.1 统计学习 1.2 监督学习 1.3 统计学习三要素 1.4 模型评估与模型选择 1.5 i~则化与交叉验证 1.6 泛化能力 1.7 生成模型与判别模型 1.8 分类问题 1.9 标注问题 1.10 回归问题 本章概要 继续阅读 习题 参考文献 第2章 感知机 2.1 感知机模型 2.2 感知机学习策略 2.3 感知机学习算法 本章概要 继续阅读 习题 参考文献 第3章 众近邻法 3.1 k近邻算法 3