统计学习方法

与其宅在家里无聊，不如利用网络免费资源丰富一下自己的知识储备。这里我总结了一下大数据和AI相关领域的免费资源，这些书籍和资料都是我个人阅读过，一些阅读经验也和大家分享一下。鉴于当前形势，购买书籍不太方便，我已经将这些书籍的电子版打包整理好，文末有下载方式。 机器学习 机器学习 入门机器学习有两本必读的中文书：周志华的《机器学习》和李航的《统计学习方法》。这两本书主要介绍机器学习的统计学原理，深入浅出，是机器学习必不可少的好书。其中，周志华的《机器学习》封面是一个西瓜，内容中大量使用了瓜来举例，因此被称为西瓜书。我认为，对于零基础的朋友，周志华的这本西瓜书入门机器学习更合适。《统计学习方法》适合面试算法工程师前快速地回顾和梳理知识。我建议在有一定的《机器学习》阅读基础后，再学习《统计学习方法》。 深度学习 深度学习领域很多人推荐Ian Goodfellow和Yoshua Bengio等大牛的《Deep Learning》，因其封面是一幅花的油画，被称为花书。中文本由北大张志华老师团队翻译。我自己读过中文版，读了两三章放弃了，因为整本书主要介绍深度学习背后的各种数学推导，即使有一定数学基础的朋友也可能需要花费大量精力啃明白书中的各种数学符号，因此这本书更适合深度学习相关的博士生和研发人员。有英文基础的朋友可以直接在线阅读：http://www.deeplearningbook.org/

单词向量空间与话题向量空间 单词向量空间 话题向量空间 潜在语义分析算法 矩阵奇异值分解算法 例子 非负矩阵分解算法 非负矩阵分解 潜在语义分析模型 非负矩阵分解的形式 算法 来源： CSDN 作者： mkopvec 链接： https://blog.csdn.net/mkopvec/article/details/103866468

维特比算法实际是用动态规划求解隐马尔可夫模型解码问题，即用动态规划求概率最大路径（最优路径）。代码中有示例，来自李航《统计学习方法》 function [Delta,Psi,P,I] = Viterbi(A,B,Pi,O) % 函数功能：利用维特比算法找到观测序列O的最优路径 % % 参考文献：李航《统计学习方法》 % % 思路： % 1，初始化 % delta_1(i) = Pi_i * b_i(o1), i = 1,2,...,N % psi_1(i) = o, i = 1,2,...,N % 2,递推，对于t = 2,3,...,T % delta_t(i) = max_1-from-1-to-N(delta_t-1(j) * a_ji) * b_i(ot), i = 1,2,...,N % psi_t(i) = arg max_1-from-1-to-N(delta_t-1(j) * a_ji), i = 1,2,...,N % 3,终止 % 最优路径概率P* = max_1-from-1-to-N(delta_T(i)) % 最优路径终点i*_T = arg max_1-from-1-to-N(delta_T(i)) % 4,最优路径回溯，对于t = T-1,T-2,...,1 % i*_t = psi_t+1(i*_t+1) % 最优路径I* = (i*_1,i*_2,

1 下载链接 百度云盘链接： 李航《统计学习方法》高清带标签可复制PDF下载 2 内容简介 统计学习是计算机及其应用领域的一门重要的学科。《统计学习方法》全面系统地介绍了统计学习的主要方法，特别是监督学习方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与支持向量机、提升方法、em算法、隐马尔可夫模型和条件随机场等。除第1章概论和最后一章总结外，每章介绍一种方法。叙述从具体问题或实例入手，由浅入深，阐明思路，给出必要的数学推导，便于读者掌握统计学习方法的实质，学会运用。为满足读者进一步学习的需要，书中还介绍了一些相关研究，给出了少量习题，列出了主要参考文献。 《统计学习方法》是统计学习及相关课程的教学参考书，适用于高等院校文本数据挖掘、信息检索及自然语言处理等专业的大学生、研究生，也可供从事计算机应用相关专业的研发人员参考。 3 目录 第1章 统计学习方法概论 1.1 统计学习 1.2 监督学习 1.3 统计学习三要素 1.4 模型评估与模型选择 1.5 i~则化与交叉验证 1.6 泛化能力 1.7 生成模型与判别模型 1.8 分类问题 1.9 标注问题 1.10 回归问题 本章概要 继续阅读 习题 参考文献 第2章 感知机 2.1 感知机模型 2.2 感知机学习策略 2.3 感知机学习算法 本章概要 继续阅读 习题 参考文献 第3章 众近邻法 3.1 k近邻算法 3

本文主要参考书籍为《统计学习方法》（李辉）。 统计学习包括：监督学习；非监督学习；半监督学习；强化学习。 监督学习需要利用训练数据集，如果没有训练数据集，就不能采用监督学习的方法。 文章来源: 《统计学习方法》学习笔记（1）

目录 一、SVM学习回顾 1 线性可分支持向量机与硬间隔最大化 1.1 线性可分支持向量机 1.2 函数间隔和几何间隔 1.3 间隔最大化 （1） 最大间隔分离超平面 （2） 支持向量和间隔边界 1.3 学习的对偶算法 2 线性支持向量机与软间隔最大化 2.1 线性支持向量机 2.2 学习的对偶算法 2.3 支持向量 2.4 合页损失函数 3 非线性支持向量机与核函数 3.1 核技巧 （1） 非线性分类问题 （2） 核函数的定义 （3） 核技巧在支持向量机中的应用 3.2 正定核 3.3 常用核函数 3.4 非线性支持向量机 4 序列最小最优化算法 二、补充 备注 备注1 凸二次规划 备注2 拉格朗日对偶性和KKT条件 备注3 为什么要转化为对偶问题求解 备注4 欧式空间和希尔伯特空间 其他问题 为什么高斯核可以将原始维度映射到无穷维 线性可分SVM、线性SVM和非线性SVM三者的b是否唯一 前言 第一次写博客，有不好的地方请各位多加指教；之前对SVM进行了一些学习，每次学习的时候又感觉很多东西都忘掉了；之前暑假的时候又进行了一次较为详细的学习，想着记录一下，一些笔记也都准备好了，由于若干原因（主要是拖延症晚期）一直拖到现在；本次总结主要是以李航老师的统计学习方法为参考，对书中的思路做一个梳理（因此想要了解或者回顾SVM的话，本文会有一点帮助，如果想仔细学习的话还是要结合

▶ 隐马尔科夫模型的三个问题 ● 代码 1 import numpy as np 2 import scipy as sp 3 import matplotlib.pyplot as plt 4 from matplotlib.patches import Rectangle 5 6 dataSize = 200 7 trainRatio = 0.3 8 epsilon = 1E-10 9 randomSeed = 109 10 11 def dataSplit(dataX, dataY, part): # 将数据集分割为训练集和测试集 12 return dataX[:part], dataY[:part], dataX[part:], dataY[part:] 13 14 def normalCDF(x, μList, σList): 15 return np.exp(-(x - μList)**2 / (2 * σList**2)) / (np.sqrt(2 * np.pi) * σList) 16 17 def targetIndex(x, xList): # 二分查找 xList 中大于 x 的最小索引 18 if x < xList[0]: 19 return 0 20 lp = 0 21 rp = len(xList) - 1 22 while lp < rp - 1