深度学习的数学基础

微积分
- 无穷小
  在17世纪下半叶，数学史上出现了无穷小的概念，而后发展处极限的概念
- 极限
  - 数列的极限
  - 函数的极限
- 导数
- 微分
- 积分
  - 不定积分
    也称为原函数或反导数
  - 定积分
  - 定积分中值定理
- 牛顿-莱布尼茨公式
- 偏导数
概率统计
- 样本空间
  定义：随机试验 E 的所有结果构成的集合称为 E 的样本空间，记为 S={e}
  称 S 中的元素 e 为样本点，一个元素的单点集称为基本事件．
- 概率
  条件概率/后验概率
  P（A|B）
  边缘概率/先验概率
  A的边缘概率表示为P（A）,B的边缘概率表示为P（B）
  联合概率
  全概率公式
  贝叶斯公式
- 随机变量
  离散型随机变量
  对离散随机变量用求和得全概率
  定义
  (0-1)分布/两点分布/伯努利分布
  二项分布
  泊松分布(Poisson分布)
  连续型随机变量
  对连续随机变量用积分得全概率
  概率分布函数F(x)
  概率密度函数f(x)
  均匀分布
  X~U（a，b）
  指数分布
  正态分布/高斯分布
  是研究误差分布的一个理论
- 期望
  离散型随机变量的期望
  连续型随机变量的期望
- 方差(Variance)
  一个随机变量的方差（ Variance ）描述的是它的离散程度，也就是该变量离其期望值的距离
  标准差(Standard Deviation)
  方差的算术平方根称为该随机变量的标准差。
  样本标准差
  协方差
  相关系数(Correlation coefficient)
  协方差矩阵
  主成分分析(PCA)
  在统计学中被称为主成分分析 (principal components analysis ，简称 PCA) ，在图像处理中称为 Karhunen-Loève 变换 (KL- 变换 ) 。
- 大数定律
  大数定律负责给出估计——期望
- 中心极限定理
  中心极限定理负责给出大数定律的估计的误差——标准差乘以标准正态分布
  大量相互独立的随机变量，其均值（或者和）的分布以正态分布为极限（意思就是当满足某些条件的时候，比如 Sample Size 比较大，采样次数区域无穷大的时候，就越接近正态分布）。而这个定理 amazing 的地方在于，无论是什么分布的随机变量，都满足这个定理。
- MLE(最大似然)
- OLS(最小二乘)
- 样本和抽样
- 置信区间
- 方差分析
- 回归分析
- bootstrap方法
- 马尔可夫链
线性代数
数值计算
- sigmoid函数
  sigmoid函数只能分两类
- Softmax激活函数
  softmax能分多类
- logistic函数
- Relu激活函数
- 网络参数
- 梯度下降Gradient Descent
- 学习率Learning Rate
  Subtopic
- 误差|损失
  均方误差(Mean Squared Error)
  交叉熵(Cross-Entropy)
- 损失函数(cost function)
  0-1损失函数
  当模型输出值=样本值，则为1，否则为0
  平方损失函数
  （模型输出值 - 样本值）^2
  绝对值损失函数
  |模型输出值 - 样本值|
  对数损失函数
  log (Y_模型输出)

来源：https://www.cnblogs.com/bigcome/p/10206911.html

标签

数学

大数定律