前置知识：
\(1.\)高中数学相关知识。
\(2.\)高等数学（微分，定积分，不定积分，泰勒展开，极限等）
- 定积分常用计算方式：牛顿—莱布尼兹公式：（\(F()\)为\(f()\)的原函数，即\(F^{'}()=f()\)）
\[ \int_a^b{f(x)dx}=F(b)-F(a) \]
- 泰勒中值定理\(1\)：\(f(x)=f(x_0)+f'(x_0)(x-x_0)+\frac{f''(x_0)}{2!}(x-x_0)^2+...+\frac{f^{(n)}(x_0)}{n!}(x-x_0)^n+R_n(x)\)，满足\(f(x)\)在\(x_0\)处有\(n\)阶导数，\(x\)为\(x_0\)的一个邻域中的任意值，\(R_n(x)=o((x-x_0))^n\)称为佩亚诺余项。
- 泰勒中值定理\(2\)：\(f(x)=f(x_0)+f'(x_0)(x-x_0)+\frac{f''(x_0)}{2!}(x-x_0)^2+...+\frac{f^{(n)}(x_0)}{n!}(x-x_0)^n+R_n(x)\)，满足\(f(x)\)在\(x_0\)的某一邻域中有\(n+1\)阶导数，\(x\)为\(x_0\)该邻域中的任意值，\(R_n(x)=\frac{f^{n+1}(\xi)}{(n+1)!}(x-x_0)^{n+1}\)称为拉格朗日余项\((\xi\)在\(x_0\)和\(x\)之间\()\)。
- 麦克劳林公式：取\(x_0=0,\xi=\theta x(0<\theta<1)\)时的泰勒展开。
- 常见的麦克劳林公式（重要）
- \(e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+...+\frac{x^n}{n!}+\frac{e^{\theta x}}{(n+1)!}x^{n+1}\)
- \(sinx=x-\frac{x^3}{3!}+\frac{x^5}{5!}-...+(-1)^{m-1}\frac{x^{2m-1}}{(2m-1)!}+R_{2m}(x)\)
\(3.\)微分中值定理（罗尔，拉格朗日中值，柯西中值）（理解联系斜率）
- 罗尔定理：\(f(x)\)满足\([a,b]\)上连续，\((a,b)\)上可导，\(f(a)=f(b)\)则\(\exists\xi(a<\xi<b)\)有\(f'(\xi)=0\)
- 拉格朗日中值定理：\(f(x)\)满足\([a,b]\)上连续，\((a,b)\)上可导，则\(\exists\xi(a<\xi<b)\)有\(f(b)-f(a)=f'(\xi)(b-a)\)
- 柯西中值定理：\(f(x),F(x)\)满足\([a,b]\)上连续，\((a,b)\)上可导，\(\forall x\in(a,b)F'(x)\ne0\)则\(\exists\xi(a<\xi<b)\)有\(\frac{f(a)-f(b)}{F(a)-F(b)}=\frac{f'(\xi)}{F'(\xi)}\)
第一章：基本概念（还是略了吧，真的就是高中知识……）
第二章：随机变量及其分布
\(1.\)一般来说，随机变量分为离散型和连续型，离散型可以用数列来类比，而连续型可以用函数来类比。
注意，连续型中定积分相当于离散型中的\(\Sigma\)。
\(2.\)\(P\{X\}\)表示随机变量为\(X\)时的概率，以下是几个重要的分布
- \((0-1)\)分布：\(P\{X=k\}=p^k(1-p)^k,k=0,1,(0<p<1)\)
- 伯努利实验：实验结果仅有发生或不发生两种情况。
- \(n\)重伯努利实验：做\(n\)次伯努利实验，事件发生次数。
二项分布：\(P\{X=k\}={n \choose k} p^k(1-p)^{n-k},k=0,1,2,3...\)我们称随机变量\(X\)服从参数为\(n,p\)的二项分布，记为\(X\sim b(n,p)\)
泊松分布：\(P\{X=k\}=\frac{\lambda^ke^{-k}}{k!},k=0,1,2...,\lambda>0\)我们称随机变量\(X\)服从参数为\(\lambda\)的泊松分布，记为\(X\sim \pi(\lambda)\)
关于泊松分布，可以利用泊松定理与二项分布建立联系，当\(np_n=\lambda\)时即有
\[ \lim_{n\to\infty}{n \choose k}p^k_n(1-p_n)^{n-k}=\frac{\lambda^ke^{-k}}{k!} \]
\(3.\)分布函数\(F(x)\)，在一维的情况下，当成前缀和看就好，即有：\(F(x)=P\{X\leq x\},F(-\infty)=0,F(\infty)=1\)
\(4.\)对分布函数积一下，就有概率密度\(f(x)\)，即：\(F(x)=\int^x_{-\infty}f(t)dt,P\{x_1<X\leq x_2\}=\int^{x_2}_{x_1}f(x)dx\)
均匀分布：随机变量\(X\)有概率密度
\[ f(x)=\left\{\begin{array}{ll}\frac{1}{b-a}& a<x<b\\0&x\leq a||x\geq b\end{array} \right. \]
我们称\(X\)在区间\((a,b)\)上服从均匀分布，记为\(X～U(a,b)\)。指数分布：随机变量\(X\)有概率密度\((\theta>0)\)
\[ f(x)=\left\{\begin{array}{ll}\frac{1}{\theta}e^{-\frac{x}{\theta}}&x>0\\0&x\leq 0\end{array} \right. \]
我们称\(X\)在区间\((a,b)\)上服从参数为\(\theta\)的指数分布。正态分布（这玩意儿和\(e^x\)有神似之处，用心体会）：随机变量\(X\)有概率密度\(\mu,\sigma\)为常数\((\sigma>0)\)
\[ f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},-\infty<x<\infty \]
我们称\(X\)在区间\((a,b)\)上服从参数为\(\mu,\sigma\)的正态分布，记为\(X\sim N(\mu,\sigma^2)\)。正态分布\(f(x)\)图像最高点在\(x=\mu\)处，\(\sigma\)决定其形状。
\(\mu=0,\sigma=1\)时我们称随机变量服从标准正态分布，即
\[ \varphi(x)=\frac{1}{\sqrt{2}\sigma}e^{-\frac{x^2}{2}},-\infty<x<\infty \]若\(X\sim N(\mu,\sigma^2)\)则\(Z=\frac{X-\mu}{\sigma}\sim N(0,1)\)，应用这个加查表，我们可以求出任意的正态分布概率密度。
第三章 多维随机变量及其分布
\(1.\)首先第一个重点，多维要学会偏导，将一维看做常数，对另一个进行求导。
\(2.\)\(F(x,y)\)（成为联合分布概率）定义类似上面的，用面积和理解即可，\(f(x,y)=\frac{\partial^2 F(x,y)}{\partial x\partial y}\)，求法：先对\(F(x,y)\)的\(x\)求导，再对结果的\(y\)求导。
\(3.\)边缘概率密度：\(f_x(x)=\int^\infty_{-\infty}f(x,y)dy,f_y(x)=\int^\infty_{-\infty}f(x,y)dx\)。
对于一个\(f(x)\)，若其在\([-a,a]\)上可积则有：
\[ \int^a_{-a}f(x)dx=\left\{ \begin{array}{ll}2\int^a_0f(x)dx&f(-x)=f(x)\\0&f(-x)=-f(x)\end{array} \right. \]二维正态分布：
联合分布：
\[ f(x)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}exp\{\frac{-1}{2(1-\rho^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]\} \]边缘分布满足一维的正态分布。
\(4.\)条件概率：\(P\{X=x_i|Y=y_i\}=\frac{P\{X=x_i,Y=y_i\}}{P\{Y=y_i\}}=\frac{p_{ij}}{p_{\cdot j}}\)
条件概率密度：\(f_{X|Y}(x_y)=\frac{f(x,y)}{f_y(y)}\)（可以运用此式倒推联合分布密度）
均匀分布：设\(G\)为平面区域上的有界区域，面积为\(A\)，\((X,Y)\)具有概率密度：
\[ f(x,y)=\left\{ \begin{array}{ll} \frac{1}{A}&(x,y)\in G\\0&(x,y)\notin G\end{array} \right. \]
我们称\((X,Y)\)在\(G\)上服从均匀分布（其边缘分布不一定服从均匀分布）
\(5.\)相互独立的随机变量：判定方法：\(P\{X\leq x,Y\leq y\}=P\{X\leq x\}P\{Y\leq y\},f(x,y)=f_X(x)f_Y(y)\)
第四章：随机变量的数字特征：
\(1.\)数学期望（本质上是加权平均）：\(E(X)=\int^\infty_{-\infty}xf(x)dx\)
二项分布：\(E(X)=np\)
正态分布：\(E(X)=\mu\)
均匀分布：\(E(X)=\frac{a+b}{2}\)
泊松分布：\(E(X)=\lambda\)（证明再次用到了麦克劳林公式）
指数分布：\(E(X)=\theta\)（证明）（注：证明中的\(\lambda\)与这里的\(\theta\)互为倒数，这里写\(\theta\)只是为了和书上一致）
定理：若随机变量\(X\)的概率密度为\(f(x)\)，\(\int^\infty_{-\infty}g(x)f(x)dx\)绝对收敛，则有：
\[ E(Y)=E(g(X))=\int^\infty_{-\infty}g(x)f(x)dx \]注意：\(E(X)\)为一个常数。\(E(CX)=CE(X),E(X+Y)=E(X)+E(Y),E(XY)=E(X)E(Y)\)
\(2.\)方差：\(D(x)=\int^\infty_{-\infty}[x-E(X)]^2f(x)dx=E(X^2)-[E(X)]^2\)
随机变量\(X\)具有数学期望\(E(X)=\mu,D(x)=\sigma^2\)则\(X^*=\frac{X-\mu}{\sigma}\)成为\(X\)的标准化变量。
- 正态分布：\(D(X)=\sigma^2\)
- 泊松分布：\(D(X)=\lambda\)
- 均匀分布：\(D(X)=\frac{(b-a)^2}{12}\)
- 指数分布：\(D(X)=\theta^2\)
- 二项分布：\(D(X)=np(1-p)\)
- \(D(C)=0,D(CX)=C^2D(X),D(C+X)=D(X)\)
\(D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(Y-E(Y))\}\)，特别的，当\(X,Y\)相互独立时有\(D(X+Y)=D(X)+D(Y)\)
\(3.\)协方差及相关系数：
协方差：\(Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}\)，相关系数：\(\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}\)
协方差性质：\(Cov(aX,bY)=abCov(X,Y),Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)\)
柯西施瓦茨不等式：\(|Cov(X,Y)^2|\leq D(X)D(Y)\)
当\(\rho_{XY}=0\)时，称\(X,Y\)不相关。二维正态分布中的\(\rho\)就是\(X,Y\)的相关系数\(\rho_{XY}\)