线性代数之机器学习常用矩阵概念及操作

时光总嘲笑我的痴心妄想 提交于 2021-02-18 02:16:03

1 相关概念

  1)实对称矩阵:如果有 n n n阶矩阵 A \rm A A,其元素都为实数,且 A T = A \rm A^{T} = A AT=A,则称 A \rm A A为实对称矩阵。
  2)矩阵等价、合同及相似

情形 定义 简要理解
矩阵等价 对于同行矩阵 A \rm A A B \rm B B,存在可逆矩阵 P \rm P P Q \rm Q Q,使得 B = P A Q \rm B = PAQ B=PAQ,充要条件为 A \rm A A B \rm B B相等 秩相等
矩阵合同 对于同行矩阵 A \rm A A B \rm B B,存在可逆矩阵 P \rm P P,使得 B = P T A P \rm B = P^TAP B=PTAP 秩、正负惯性指数均相等
矩阵相似 对于同行矩阵 A \rm A A B \rm B B,存在可逆矩阵 P \rm P P,使得 B = P − 1 A P \rm B = P^{-1}AP B=P1AP 秩、正负惯性指数及特征值均相等

  3)正定矩阵:设 A \rm A A n n n阶方阵,如果对任何非零向量 x \mathbf{x} x都有 x T A x > 0 \rm \mathbf{x}^T A \mathbf{x} > 0 xTAx>0,就称A正定矩阵。简单的判别方式是 A \rm A A的特征值均为正数,则 A \rm A A是正定的,反之负定。
  4)半正定矩阵:设 A \rm A A是实对称矩阵。如果对任意的实非零列向量 x \mathbf{x} x都有 x T A x ≥ 0 \rm \mathbf{x}^T A \mathbf{x} \geq 0 xTAx0,就称A为半正定矩阵。
  5)协方差矩阵:定义为 C o v ( X , Y ) = E ( ( X − E ( X ) ) ( Y − E Y ) ) \rm Cov (X, Y) = E ((X - E (X)) (Y - EY)) Cov(X,Y)=E((XE(X))(YEY))
  6)正交矩阵 A A T = E \mathbf{A}\mathbf{A}^T = \mathbf{E} AAT=E或者 A T A = E \mathbf{A}^T\mathbf{A} = \mathbf{E} ATA=E
  7)旋转矩阵
  8)矩阵的迹:矩阵 A \mathbf{A} A主对角线上的所有元素之和,记作 t r ( A ) = ∑ a i i \rm tr (\mathbf{A}) =\sum a_{ii} tr(A)=aii

2 矩阵操作

  1)方阵 A = ( a i j ) n A = (a_{ij})_n A=(aij)n的幂:
A 0 = E , A k = A ⋅ A ⋯ A ⏟ k A^0 = E, A^k = \underbrace{A\cdot A \cdots A}_k A0=E,Ak=k AAA  2)矩阵 A = ( a i j ) n × m A = (a_{ij})_{n \times m} A=(aij)n×m的转置,记作 A ′ A' A或者 A T A^\mathrm{T} AT,且有以下运算法则:
{ ( A ′ ) ′ = A ( A + B ) ′ = A ′ + B ′ ( A B ) ′ = B ′ A ′ ( λ A ) ′ = λ A ′ \begin{cases} (A')' = A\\ (A + B)' = A' + B'\\ (AB)' = B'A'\\ (\lambda A)' = \lambda A' \end{cases} (A)=A(A+B)=A+B(AB)=BA(λA)=λA  3)方阵 A = ( a i j ) n A = (a_{ij})_n A=(aij)n行列式,记作 ∣ A ∣ |A| A或者 d e t A \mathrm{det} A detA
{ ∣ A ′ ∣ = ∣ A ∣ ∣ A B ∣ = ∣ A ∣ ⋅ ∣ B ∣ ∣ λ A ∣ = λ n ∣ A ∣ \begin{cases} |A'| = |A|\\ |AB| = |A|\cdot |B|\\ |\lambda A| = \lambda^n |A| \end{cases} A=AAB=ABλA=λnA  4)方阵 A = ( a i j ) n A = (a_{ij})_n A=(aij)n:若存在 n n n阶方阵 B B B,使得 A B = B A = E AB = BA = E AB=BA=E,则称 B B B A A A的逆,记作 A − 1 A^{-1} A1,且有以下性质:
    4.1)若 A A A是可逆矩阵,则 A − 1 A^{-1} A1唯一;
    4.2) A A A可逆的充要条件 ∣ A ∣ ≠ 0 |A| \neq 0 A=0
    4.3) A − 1 A^{-1} A1 A A A伴随矩阵 A ∗ A^* A的关系如下:
A − 1 = 1 ∣ A ∣ A ∗ A^{-1} = \frac{1}{|A|} A^* A1=A1A      且伴随矩阵有以下性质:
A A ∗ = A ∗ A = ∣ A ∣ E AA^* = A^*A = |A| E AA=AA=AE    4.4)逆矩阵的运算规律如下:
{ ( A − 1 ) − 1 = A ( λ A ) − 1 = 1 λ A − 1 ( A B ) − 1 = B − 1 A − 1 ( A T ) − 1 = ( A − 1 ) T \begin{cases} (A^{-1})^{-1} = A\\ (\lambda A)^{-1} = \frac{1}{\lambda} A^{-1}\\ (AB)^{-1} = B^{-1} A^{-1}\\ (A^\mathrm{T})^{-1} = (A^{-1})^{\mathrm{T}} \end{cases} (A1)1=A(λA)1=λ1A1(AB)1=B1A1(AT)1=(A1)T    4.5)注意点:
    ©1. ( A + B ) − 1 ≠ A − 1 + B − 1 (A + B)^{-1} \neq A^{-1} + B^{-1} (A+B)1=A1+B1
    ©2. 当 ∣ A ∣ ≠ 0 |A| \neq 0 A=0时,规定以下:
{ A 0 = E A − k = ( A − 1 ) k ,   k 为整数 A λ A μ = A λ + μ , ( A λ ) μ = A λ μ ,     λ , μ 为整数 \begin{cases} A^0 = E\\ A^{-k} = (A^{-1})^k,\qquad \qquad \qquad \ k\text{为整数}\\ A^\lambda A^\mu = A^{\lambda + \mu}, (A^\lambda)^\mu = A^{\lambda \mu}, \ \ \ \lambda, \mu\text{为整数} \end{cases} A0=EAk=(A1)k k为整数AλAμ=Aλ+μ,(Aλ)μ=Aλμ,   λ,μ为整数  5)矩阵 A = ( a i j ) n × m A = (a_{ij})_{n \times m} A=(aij)n×m,记作 t r ( A ) tr(A) tr(A),性质如下:
{ t r ( A ) = t r ( A T ) t r ( A B ) = t r ( B A ) \begin{cases} tr (A) = tr (A^\mathrm{T})\\ tr (AB) = tr (BA) \end{cases} { tr(A)=tr(AT)tr(AB)=tr(BA)

本文同步分享在 博客“因吉”(CSDN)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!