【说明】
1. 相关内容经过诸多学习内容整理
2. 比较权威的学习源可参考维基百科 https://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-vector_identities
3. 机器学习关联内容学习: 1)西瓜书第55页多元线性回归涉及到的公式推导 2)机器学习实战 第138页
目录
一,布局的概念
重要前提: 若 x 为向量,则默认 x 为列向量,
为行向量布局简单地理解就是分子 y、分母 x 是行向量还是列向量。
- 分子布局(Numerator-layout): 分子为 y 或者分母为 (即,分子为列向量或者分母为行向量)
- 分母布局(Denominator-layout): 分子为 或者分母为 x (即,分子为行向量或者分母为列向量)
为了更加深刻地理解两种布局的特点和区别,下面是从维基百科中布局部分拿来的例子:
分子布局
- 标量/向量:(分母的向量为行向量)
- 向量/标量:(分子的向量为列向量)
- 向量/向量:(分子为列向量横向平铺,分母为行向量纵向平铺)
- 标量/矩阵:(注意这个矩阵部分是转置的,而下面的分母布局是非转置的)
- 矩阵/标量:
分母布局
- 标量/向量:(分母的向量为列向量)
- 向量/标量:(分子的向量为行向量)
- 向量/向量:(分子为行向量纵向平铺,分母为列向量横向平铺)
- 标量/矩阵:(矩阵部分为原始矩阵)
二、一个求导的例子(线性回归中正规方程)
在 scalar-by-vector 表格中对应于红线部分
三、另一个例子的推导
看看红框部分的推导过程如下:
对谁求导数,就以谁(分母)作为主序,得出结果。比如这里x是列向量,求Ax关于x求导数,那么对x的每个分量分别求偏导数(写成一行),然后整理排成一列(同x一样是列向量)。
同理有
关于x的转置
这里,可以反过来再去理解下前面布局所述的行向量与列向量的差异。
四、矩阵及向量求导法则
五、求导公式速查表
来源:CSDN
作者:Lemonbr
链接:https://blog.csdn.net/qq_41282102/article/details/104309798