向量与矩阵求导与实例分析

妖精的绣舞 提交于 2020-02-15 02:12:25

【说明】

1. 相关内容经过诸多学习内容整理

2.  比较权威的学习源可参考维基百科  https://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-vector_identities

3. 机器学习关联内容学习: 1)西瓜书第55页多元线性回归涉及到的公式推导   2)机器学习实战 第138页 

目录

一,布局的概念

分子布局

分母布局

二、一个求导的例子(线性回归中正规方程)

三、另一个例子的推导

四、矩阵及向量求导法则

五、求导公式速查表


一,布局的概念

重要前提: 若 x 为向量,则默认 x 为列向量, 

为行向量

布局简单地理解就是分子 y、分母 x 是行向量还是列向量。

  • 分子布局(Numerator-layout): 分子为 y 或者分母为  

     (即,分子为列向量或者分母为行向量)
  • 分母布局(Denominator-layout): 分子为  

     或者分母为 x (即,分子为行向量或者分母为列向量)

为了更加深刻地理解两种布局的特点和区别,下面是从维基百科中布局部分拿来的例子:

分子布局

  • 标量/向量:标量/向量(分母的向量为行向量)
  • 向量/标量:向量/标量(分子的向量为列向量)
  • 向量/向量:向量/向量(分子为列向量横向平铺,分母为行向量纵向平铺)
  • 标量/矩阵:标量/矩阵注意这个矩阵部分是转置的,而下面的分母布局是非转置的
  • 矩阵/标量:矩阵/标量

分母布局

  • 标量/向量:标量/向量(分母的向量为列向量)
  • 向量/标量:向量/标量(分子的向量为行向量)
  • 向量/向量:向量/向量(分子为行向量纵向平铺,分母为列向量横向平铺)
  • 标量/矩阵:标量/矩阵矩阵部分为原始矩阵

二、一个求导的例子(线性回归中正规方程)

在 scalar-by-vector 表格中对应于红线部分

三、另一个例子的推导

看看红框部分的推导过程如下:
对谁求导数,就以谁(分母)作为主序,得出结果。比如这里x是列向量,求Ax关于x求导数,那么对x的每个分量分别求偏导数(写成一行),然后整理排成一列(同x一样是列向量)。

                                                这里写图片描述

同理有  
这里写图片描述 
关于x的转置

求导数,

是行向量,那么Ax分别对

向量中的分量求偏导(写成一列),然后整体排成一行(同

是行向量)。

这里,可以反过来再去理解下前面布局所述的行向量与列向量的差异。

四、矩阵及向量求导法则

五、求导公式速查表

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!