矩阵求导 cookbook

流过昼夜 提交于 2019-12-20 06:44:18

一、矩阵求导

  一般来讲,我们约定x=(x1,x2,...xN)Tx=(x1,x2,...xN)T,这是分母布局。常见的矩阵求导方式有:向量对向量求导,标量对向量求导,向量对标量求导。

1、向量对向量求导

这里写图片描述

这里写图片描述

2、标量对向量求导

这里写图片描述

3、向量对标量求导

这里写图片描述

其他的可以参考wiki:维基百科矩阵求导公式

二、几种重要的矩阵

1、梯度(Gradient)

这里写图片描述 
这里写图片描述

2、雅克比矩阵(Jacobian matrix)

这里写图片描述 
这里写图片描述

3、海森矩阵(Hessian matrix)

这里写图片描述

三、常用的矩阵求导公式

这里写图片描述 
这里写图片描述

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!