前言与感谢
- 以前就对矩阵求导有心理阴影，到底要不要转置，哪个矩阵放在前面，哪个矩阵放在后面，链式法则怎么搞，由产生此类一系列让人头大的问题。其中，最令人智熄的是经常网上的一些算法公式推导根本是错误的，因为矩阵维数根本不匹配，故这些无良的发布者可能根本就没有手推过，天天搞复制黏贴大法，很多时候都是大量重复错误的内容。最近读了一些材料，感觉心中有了一些数，因此想通过本文总结，一次性梳理清楚。是时候搞定矩阵微分了！
参考材料：
- Kaare Brandt Petersen, Michael Syskind Pedersen. "The Matrix Cookbook", 2008
- Thomas P. Minka. "Old and New Matrix Algebra Useful for Statistics", 2000
- Searle Shayle R. "Matrix Algebra Useful for Statistics", 1982
- Jan R. Magnus, Heinz Neudecker. "Matrix Differential Calculus with Applications in Statistics and Econometrics", 2007
- "Matrix Vector Derivatives for Machine Learning", (作者邮箱：ruanchong_ruby@163.com)
- 张贤达. 矩阵分析与应用, 2004
- 长躯鬼侠. 矩阵求导术(上), (https://zhuanlan.zhihu.com/p/24709748)
- 刘建平. 机器学习中的矩阵向量求导, (https://www.cnblogs.com/pinard/)