矩阵求导法则

矩阵求导的定义与常见公式。

一、矩阵求导的定义

设

共有 $m\times n$ 个变量。

那么定义：

即

结论

对于 $f:{\mathbb{R}}^{m\times n}\to \mathbb{R}$，即：输入是矩阵，输出是标量。

则：${\displaystyle \frac{\partial f}{\partial X}}$ 与 $X$ 形状相同。

即：$X\in {\mathbb{R}}^{m\times n}$，那么 ${\displaystyle \frac{\partial f}{\partial X}}\in {\mathbb{R}}^{m\times n}$。

AI 里常见的矩阵求导公式

1. 线性项

导数：

导数：

2. 二范数

导数：

3. 二次型

导数：

若 $A=A^T$（对称），则：

4. Frobenius 范数

导数：

5. 线性变换

对 $x$ 求导：

对 $W$ 求导（反向传播常用，其中 $L=L(y)$）：

这是神经网络权重更新最核心的公式。

6. Trace 技巧

若 $A$ 对称：