【矩陣求導】關於點乘 （哈達瑪積）的矩陣求導

在之前的博文中我們提到過，最好的求取矩陣梯度的方法就是將矩陣寫成微分的形式：

$\mathrm{d}f$ 化成 $\mathrm{d}f=\mathrm{t}\mathrm{r}(\mathbf{G}\mathrm{d}\mathbf{X})$的形式， 就可以得到$\nabla f={\mathbf{G}}^T$

在大部分情形中， $\mathrm{d}f$的結果都是包含了一堆矩陣相乘而$\mathrm{d}\mathbf{X}$在其中的形式， 這時候可以通過 $\mathrm{t}\mathrm{r}(AB)=\mathrm{t}\mathrm{r}(BA)$把$\mathrm{d}\mathbf{X}$移位到最後， 從而得到 $\mathrm{d}f=\mathrm{t}\mathrm{r}(\mathbf{G}\mathrm{d}\mathbf{X})$的形式。

今天要討論的是一種較為棘手的場景， 即當$f$中包含哈達瑪積的情況時。 由於哈達瑪積不能像矩陣相乘一樣在跡中任意的移位，那麼該如何求導呢？

利用哈達瑪積的重要性質：

$$\mathrm{tr}\left(A(B\ast C)\right)=\mathrm{tr}\left(\left(A\ast B^{\mathrm{T}}\right)C\right)$$
這裡$\ast$就代表哈達瑪積（也就是點乘）。 這個性質非常容易證明， 只需要證明左右兩邊的兩個矩陣的對角線元素都是相等的就可以了。 那麼，我們可以使用這一結論對點乘的情形就行求導。

以例子來說明， 首先是簡單的LS問題：
$$f(X)=\mathrm{t}\mathrm{r}\left((A-P\ast BX{)}^H(A-P\ast BX)\right)$$
其中$X$為複數， 因此我們只需將$\mathrm{d}(f(X))=\mathrm{t}\mathrm{r}(G\mathrm{d}(X^H))$的形式化出， $G$就是我們要求取的導數。

因此：
$$\begin{array}{l}\mathrm{d}f(X)=\mathrm{d}\mathrm{t}\mathrm{r}(-(P^H\ast X^H{B}^H)A+(P^H\ast X^H{B}^H)(P\ast BX))\\ =\mathrm{d}\mathrm{t}\mathrm{r}(-A(P^H\ast X^H{B}^H))+\mathrm{d}((P\ast BX)(P^H\ast X^H{B}^H))\\ =\mathrm{d}\mathrm{t}\mathrm{r}(-(A\ast P^{\ast })X^H{B}^H))+\mathrm{d}((P\ast BX)\ast P^{\ast })X^H{B}^H))\\ =\mathrm{d}\mathrm{t}\mathrm{r}(-B^H(A\ast P^{\ast })X^H))+\mathrm{d}(B^H(P\ast BX)\ast P^{\ast })X^H))\\ =\mathrm{t}\mathrm{r}(B^H((P\ast BX)-A)\ast P^{\ast })\mathrm{d}(X^H))\end{array}$$

可以得到梯度為 $B^H\left(\left(P^{\ast }BX\right)-A\ast P^{\ast }\right)$。

技巧： 反覆使用$$\mathrm{tr}\left(A(B\ast C)\right)=\mathrm{tr}\left(\left(A\ast B^{\mathrm{T}}\right)C\right)$$
使得自變數$X$不參與哈達瑪積的運算。