流形上的最速下降：7. Stiefel的解析解

对于正交流形，我们此前的结论是：方阵情形下，我们可以完整地写出对应最速下降的解析解（参考《流形上的最速下降：2. Muon + 正交》）；但对于非方阵的Stiefel流形，其最速下降问题需要求解一个非线性方程组，其解析解无法直接写出（参考《流形上的最速下降：3. Muon + Stiefel》）。

但近日，《Muon on the Stiefel Manifold Admits an Exact Closed-Form Update》推翻了这个断言，它指出Stiefel流形上同样可以写出显式解，无须求解方程组。本文将用自己的思路，复述整个推导过程。

问题回顾

问题背景我们就不过多复述了，直接给出要求解的问题：设$\boldsymbol{W}\in\mathbb{R}^{n\times m}(n \geq m)$是当前参数，$\boldsymbol{G}$是目标函数在$\boldsymbol{W}$处的梯度，我们要找的是正交约束下步长为$\eta$的最速下降方向$\boldsymbol{\Phi}\in\mathbb{R}^{n\times m}$，即
\begin{equation}\newcommand{tr}{\mathop{\text{tr}}}\max_{\boldsymbol{\Phi}} \tr(\boldsymbol{G}^{\top}\boldsymbol{\Phi}) \qquad \text{s.t.}\qquad \Vert\boldsymbol{\Phi}\Vert_2 \leq 1,\,\, \boldsymbol{W}^{\top}\boldsymbol{W}=\boldsymbol{I},\,\,(\boldsymbol{W} - \eta \boldsymbol{\Phi})^{\top}(\boldsymbol{W} - \eta \boldsymbol{\Phi})=\boldsymbol{I}\end{equation}