动量的新理解：逼近特征层面的梯度下降

一个以动量为状态变量的优化器，基本形式如下：
\begin{equation}\begin{aligned}
\boldsymbol{M}_t =&\, \beta \boldsymbol{M}_{t-1} + (1 - \beta) \boldsymbol{G}_t \\[4pt]
\boldsymbol{W}_t =&\, \phi(\boldsymbol{W}_{t-1}, \boldsymbol{M}_t, \boldsymbol{G}_t, t)
\end{aligned}\end{equation}
不同的优化器差别主要体现在更新函数$\phi$上，如SGDM、SignSGD、Muon等，新的探索也基本围绕$\phi$进行，因为第一个式子的动量太简单，简单到大家不认为它有什么修改空间。

而本文的主角正是动量。我们将给动量机制带来一个新的理解视角：动量不仅仅可以看作梯度的平均，它还可以被视为一个在线回归问题的解。由此出发，我们可以自然地引出最近的一些工作。