让炼丹更科学一些（九）：经典自适应梯度算法

本系列前面八篇文章，都是在围绕SGD及其学习率讨论。而从本文开始，我们将正式进入自适应梯度算法的世界。可以说，现在所有的自适应梯度算法，都有一个共同的源头，那就是2011年的经典之作《Adaptive Subgradient Methods for Online Learning and Stochastic Optimization》——也就是著名的AdaGrad论文。

这篇论文将SGD的经典收敛结论推广到一般的预条件矩阵形式，继而推导出最优的预条件矩阵正是梯度的二阶矩（的$-1/2$次幂），然后取对角线近似得到AdaGrad。虽然AdaGrad本身不算太流行，其启发的后续工作如RMSProp、Adam等，是当之无愧的主流优化器。不仅如此，后续的Shampoo、KL-Shampoo等优化器，都还算是它的传承。

本文就让我们一起来重温这篇经典作品。