慢即是快：1. Shampoo的尽头是Muon？

众所周知，Muon优化器流行起来已经有好一段时间，虽然说不上完全取代Adam，但已经算得上不能忽视的、极具竞争力的优化器。与此同时，这两年Shampoo系优化器也“不甘落后”，除了原始Shampoo外，还演变出KL-Shampoo、OKLS、PSGD、SOAP等变体，都声称获得了比Muon更好的结果。

然而，本文将会泼一盆冷水：所有类似于Shampoo的、基于Kronecker积的预条件优化器，其理想极限可能都是Muon——我们花大代价所做的预条件矩阵，可能都是“无用功”。

平均收敛

我们从《让炼丹更科学一些（十）：单调性假设的拆与补》得到的平均收敛结论出发：在凸性假设下，更新规则$\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \eta_t \boldsymbol{H}_t^{-1}\boldsymbol{g}_t$成立如下不等式