从参数对称性到有效学习率

近来，越来越多的论文或者博客，开始基于参数的对称性来分析和指导模型的优化，比如Hyperball、HyperTransfer、ELR等，它们总体都是围绕着$\ell(\boldsymbol{w})=\ell(c\boldsymbol{w})$这一对称性假设来展开探索。如果我们让优化器的设计也“顺应”相应的对称性，往往能让训练过程更为稳健，也能降低超参数调优的心智负担。

然而，对称性假设本身也有一些争议的地方，如何为这条路找到更可靠的基础，让它可以更合理地走得更远？这篇文章分享一下笔者的思考。