谨慎看待缩放定律：深度学习的算力分配艺术

缩放律是深度学习领域最为关键的实证发现之一。这一观察在形式上非常简单：随着模型规模 $N$、数据集规模 $D$ 以及计算资源 $C$ 的增大，训练损失 $L$ 会按照幂律曲线规律可预测地下降，而在对数-对数坐标图中，这一曲线会呈现出一条直线。

我们可以将缩放律视为一种框架，用来描述计算资源、损失、模型规模和数据之间的关系；其核心在于如何在 $N$ 和 $D$ 之间最优化地分配宝贵的计算资源。