无数字的算术——大语言模型如何做数学运算
大语言模型没有手指、算盘和草稿纸,只有矩阵和向量——它们到底怎么做算术?本文通过Rune项目的系列实验,揭示了模型内部的螺旋编码机制:数字被表示为向量空间中的相位与位置坐标。作者区分了"渲染已知答案"和"真正计算"两个本质不同的问题,展示了探测、稀疏自编码器、激活修补和转向四种检查模型内部状态的方法。核心发现:模型内部可读取的变量不等于可写入的寄存器,在hidden state中直接注入修正结果的尝试未能成功;更可行的路线是从激活向量中解码出操作和操作数,再交给外部计算器。文章有大量一手实验细节和严谨的方法论讨论,信息密度极高,适合对LLM可解释性有深度兴趣的读者。 
