Checkpoint 不等于 Policy：PDM 与 RLT 两份 LLM 训练报告的合并评读

为什么会这样：2026年9月，我将同一作者行的两份项目报告导入了我的保险库，一份关于预填充-解码内核错配（“PDM”）的诊断报告，以及一份关于循环循环变换器（“RLT”）的架构报告，并将它们交叉链接。

紧接着第一篇阅读第二份报告，这两份报告不再像是独立论文。一份说部署和训练计算之间的不匹配是可测量的，必须合同化;另一份则说可以通过设计消除。

我为导入会话起草了一份中文合并阅读;这是英文档案版本，围绕三个问题重新组织：每份报告提出的问题是什么，它对此做了什么及其带来什么，以及哪些内容经得起批判性阅读。

论点是：PDM将强化学习的执行忠真度变成可以测量、记录和审计的对象，而RLT则将其变成可以设计的东西，但两者都无法闭合从不匹配到端到端训练结果的因果循环。

范围：涵盖截至2026年9月的两份报告（PDM8月6日，8月24日修订;RLT九月）、它们的问题陈述、机制、证据和弱点。它不重新推导它们的数学计算，也不独立重现任何数字，并将两者视为非同行评审的项目报告。

批评中的跨架构热点假说是我的，不是他们的。

前提条件：这假设你熟悉自回归解码和KV缓存，策略内的强化学习基础知识（重要性比、非策略修正、支持条件），以及对状态空间和线性注意力模型有大致了解。

PDM指出的问题是：检查点不是策略

我多年来一直假设检查点定义了一个策略：加载权重，每个读取权重的运行时计算相同的分布。PDM开头就将这一假设拆分成多个部分。强化学习流水线通过采样器生成滚动（并行预填充构建KV缓存;解码步骤逐个扩展，通过量化、自定义核和采样变换），并用训练器对相同的令牌进行评分（通常是一次教师强制的并行传递，另一个算符，另一个简化顺序，有时还有一个精度）。

两个参数相同的引擎最终定义了两个令牌分布。

具体来说，报告将抽样标记对数比写成两个项的和：

$\log \rho_t = \underbrace{\log \pi^{\mathrm{trainer}}{\theta_n}（a_t \mid h_t）- \log \pi^{\mathrm{beh}}{\theta_n}（a_t \mid h_t）}{\Delta{\Mathrm{kernel}}}+ \underbrace{\log \pi^{\mathrm{beh}}{\theta_n}（a_t \mid h_t）- \log \pi^{\mathrm{beh}}{\theta_v}（a_t \mid h_t）}{\Delta{\mathrm{stale}}}。

$

第二个术语是异步强化学习的熟悉陈旧：当采样器和训练器同步时，它会消失。第一个术语则不会。完全同步的流水线对训练器自身的目标来说仍然可能违规。

这句话改变了我对每一句“我们使用快速推理引擎进行推广”的理解。

这个标志性漏洞值得单独写一段，因为它距离任何真实仓库只有三行之遥。如果你用采样器算子采样，然后用训练器算子重建“旧”概率，那么在零延迟下，你重新计算的比率按结构正好是1，而正确的比率仍可能与1不同。

重新计算并不能固定漂移。它隐藏了缺口，这是报告的说法，且是结构性地实现的，而非偶然。

还有一些情况下，差距不是四舍五入的细节。对于softmax attention，KV缓存递现和并行因果传递的代数在精确算术中等价，但该身份不是证书：平铺、融合、累积顺序、缓存布局、批处理、并行通信、精度、量化和后logit变换都在两个计算之间存在。

对于线性注意力和状态空间模型，情况更糟：按标记、扫描和分块实现是不同的调度，块大小C从1（标记）到L（一个区块），变更调度时浮点括号也会发生变化。

每隔一个后期状态都会传播一次边界错误。DeltaNet使其变得个性化：其状态更新是数据依赖的修正写入，因此前一状态的错误会参与下一次写入，而不仅仅是在下游被观察到。

对并行化δ规则核进行循环采样是两种策略，除非被证明相反。

我觉得最明显的是契约分割。分布宇称（采样器访问的每个历史都保持相同的前向分布）和分数宇称（训练者区分部署策略的得分函数，或等效的前后实现）在逻辑上是不同的。

在一个参数值下，前向分布相等并不意味着雅可比分布相等。而且支持是契约的一部分：如果硬性top-k、top-p或精确下溢为目标保留的动作赋予零行为概率，则不定义下游似然比，采样的对数概率无法事后修复这一概率。

我曾将支持归类为“实现细节”。其实并非;它是估计器存在的前提条件。

RLT命名的问题：一个模型，四个执行路径

RLT的问题陈述读起来就像是同一诊断，只是上一层。生产生命周期中的模型会经过预训练、监督微调、推展采样和重放，每个阶段历史上都使用自己的计算路径、掩蔽和缓存。

报告明确引用了PDM的观点：仅仅匹配某个参数值的前向概率不足以建立匹配的策略梯度，仅靠共享架构转换也无法证明数值内核的奇偶性。

因此，RLT中的重放合同不是附加在架构上的操作检查表;架构的选择是为了让检查表变得廉价，以满足它。

RLT 问题的后半部分是深度。在标准变换器中，令牌可用的计算深度就是层数，仅此而已。RLT 希望推理深度能随序列扩展，而非随栈扩展：它对每个观察或采样的标记应用单一历史相关的转移，且递归状态从一个标记到标记之间连续中间计算。

在 t 个标记之后，状态路径在逻辑块评估中穿越了解码器深度的 t 倍。

这两部分是相互连接的。如果一个过渡服务于每个令牌和每个生命周期阶段，那么采样器与训练器不匹配的结构性部分在结构上就会消失。

没有提示路径和响应路径可以产生分歧;服务分段只是令牌历史中的一个边界。我注意到这里，RLT并不声称这能让事情变得更容易。它声称这使事情保持一致，而一致性是它自身重放合约所需的属性。

PDM对此采取了什么措施

报告将测量与维修分开，其机制分为五层。我保留这张桌子，因为下次建立强化学习训练栈时我会需要它。

这四种解决办法意见会有所不同。第一种是暴露：记录原始缺口及其分解（在审计子集上，因为分离项需要在当前权重下重放采样算子）。

第二种是将一个递归或块规则纳入模型语义，并在所有地方执行，这样就无需对账;报告谨慎避免分块不提前生成随机标记，因此精确的并行生成仍需提案和验证。

第三是精确度，我现在默认保留一个梯子检查表：FP32基线用于重复状态、衰变产物和状态更新简化;FP64作为审计参考而非训练默认;并且无法通过向上投射已四舍五入的BF16状态恢复信息。

报告用我经常引用的一句话描述了路由状态：precision是缓解措施，不是政策上证书。底层的错误递归值得写一次，因为它解释了为什么仅靠precision无法关闭合同：

$|e_t|\le L_t，|e_{t-1}|+ \delta_{\mathrm{round}} + \delta_{\mathrm{schedule}}.$

这里 $L_t$ 是一个局部状态敏感因子，两个加法项涵盖了算术四舍五入和变换的排程（扫描树、块边界、物质化规则）。高精度会收缩 $\delta_{\mathrm{round}}$。

它不会收缩 $\delta_{\mathrm{schedule}}}，当 $L_t$ 的乘积很大时，也不会停止放大。这就是反对将 FP32 视为证明的全部理由。

第四种解决办法是我没预料到的。拿推测解码的机制反转其角色：循环实现是正确性权威，廉价操作员起草，修改拒绝抽样（概率接受$\min（1， p_i（y_i）/q_i（y_i））$，从$p_i - q_i$拒绝时的归一化正部分重新采样）恢复到声明的硬件数字。

报告明确指出，这只有在绘图成本低、接受率高、验证批次良好时才有用，且当重复验证仍是串行瓶颈时，无法提供加速。它还划出了一条我本来会模糊的界限：提案接受比不是强化学习的重要性比。

经过精确验证后，提交的令牌会根据重复目标分配，因此记录将目标的日志概率存储为行为日志概率。

PDM的测量结果

四个证据块和一个登记。我更关心“未确立证据”栏，而不是标题数字。

我会关注的是注册协议。这是一个完整的预注册（数据门、模型、机械臂、种子、评估），并有个诚实的脚注：没有任何机械臂被接受，早期的试点被排除在索赔之外。

我本以为会有一份规模化论文掩盖这一点;结果它就排在了顶端。

RLT对此采取了什么措施，以及其成本

我从RLT中保留的心理模型是一个过渡，没有重置。每个令牌、提示或响应都会推进一个单一状态 $H_t = （s_t， C_t^D）$：一个循环输出加上层级滑动窗口缓存。

提示的结尾是记账中的服务边界，而不是条件模型的变化。梯度遵循相同的路径：参考训练计算在整个历史中微分（带检查点的全时间反向传播），报告对近似泄漏的区域非常精确（仅分离递归输出仍会通过KV缓存和编码器内存留下梯度路径;SWA驱逐不是停止梯度）。

对于试图证伪或采纳这一点的人来说，有三个性质很重要。首先，服务分割不变性：在相同的核和精度下，提示与响应的分离不会改变条件分布。

报告本身将此标记为数学等价性，因此数值差异正是PDM问题重新进入的门户。其次，状态仅依赖于前缀，附录警告仅通过$\partial s_t / \partial s_{t-1}$的梯度乘积会错过缓存路径;归一化不会限制转移雅可比矩阵的乘积。

第三，缓存精确性：缓存前缀只有在匹配当前参数、位置、窗口语义和执行设置时才能替代重放;在较旧权重下构建的缓存既不满足当前策略值，也不满足梯度要求。

成本方面报告异常直率。解码器路径在所有T转换中是顺序的，因此编码器的并行性并不意味着预填充完全并行，报告也声明没有预填充加速的缩减。

缓存存储随着编码器深度加上有界解码窗口而增长。训练组需要完整的BPTT。深度故事本身带有星号：无界结构深度不等同于无界有用深度，因为门、收缩和学习投影会抑制长路径带来的贡献。

我觉得星号比标题更有趣。设计使深度可用;学习是另一个问题。

那么，截至2026年9月，RLT带来了什么？一个机制规范。没有测量的推理质量，没有测量的硬件效率，没有扩展曲线。它的主张是，如果遵循该学科，固定权重的并行-递归不匹配就没有立足之地，因为只有一次复发。

这是一个真实的设计层面效应，而是一个零证据的实证效应。

两份报告之间的接缝

把PDM的合同清单放在RLT设计旁边，一行一行地看。这是我每次有人告诉我某个架构“解决”了不匹配时我会查看的表格。

收敛体现在诊断中，且几乎逐字表示：两份报告都将前向概率平称不充分，得分平称为独立契约。分歧在于覆盖范围。RLT借用了PDM的逻辑，但不借用PDM剩余的三个模块，这意味着按照PDM自身标准，RLT部署并非自动精确;它与其他流水线一样可审计，起始结构更完善。

结构性不匹配（提示路径与响应路径）被设计消除。执行不匹配（同一RLT转换在不同内核、精度和调度上运行）仍由PDM管辖。

我认为这是互补性的，而非竞争。RLT使PDM的重复目标模式能够大规模实现，因为“典型复发”不再是审计噩梦，而是成为模型。PDM仍然是为什么你不能在不测量的情况下称结果精确。

每份报告都是对方的清单。

评论评价

PDM：具有开放因果循环的强证据链

测量设计谨慎，自限性是真实的：报告拒绝声称间隙大小意味着能力损失，将跨模型数字标记为描述性，并将支持应力标记为附录级证据，并预先声明了结果。

我还看不到封闭的价值主张。如果生产路径p95的对数比处于0.04到0.09之间，甚至全分布应力也显示全线一致，那么对当前数据的诚实解读是，这一差距在测试配置中是真实的、可测量的且适中的。

这使得这一议程首先是保险和可审计性，性能修复排在后，直到注册实验表明相反。我还希望有成本账本：循环重播放弃序列并行性，精确阶梯成本计算，提案验证根本无法加快速度。

没有人将学科与它消除的差距定价。

两个较小的批评。首先，实证表面较小：一个8,192标记的提示路径，16个压力历史，以及一个128条路径的玩具SSM。这些展示了可测量性，而非普遍性。

其次，工具箱的大部分由已知部分组成（重要性抽样、修改拒绝、FP32基线）;新的贡献是执行层框架和系统化合同化。这是框架贡献，期待算法带来惊喜将是类别错误。

RLT：零测量的设计学科

该报告在设计提案中异常诚实，这种诚实也体现在评估中。报告中没有测量结果，承认结构深度不能保证推理，也承认权重绑定和时间递归本身无法带来新颖性。

剩下的是一个系统一致性论证：生命周期仅有一个转换，结构中推导出的重放语义，以及缓存、多回合服务和梯度近似的显式接口。成本与其卖点相反：预填充失去并行性，内存增长，训练需要完整的BPTT。

是否存在质量与成本的最佳平衡点，正是尚未存在的实验。按PDM标准，RLT的精确重放主张本身也待审计：没有精度阶梯，没有内核级审计，且对随机计算的处理也仅限于确定性前向假设。

两者共同留下的空白

完整的叙述链条是：诊断执行不匹配（PDM），设计消除（RLT），展示训练结果的变化。第一个环节被测量，第二个被指定，第三个是空的。

两份报告中都没有经济学成分。两者都以正确性为名增加成本，且都没有给出学科在多大训练规模上为自身付出代价。我自己的工作假设（标记为推理而非结果）是，收益高度依赖于架构：我预计密集的软最大配置会保持在适度区间，而按块的状态空间和δ规则模型则存在结构性空白，其中对齐纪律可能是稳定运行与神秘运行之间的区别。

系统化的间隙分类法（架构家族对核对对精度）不存在。这个矩阵是我能看到的该领域最有价值的缺失产物。

我从它们一起阅读中得到的启示

需要保留两个钩子。PDM：检查点名称不是策略;策略是可执行分布，精确的部署梯度还包括其评分函数。RLT：整个生命周期的一次转换，否则重放的忠实度会变成别人的审计问题。

三个操作项，按我接触的任何强化学习栈应用的时间顺序排列。第一，审计重计算漏洞：如果用训练器引擎重建旧概率，内核间隙会被隐藏，解决方法是在采样时存储采样器发出的概率。

第二，在缩放前采用最小记录契约：采样器日志概率、版本、执行签名、采样元数据，均为不可变。第三，声明目标模式（循环目标或声明并行目标），且不模糊;模糊状态是静默离策状态所在。

观察点是注册的DAPO实验。运行时，它成为第一个因果数据，说明这些是否改变训练结果，以及哪个臂（天真、原始局部IS、稳定IS、FP32缓解）先移动。

我的先验比较温和：我预计FP32状态处理比混合模型的比率修正更重要，且在密集模型中两者都不会有太大影响。我希望在某个具体方向上是错误的。

如果稳定臂在200步时从天真臂分离，这整条线的优先级从保险转向干预。

边界条件

• 本次解读中的每个数字均为截至2026年9月，PDM已进入第二次修订（8月24日）。数据应视为有版本化，而非固定数据。
• “适度差距”读数受测试配置限制：4B类模型、一条8,192令牌提示路径、16条应力历史。该值不扩展至前沿规模或其他架构。
• 热点假说（结构结构中缝隙更大）是我的。无论哪种方向都可能错，注册的实验只测试两个Qwen模型。
• RLT的成本特性是争论的，而非衡量的。一个可行的实现可能比设计推理所暗示的更好或更差。
• 两份报告都有一个未被深入探讨的前提：一旦可衡量的执行忠实度，就值得优化。如果审计规模与结果无关，议程将从工程优先级转向簿记。
• 我把两份报告都当作非同行评审的项目报告来看;缺乏外部评审是上述所有内容的界限。

开放问题

• 当DAPO注册运行时，哪个臂先与天真分离：稳定令牌本地IS、FP32递归状态缓解，还是200步内都不分离？
• 在固定尺度下，不同架构家族的实际三角-内核矩阵是什么样的？有没有廉价的预训练预测器来预测“这对内核会有影响”？
• 四部分奇偶校验审计能否作为训练栈中的配置群门运行？一个审计步骤相对于一个优化器步骤的成本是多少？
• RLT的服务分割不变性能否经受生产译码栈的保存，还是在采样器不再是参考内核时，硬件熵会重新打开PDM的缺口？
• 是否有一种模式，使得全BPTT的重复回放比它消除的错配更便宜，比如短反应可验证奖励强化学习，结果方差占主导地位？

[[Q]] 六个月后：DAPO-17k-Eng注册是否产生了被接受的结果？是否有任何核错配臂在评估中超过了天真基线？如果没有，请检查阻断器是基础设施、支持违规还是真正的无效效应。

参考文献

1. Yifan Zhang 等，“可靠的强化学习扩展需要考虑预填充-解码内核不匹配”，Pretraining-RL-Science 项目报告，2026年8月6日（修订于2026年8月24日）。https://github.com/yifanzhang-pro/Pretraining-RL-Science
2. Yifan Zhang 等，《循环环变换器》，项目报告，2026年9月。https://github.com/yifanzhang-pro/recurrent-looped-tranformer