比光速还快：M4 MacBook Air 上跑通 Qwen3.8-Flash-Next 的推理引擎

我认为，目前在 Apple Silicon 上运行 Qwen3.8–Flash-Next 的内存受限推理方面，我可能保持着一项纪录——仅需约 21GB 的内存分配。

我们推出了 Cherenkov，这是一款专为 Apple Silicon 设计的推理引擎，将预测性专家流式传输与可选的混合精度执行相结合。其工作原理是在统一内存中维持一个大小受限的专家工作集，而非加载整个模型。

通过单层前瞻机制预测接下来所需的专家，并提前发起 SSD 读取操作。如果时间不足以加载完整的目标专家，Cherenkov 还可选择退回到按需加载更小的 Q3/Q2 量化版本。