为什么专家缓存救不了稠密模型:16GB 显存跑 27B Dense 模型的推理优化实践

看完 6GB 和 8GB 显存用 Strata 跑 35B MoE 模型之后,很多人的第一反应是能不能用同样的办法跑 Qwen3.8-27B 这种稠密模型。这篇聊聊为什么专家缓存在稠密模型上会失效,以及单卡 16GB 显存下围绕显存规划、GGUF 混合量化原位 GEMV 和单流执行所做的工程实践。

参与讨论