现在到了下一步:在128GB显存的配置下,模型的预填充阶段可以完全驻留内存,因为在这个非常特殊的LLM——DeepSeek v4.1 Flash中,预填充过程并不使用解码器部分。
我们可以利用这一点,在进行大规模预填充时将所有层都加载到内存中。
评论
?
参与讨论
现在到了下一步:在128GB显存的配置下,模型的预填充阶段可以完全驻留内存,因为在这个非常特殊的LLM——DeepSeek v4.1 Flash中,预填充过程并不使用解码器部分。
我们可以利用这一点,在进行大规模预填充时将所有层都加载到内存中。