大模型推理优化：vLLM 连续批处理与 PagedAttention 原理

卟言博客，一个分享编程语言、工作经验、生活记录的博主关注


大模型推理的成本 80% 不在计算，在显存——自回归解码阶段的吞吐主要受显存带宽限制，而非纯计算 FLOPs

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论