FlashOffload: 7x Cheaper Prefills with Offloading

Doubleword，关于构建 AI 系统的笔记——机器学习与 AI 开发的实用工程洞见。关注

Extending SGLang to improve it's offloading capabiltiies, achieving speedups for compute bound workloads.

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论