70x faster cold(ish) starts for SGLang

Fergus Finn，Fergus Finn 关于大语言模型推理与机器学习系统的技术思考。关注

Checkpoint/restore with CRIU and cuda-checkpoint, from 12 minutes to 10 seconds on a B200.

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论