大佬们本地双卡3080都是如何部署大模型的？

LINUX DO 最新，Linux.do，新兴的中文高质量技术社区，覆盖 Linux、编程、AI 等话题。关注

解决了 --kv-offloading-size 20 谢谢大佬

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论