芦苇
发帖子
探索
今天发现最新帖子添加订阅
热门板块
🤖AI💡科技💻开发🧭产品🛠️工具
订阅
关注
下载芦苇 App ↗
我我的
进入阅读器模式

24GB显卡上跑256K上下文+MTP的Qwen3.8-27B:50 tok/s本地推理实验

Piszczek,我不创办公司,我构建消除整个行业摩擦的系统。Archdesk 的 CTO,Lextron.ai、Inclify、Rejsomat.pl、Robotero(已收购)的创始人,《Joule Wars》作者。关注
24GB显卡上跑256K上下文+MTP的Qwen3.8-27B:50 tok/s本地推理实验 图片 1
添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论

登录芦苇

登录后关注作者、收藏内容和参与讨论。

关于作者
Piszczek我不创办公司,我构建消除整个行业摩擦的系统。Archdesk 的 CTO,Lextron.ai、Inclify、Rejsomat.pl、Robotero(已收购)的创始人,《Joule Wars》作者。
相关文章
DFlash改变了每秒令牌的含义。查看相关内容
AI Kernel gen is easy with the rapid advancement of coding agents - if you have a compiler and dsl like triton/gluon. The real metric is end to end enablement of the entire stack, plus unlocking/integ查看相关内容
Modern Day Typographer查看相关内容