5t/s的本地模型速度,你觉得够用吗?

在我的系统上,我可以通过两种方式运行 Qwen3.8 27B:一种是将负载拆分到我的 RTX 3060(12GB)和 RTX 9070 XT 之间,速度约为 20T/s;另一种则是由锐龙 780M 集成显卡搭配 5400MHz 的 DDR5 内存来运行,速度约为 5T/s。

就我个人而言,我觉得 5T/s 的方案仍然更实用,因为我的内存足够大,还能让系统基本保持正常使用。甚至连游戏都能流畅运行,因为 CPU 计算部分完全不受影响。

说实话,这相当不错,在我看来,这种方案让我可以随时启动模型,同时照常使用系统,即便得到回答的时间要慢上四倍。

参与讨论