双 7900 XTX：有人做了个高度优化的 llama.cpp 分支，Qwen 3.8 Q8 解码达 82 tokens/s

请注意，这不是我的作品，而是我找到并想分享的一个项目，希望能有更多人继续推动它的发展。github.com/nasone32/llama.cpp-RDNA3-7900xtx-opt：我基本上在一台消费级PC上运行了两块7900 XTX显卡。

这个仓库将Qwen 3.8 Q8模型优化后，使其能够在这样的配置上运行。在我的测试中，使用原生llama.cpp结合Vulkan时，解码速度约为28 tokens/秒；优化后，在6万上下文长度的情况下，解码速度提升至约82 tokens/秒。

效果相当不错——整个环境是在Linux下由Luna搭建的，运行得非常顺畅。