升级了两张 RTX PRO 本地推理机，体验真香

后续更新。感谢各位的回复。我没有更改硬件配置，虽然可能会损失一部分显存带宽，但未来如果需要的话还可以继续扩展。组装这台机器花了我两天半的时间，因为有一块连接到电源的显卡在负载时会突然掉电，所以我不得不重新检查并重新布线每一条连接，才找到故障点。

现在系统终于正常运行了，我真的很高兴——毕竟这是我第三次亲手折腾硬件，而我本身是做软件开发的。把线缆从主板和电源上拔下来的时候，我的指尖到现在还隐隐作痛。

为了充分发挥这套系统的性能，我还启用了显卡之间的点对点通信、CUDA图以及张量并行。我把两块显卡的功耗都限制在500W（其实也没啥特别理由，只是不想让它们全速运转）。

另外，机箱也得打开散热，因为温度飙得太高，风扇还发出奇怪的噪音。目前我运行的模型有：Qwen 3.8 Flash Next 8-bit 和 DeepSeek V4 Flash 0731（官方版本）。

我手头还有一块 M3 Ultra 512，也能跑大模型，但我个人觉得它用来推理实在太慢了，看着它那龟速就头疼。相比之下，这套新系统表现非常出色，解码速度能达到每秒150个token，预填充速度则高达每秒1万token。

Qwen不错，不过它的上下文里有很大一部分都被思考token占用了，我还在琢磨要不要干脆把思考token排除在外。用满上下文窗口后，留给并发请求的显存已经所剩无几了。

我很喜欢DeepSeek 1M上下文长度的设计，而且还能同时支持4个并发请求。这两款模型的表现都还不错，即便偶尔出错，我也基本察觉不到，因为速度快，出错后很快就能纠正并继续前进。

终于等到这一天了，我可以省下每月的订阅费用，也不用再担心每周或5小时的使用限制。我已经在服务器上部署了OpenClaw、OpenCode、OpenWebUI和Tailscale。

有没有人尝试过把Qwen的思考token从上下文中剔除，只保留最终结果？这样做对模型的性能或准确性有影响吗？还有没有其他建议，比如我还应该装些什么？

有没有什么新的模型可以试试？