在戴尔与NVIDIA AI黑客松中获得第三名的感言

上周日，我报名参加了戴尔与NVIDIA联合举办的本地人工智能黑客松。当天，桌上摆满了四十个搭载GB10芯片的戴尔Pro Max机箱，而且有一条硬性规定：必须打造一款完全运行在机箱内部的项目。

不使用任何云平台API，也不使用预构建的代理。

我们对“不使用预构建”这一规则的执行程度，甚至超出了预期。我们甚至没有提前讨论过任何创意。我们只想看看，一支从未合作过的团队，能否在当天即兴头脑风暴，依然打造出一款值得演示的产品。

这正是这次活动的核心目的。

感谢您阅读devashish.me！免费订阅，即可接收新文章，并支持我的创作。

搭建过程耗去了前两小时

本次活动组织得相当完善。我唯一觉得遗憾的是：咖啡不够。虽然我们准备了能量饮料，也勉强应付过去，但咖啡终究还是咖啡。

更大的问题在于Wi-Fi网络。要让GB10顺利连接上网络，并完成最后几项依赖项的拉取。凡是与网络相关的操作，都让我们浪费了原本本可以用来完成其他任务的30到60分钟时间。

按照指示，我们早已将模型预先加载到U盘中。布莱恩还带了一台便携式网络交换机，他一插上电源，网络连接立刻就正常运作了。

我已经在本地运行过一些模型一段时间了，因此我随身携带了权重文件，并且将整个堆栈脚本写进了vLLM仓库中。当机箱正式上线后，我在LiteLLM网关后面启动了Qwen3.6-27B（27B密集型），并通过本地网络将其公开，以便全队成员都能轻松访问。

在这一天进行到大约三分之一的时候，我们终于迎来了一个可用的本地推理端点。

此前，我曾在以下链接中详细记录了我的搭建过程：

提供的硬件——GB10机箱、显示器、键盘、鼠标——可谓十分慷慨。然而，这些外设却采用了蓝牙连接方式。其中有一半设备无法顺利配对成功。

关于这一点，稍后我会再详述。

找到一个值得在本地解决的问题

接下来的这段时间，我们继续展开头脑风暴。四位从未共同打造过AI解决方案的人，来自不同的领域，每个人都怀揣着自己独特的创意想法。

经过一番努力，我们才逐渐达成共识，说实话，我一度低估了这个过程所需的时间。

在我们最终选定方案之前，我们先在墙上贴上了两条限制条件……