在戴尔与NVIDIA AI黑客松中获得第三名的感言
<p>上周日，我报名参加了戴尔与NVIDIA联合举办的本地人工智能黑客松。当天，桌上摆满了四十个搭载GB10芯片的戴尔Pro Max机箱，而且有一条硬性规定：必须打造一款完全运行在机箱内部的项目。<br><br>不使用任何云平台API，也不使用预构建的代理。</p><p>我们对“不使用预构建”这一规则的执行程度，甚至超出了预期。我们甚至没有提前讨论过任何创意。我们只想看看，一支从未合作过的团队，能否在当天即兴头脑风暴，依然打造出一款值得演示的产品。<br><br>这正是这次活动的核心目的。</p><p>感谢您阅读devashish.me！免费订阅，即可接收新文章，并支持我的创作。</p><h2>搭建过程耗去了前两小时</h2><p>本次活动组织得相当完善。我唯一觉得遗憾的是：咖啡不够。虽然我们准备了能量饮料，也勉强应付过去，但咖啡终究还是咖啡。</p><p>更大的问题在于Wi-Fi网络。要让GB10顺利连接上网络，并完成最后几项依赖项的拉取。凡是与网络相关的操作，都让我们浪费了原本本可以用来完成其他任务的30到60分钟时间。<br><br>按照指示，我们早已将模型预先加载到U盘中。布莱恩还带了一台便携式网络交换机，他一插上电源，网络连接立刻就正常运作了。</p><p>我已经在本地运行过一些模型一段时间了，因此我随身携带了权重文件，并且将整个堆栈脚本写进了vLLM仓库中。当机箱正式上线后，我在LiteLLM网关后面启动了<strong>Qwen3.6-27B</strong>（27B密集型），并通过本地网络将其公开，以便全队成员都能轻松访问。<br><br>在这一天进行到…</p> 
评论
点赞
收藏