携手 Etched:构建推理机器

与Etched合作:构建推理机器
加文、罗布、克里斯和Etched团队正在构建前沿集群进行推理,最大化人类每翻牌能消耗的智能。
推理正走在成为全球最大市场的道路上。
如果这个人工智能梦想如我们所愿——到目前为止,迹象表明能力的加速将不断提升——那么推理将驱动每一个商店、 每部电影、每一次医疗经历、每一款电子游戏、每一场诉讼、每一行代码。
如今,推理市场如此庞大,构建专门针对推理的系统已成为共识。 回到2022年,当加文、克里斯和罗布还在哈佛的宿舍时,这个赌注完全相反。 结果是:Etched 成为唯一一家在 ChatGPT 时代后拥有可量产定制硅片的硬件初创公司,预计于 2026 年出货。
近年来,Etched 开创了多项研究突破——低压推断和集群级内存——每一项都是来之不易的架构选择, 推动了吞吐量和延迟的阶级变更。随着计算单元从芯片到机架再到集群,Etched为此设计了这一现实, 不仅构建芯片,还构建集群级的推理系统。 受这些基础创新驱动,Etched 的推理系统在全范围前沿模型中表现出色——从大型稀疏的 MoE,到密集的变换器,再到完全替代的架构,如 Mamba。
相信这一点是一回事。建造它又是另一回事。 新型计算硬件是世界上最难做到的事情之一,而地下的地面也在不断移动。 模型每隔几周就变一次,上下文长度拉长,注意力被重新塑造,密集与稀疏的混合不断变化。 在这里获胜意味着同时做两件事:快速迭代以跟上模型的步伐,以及推动硬件的极限。 这需要一种罕见的团队:足够有远见,能够创造出合适的设计,足够年轻能快速行动, 足够成熟以让芯片投入生产,并且为此打造了几十年的经验,没有一次流片。
第一次走进Etched办公室,就像一道闪电。 早上或晚上11点去——能量一样,而且很有感染力。 加文和罗布是那种既敢于从基础设计硅片,又敢于克服一切障碍的异类,而他们组建的团队也与之匹配。 我们见证了他们做出区分那些仅仅谈论硬件与真正出货的人的事情:在圣何塞搭建了一个实时实验室来举办他们的第一个货架;在台湾设立办事处, 与供应商共址并加快检测进程;质疑所有可能假设,比如低压推断。 “生产就是产品”是公司的座右铭。运输才是最重要的。
公司的进展非常迅速。今年早些时候,Etched在台积电完成了第一代芯片的封带, 成为ChatGPT时代后首家成功实现台积电前沿节点全准星A0芯片磁带输出的公司。 随后,在短短40天内,Etched团队推出了首批芯片集群,用于对各种前沿AI模型进行推理, 在业界标准的吞吐量-交互性曲线上实现了帕累托的主导性能。 现在,Etched最早的客户开始接触该产品,亲眼见证系统的速度、吞吐量和表现力。
Etched在第一代打造了一台漂亮的机器。 我们预计它在市场上表现会非常好。但我们选择与Etched合作,是因为我们相信他们打造了这个行业中最稀有的东西: 制造机器的机器。这是一个有品味且坚持不懈的团队,能够不断推出下一代推理机, 每次都更快、更具雄心。
智力种族本质上受计算限制。推动物理极限以每张翻牌获得最大智能,既是一个极其有趣的工程和操作难题,也是人类极其崇高的使命。
我们很高兴与Etched合作,领导其3亿美元的C轮融资,估值达到100亿美元, Jane Street、Andreessen Horowitz、Diffusion和SK海力士的合作伙伴也加入了我们的团队。
分享
分享到Facebook上
在推特上分享此内容
在LinkedIn上分享此文
通过电子邮件分享此内容
该岗位与Etched合作: 构建推理机器最初发表于红杉资本.