在日本用废弃工业地块部署非主流AI算力
这个Substack的目的是告诉你半导体领域的动态。从这里到我的YouTube频道，有关于IBM突破晶体管密度壁垒的内容，关于新型硅芯片进入市场的视频，它们的性能如何、如何竞争，有时我还会评论它们的质量。
还有我报道的上千家初创公司，他们试图打破常规，进入市场份额，似乎已经占据了市场份额。但我也想报道并描述之后会发生什么。在我们称之为“的行业中，有一种现象基础设施，除了芯片之外，你还得问：它们去哪里了？很少有芯片能直接面向消费者，所以我们最终只能专注于企业级、数据中心、云服务提供商、超大规模企业，并通过计算和网络渗透。但电力从哪里来？水从哪里来？它们是如何使用的——杀手级应用到底在哪里？
我们谈论人工智能已经很久了，我报道过的初创公司，从Tenstorrent到d-Matrix、Cerebras、SambaNova，还有另外五十家，问题总是浮现：它们到底在哪里被使用？
今年AMD推进人工智能活动中，我偶然遇到了大卫·贝内特是More Than Moore的朋友。我上次采访他时是Tenstorrent团队的高管，但从那以后他决定创办一家名为AI&（又名aiand).他们总部设在日本，利用棕地站点向当地社区提供代币访问。
我想和David谈谈他们决定在基础设施中部署不仅仅是标准的NVIDIA和AMD设备，具体是什么样的？
以下文字记录经过轻微编辑以提高可读性。
Ian Cutress：首先，你正在做的这家新创业公司是什么？听起来像是日本本地的新型云？
大卫·贝内特：从所有合理角度看，我们都是一个新云。我创建了ai&，我们从今年（2026年）开始。ai&是日本的Frontier AI公司，我们非常重视主权AI的理念。
这其实是我在Tenstorrent学到的，主权AI的重要性。
伊恩·卡特雷斯：那是ai&，而不是&ai吗？关于开头非字母数字字符的规则？还是说某种哲学观点认为AI要么是主，要么是次要？
大卫·贝内特：这其实是个有趣的故事——我们最初是用 &ai 开始的，但在开始授权前大约一个月，我们调查发现有人已经在美国和日本都拿走了 & AI！
所以我们想，好吧，AI 和 It 就是这样。
Ian Cutress：你正在探讨主权人工智能的概念。我参加过很多活动，都会提到这个话题，即使在AMD的“推进人工智能”活动中，主权人工智能始终是讨论的关键部分。
对我来说，当我说主权人工智能时，我通常指的是孤立的、专门的架构，这些架构不仅适用于政府，也可能针对特定公司和行业，这些公司和行业不一定是空置解决方案，而是定制化、聚焦的解决方案。
是这样吗？
大卫·贝内特：我认为这很合理。我认为这个词实际上随着时间发生了变化，尤其是随着人工智能变得如此突出。过去，主权人工智能指的是完全隔离且专注的人工智能。
如今，当我们谈论主权人工智能时，我们指的是每个国家，尤其是大公司，尤其是国家，都不能依赖其他国家的人工智能堆栈。我们在政府围绕GPT-5和GPT-6所做的事情中看到了这一点。
我们在 AI& 所做的是建设和运营自己的数据中心，把所有 GPU、加速器和基础设施整合在一起，并在其上运行服务。但我们也一直延伸到模型本身。
我们用本地数据对自己的模型进行后期训练，最终希望进入预训练阶段。这个想法是，说到“主权”这个词，你不能是“大部分主权”或“某种主权”——你要么是主权，要么不是。
这对我们的客户来说很重要。
关于你提到的最后一点，我们也做这件事。我们有客户说，仅仅在日本驻留数据是不够的。他们说，仅仅知道令牌在哪里生成、去向或不去哪里是不够的——他们想要自己的专用GPU服务器，专属线路。
我们也可以这样做，但我们采用了更广泛的主权权定义。
伊恩·卡特雷斯：为什么你作为一个白人加拿大人，会是日本人做这件事的人？
大卫·贝内特：那又是另一个故事了！我的职业生涯始于日本。我总共在那里生活了十五到十六年。当我在AMD、联想和NEC以及Tenstorrent工作时，日本一直是我工作生活的重要部分，也是我最成功的地方。日本在人工智能部署方面稍显落后，所以我们正努力帮助它赶上进度。
Ian Cutress：这是怎么回事？我是八十年代的孩子，成长于九十年代和二〇〇〇年代初，日本一直被视为技术领导者和市场领导者。所有酷炫的东西都来自那里，如果你想从事技术事业，那也是你想去的地方。
那么人工智能后来怎么样了？
大卫·贝内特：我认为这是一种文化差异。日本在采用新技术方面往往比较慢，通常要一两年。但一旦采用了新技术，就会大展宏图，而且非常棒。
退一步来看，日本到底擅长什么？他们有一个叫“改善”的概念，他们非常擅长在现有流程上不断迭代和不断改进。你在丰田的生产系统中都能看到这一点。
AI的问题在于变化太快，目前还没有固定的流程可以迭代。它还没有稳定下来。我认为这就是我们可以介入、帮助弥合差距的地方。我们正在努力，而且还要做得更远。
在我看来，日本仍在运行旧的数据中心模式，即你建好数据中心，交给客户，然后说“祝你好运！”有了高性能计算和分布式计算，你可以做到这一点，但随着人工智能变化如此迅速，我们选择了将推理作为服务提供的方式。
不用担心那些复杂的事情，比如你的Kubernetes、你的推理栈、你的SGLang、你的虚拟语言语言模型（vLLM）——这些我们都会处理。我们会在一天结束时给你一个代币流，你可以去使用这些代币，专注于你擅长的事情。
Ian Cutress：难道它不也是一个非常自豪于日本制造产品的社区吗？所以如果你使用美国或中国制造的开源模型，以及在美国设计、TSMC或三星制造的硬件，这些都会被纳入考虑范围吗？
大卫·贝内特：绝对是。我给你两个答案。第一个是关于软件堆栈。我们聘请了一个模型团队，成员包括来自世界各地的优秀模型工程师和人工智能工程师，来自一些非常大的公司。
我认为这正是因为日本缺少那一块，没有自己的OpenAI、自己的DeepSeek、自己的Mistral。
但对我们来说，优势在于 AI & 不仅仅是基础设施建设——我们还在建设一个大型 AI 实验室，目标之一是先对现有开源模型进行后期训练，然后进入培训阶段，帮助将这些能力带到日本。
伊恩·卡特雷斯：你认为这是日本独有的现象吗？
大卫·贝内特：我认为日本在这段旅程中的位置可能有些独特。他们需要的，同样是主权人工智能：拥有数据中心、拥有硬件、拥有自己的模型，这很重要。
关于模型的有趣之处在于，你不仅需要更擅长日语的模型，还需要那些在文化和语境上意识到日本及其产业重要事物的模型。我认为这对每个国家都很重要，不仅仅是日本。
Ian Cutress：你今年早些时候从隐形中走出来，引起了相当大的关注，你在硬件方面的核心理念之一，除了使用AMD CPU，还包括使用Tenstorrent加速器。
大多数处于你位置的公司可能会选择更简单的方式，使用更多NVIDIA或AMD的加速器。为什么你选择了不同的道路？我知道你的背景是Tenstorrent，但......
大卫·贝内特：这是个很好的问题。我们的一个差异化优势，也是我们坚信的，是异构计算的理念。你今天在AI软件中看到它，比如像Sakana和OpenRouter这样的模型编排平台，我们对硬件也做了同样的事。
我们拥有异构硬件架构。如果你看看我们现在的情况，我们有NVIDIA多代，AMD多代，Tenstorrent多代。我们拥有全球最大的Tenstorrent部署，以及日本最大的推理专用部署，并且还会持续增长。
我们还没有正式宣布，但你刚才提到的一些其他加速器很快也会加入。归结为两点：为合适的工作负载配备合适的硬件，以及为合适的人选合适的令牌。
伊恩·卡特雷斯：听起来你今天早些时候看了丽莎的主题演讲？
大卫·贝内特：我想说丽莎一直在看着我，但她说我说的很接近那个意思，我觉得她听到了！
伊恩·卡特雷斯：吉姆给你朋友和家人折扣了吗？
大卫·贝内特：我们和他们关系很好，他们过去有很好的销售代表，我们也通过他们获得了一些优质的硬件。
Ian Cutress：从规模角度来说，你能帮助受众调整业务规模吗？你可以说你部署了某些硬件，但我学会了谨慎——那可能只是一个机架！
大卫·贝内特：这是个合理的观点。AI&今年宣布，我们首先进行了5000万美元的运营融资，随后进行了20亿美元的基础设施融资。在这20亿美元中，我们将在今年年底前部署约5亿美元，明年再投入10亿美元。
如果你看看我们目前的硬件堆栈，我们大约有八兆瓦在运行。我们收购了一些现有的数据中心，目前AMD大约占20%，其余部分由NVIDIA和Tenstorrent硬件以大致平分的比例组成。
Ian Cutress：你是否面临美国现有数据中心在电力、水资源以及当地社区反对方面遇到的问题？
大卫·贝内特：我不这么认为。我们目前的做法是，我们不会运营或规划大规模的三百兆瓦或一吉瓦站点。如果你看我们的路线图，我们宣布了一个十年计划，计划建十个数据中心，但目前我们正在做的，就是把两个、四个、十个和十五个数据中心集群起来。
这些通常是更环保、更适合城市化的数据中心，或者是已经存在并被我们重新利用的。
伊恩·卡特雷斯：这是不是意味着你在多个站点拥有分布式基础设施？
大卫·贝内特：没错。如果你看看我们在硬件中对异构性的处理，推理的好处是你可以集群，也可以做分布式推理。有趣的是，我认为我们的价值主张对日本和作为数据驻地市场非常强。
我们称之为SAFE代币：安全、经济、快速、高效。
但我90%的收入实际上来自美国和欧洲，这很有趣。
Ian Cutress：这是不是因为客户需要在业务点本地化的东西？
大卫·贝内特：他们需要代币，而我们提供代币，而且提供得很好。有趣的是——我们在日本建立了主权AI能力，但日本也被视为一个安全、安全的国家，法律尊重西方版权标准，我们有不保留客户数据的政策。
我认为这对日本以外的公司也很有吸引力，他们也在寻找代币。
Ian Cutress：在构建十个数据中心的计划时，你如何看待现在大多数业务只是想要代币，而不是你从一开始就想提供的专属服务？
大卫·贝内特：有趣的是——我在我们的业务中关注两件事。首先，你做的事情很重要，但你不做什么也同样重要。我们不提供裸机服务，也不提供GPU作为服务，我们提供推理作为服务。
这就是我们的计划。
现在我们正在进入后培训即服务和培训即服务，但目前的计划是不提供GPU即服务。我更感兴趣的是，如果你认为电力不足，数据中心不足，令牌数量也不够，那么我们就处于正确的领域。
伊恩·卡特雷斯：回到那个Tenstorrent装置，你在启动它时遇到了什么困难？
大卫·贝内特：任何硬件配置都会面临挑战，AMD和NVIDIA也是如此，但每个硬件都有其独特的挑战。我想说的是，Tenstorrent在支持该配置方面做得非常出色。
他们在最初几次安装过程中一直握着我们的手，因为这对我们来说是全新的架构。
不过一旦我们弄明白了，我认为他们打造了一个真正适合现有基础设施的系统。他们对此思考了很多，这也是我在任职期间和离开后都讨论过的话题：如果你不打算用Tenstorrent或任何新兴加速器公司替换整个数据中心，你如何尽力与现有基础设施共存？
这就是诀窍，我认为这是每个AI加速器公司都必须做好的关键。
Ian Cutress：你知道他们是否会全程指导每个客户吗？当你们其他异构硬件合作伙伴今年晚些时候加入时，他们会提供同样的服务水平吗？
随着这些公司规模的扩大，我们看到一些人工智能硬件初创公司增长得非常快，以至于没有足够的工程师支持客户。
大卫·贝内特：这是个好问题，但我会换个说法。我觉得他们在第一阶段不得不手把手教我们，但一旦我们学会了，我们就能自己接管了。
我觉得这和NVIDIA和AMD早期做的没什么不同，区别在于现在大家都已经安装了NVIDIA服务器，所以这已经成为大家熟悉的知识。
伊恩·卡特雷斯：从语言和模型的角度来看，CUDA的护城河消失了吗？
大卫·贝内特：这可能是个不受欢迎的观点，但我认为CUDA护城河实际上已经消失，AI编程和编程工具已经消除了它。我不想说太多，但如果我看看我现在的业务，很多公司专门用我们的代币来突破CUDA护城河。
我觉得这确实帮助解决了这个问题。
伊恩·卡特雷斯：我之前没想到用NVIDIA硬件来帮忙打造这件事有多讽刺！
大卫·贝内特：我没那么说！我们是异质的。
Ian Cutress：现实中，我仍然纠结于人们想要计算，仅仅是因为他们想要代币，而不是背后某个具体服务。接下来我们该怎么走？
大卫·贝内特：我觉得这真的取决于你对人工智能未来走向的看法。对我来说很清楚，我们基本上已经把公司押上了赌注。问题是，不仅仅是日本，但全球范围内，数据中心不够，电力不足，代币也不够，人们会继续需要它们。
几年前我在Tenstorrent时，和你持相同看法。我看着Groq、Cerebras等公司开始服务自己的云端，我觉得这是一个有趣且极好的短期策略。
但我们都认为代币会变成商品，价格会下跌。
我低估的是AI的代理性，它不是一个人、一个代币——而是一个人生成十万、一百、一百万、一千万代币。代币消费量增长速度快于价格下跌，我认为这种情况暂时会持续。
Ian Cutress：不过，这些代币好用吗？
大卫·贝内特：并非所有代币都一样，我认为这一点非常重要。对于像我们这样异构的计算公司，我们必须确保代币的质量和交付内容的稳定性。
最糟糕的情况是告诉客户我们给了正确的代币，结果却不一致。
我不会点名，但我们刻意避免的一件事（我认为这也是我们在推理业务中被日本以外大量使用的原因之一），就是当你把我们的令牌插入你的编码工具，无论是Claude Code还是OpenCode，或者你的代理时，你就能得到你期望的结果。有时基准测试网站显示出很好的速度数据，但你插入后质量却不够好，他们应该有测量的准确性、工具调用，或者在代理群中的表现。如果质量不对，这些都行不通，而我们绝不会让这种情况发生。
此外，日本的代币使用量也开始增长。我们还收购了一家名为build.io，一个平台即服务（platform-as-aservice）产品，可以把它想象成Heroku，重新构想为AI打造，我们也有大量日本以外的客户。
这不是赞助帖，但如果感兴趣的话，https://www.aiand.com/jp/inference.
点赞
收藏
点踩
分享