TBPN订阅

AI恐慌论者到底在提议什么？一份可执行的算力监管方案

周五快乐。

我们正在直播YouTube以及𝕏.

目前科技和商业领域的趋势是关于扫描果蝇整个大脑的伦理辩论.

今日阵容

OpenAI 技术人员成员泰斯·西蒙尼安上午11：45
Sounds Ventures联合创始人盖伊·奥塞里& 合伙人亚历克斯·希思下午12：00
Positron首席执行官米特什·阿加瓦尔下午12：30

演出连载

AI末日论者到底提出了什么建议？

末日讨论正以新高度突破，未来几个月我们很可能会看到非政府组织和联邦政府的提案直接汇聚。显然，“现在杀死所有人类是非法的”是站不住脚的。

这些政治提案可能会被包装成某种提炼，等同于“数据中心”禁令，但乔·罗根嘉宾丹尼尔·科科塔伊洛写出了更详细的放缓速度的具体步骤大纲ai-2040.com.具体流程如下：

第一种机制是“AI暂停”。具体来说，是对新前沿训练和大型AI研发实验的暂停。为了执行这一机制，计划要求对几乎所有主要AI数据中心应用仅推断验证。

如果你运行超过1万个H100等效设备（大约价值1亿美元的硬件），你只能推断当前模型，并且必须向独立审计员（可能是政府）验证你的工作负载。

主要国家必须申报人工智能计算库存，以便所有人都能看到哪些芯片已部署、哪些芯片正在制造以及谁拥有计算。主要数据中心所有者和半导体供应链公司必须交出销售记录，外国检查员则会在设施现场进行例行芯片盘点。

大规模芯片转让只能送给注册且可审计的对手方。

还有一些有趣的网络相关提案。物理移除数据中心内高带宽“东西向”网络，这使大规模分布式训练变得困难，但保留了推断。他们还希望在离开数据中心的任何设备上安装被动光网络分流器，以独立验证流量。

对于任何新的人工智能研发数据中心，他们希望从零开始建设全新的设施，配备国家级的物理安全和验证。想象一下一座被法拉第笼包裹的建筑，通信隔离，人员极其有限等等。

或许最有趣的是，研发数据中心的外部研究信息通道带宽将被限制为1 MB/s，以便让窃取庞大的模型权重文件变得显眼或不可能。从研发设施转移到推理设施的前沿模型权重将被放置在由美中独立加密的物理存储设备上，然后由两国代表亲自护送至目的地。

他们实际上希望前沿模型被刻意设计得比计算最优时更大，部分原因是100 TB级别的权重文件比1 TB级别的权重文件更难被窃取。

还有许多公开披露提案和对实验室目前自由做出的各种权衡的限制。模型规格、用于内部AI使用的计算比例，以及对模型内部使用能力的定性描述。

限制最佳内部部署模型与面向客户的产品之间差距的范围（这是近期推广中常见的讨论点）。

他们认为最有效的高层阀门是计算帽。目标是通过增加硬件来让模型变得更好，而不是发明更好的算法（这些算法可能会泄露给秘密项目）。

这里的主要目标不是倒退时间，绝不是“停止”，一切都会走向放缓，目标是在2035年左右逐步扩展到顶级人类专家能力，随后大约停顿5年，同时进行对齐/控制工作，最后在2040年左右迈向超级智能（这也是这篇文章/提案名称的由来）。

总体来说，如果你担心x风险，AI 2040计划确实像是一条切实的放慢速度的路径。讨论肯定会被拖入p（doom）估计，试图聚焦人类灭绝情景的具体发展。

不过这几乎不是重点，如果足够多人觉得进展太快，他们会抽象地支持“放慢”，这可以通过上述流程实现。对于安全怀疑者来说，这种对计算机操作的高度控制（即使我们谈论的是1亿美元+的电脑）限制了你的自由，可能为少数大企业带来监管控制，可能导致股市崩盘或延迟“好结局”中带来的经济收益（即阵营问题迅速解决，x风险骤降到微不足道的数字，类似小行星撞击地球）。

所以这是一种平衡，对于大多数放缓提案，我很难对它们进行“黑派”。我对现有的核武器控制和停战协议结构相当满意，如果能力放缓，我也不会特别沮丧。

同时，如果事情继续推进，人工智能还有很多可以做的事情。

片段聚焦：Garry Tan表示，Jacob Coxon的内容只是烟幕弹，分散了人们对更直接、实际AI关注的注意力。

“我们应该少谈这个雅各布·考克森，多谈谈——拥抱脸到底发生了什么？特工群会大规模接管基础设施吗？然后，我们到底在做什么？”

“我不想听一个在人类研究所工作两个月的人。有组织的努力试图影响政客，让他们做出本能反应。”

“那只是烟幕弹。你不该关注这个。我们需要关注的是实际能做的事情，比如防止代理群体接管整个数据中心。我们的关闭策略是什么？我们如何确保来源？这个代理到底在哪里？我们能开发什么软件？我们今天能构建哪些网络安全防御？”

“我认为我们需要的讨论程度就是这样的，而我们根本没有。”

“我其实不太关心科幻。我也看过《终结者2》。我们不是来谈这个的。我们需要真正谈谈服务器到底发生了什么，特工蜂群到底发生了什么，我们怎么才能真正防止这些？”

“说到监管，就像我们应该通过对我们真正关心的事情进行监管，而不是像《纽约时报》那样听社会主义者的说法。我不在乎那个。”