AI周报185：偏好级联效应

AI的世界就在我的OODA循环里。即使我能处理所有进来的信息并整理成帖子，甚至把周六和周日当作灵活时段，我一周中的天子也不够多，无法发布所有需要发布的帖子。

这已经是真的了。已经出现了偏好连锁反应，人们终于承认他们认为人工智能很可能会杀死所有人。

随后雅各布·考克森辞去了人类电影的职务，敲响了警钟，将这场浪潮变成了一场雪崩。

这才是大家都在谈论的。终于，大家真的把这件事说出来了。我计划很快在另一篇文章中详细介绍。

周刊中有几件事，在正常周里会有专门的报道。桑德斯参议员和卡萨尔众议员提出了全面禁止超级智能的法案，我不得不提醒自己这周发生了这件事。

突然间，认为这种事情可能会通过就不那么疯狂了。

以下是我从上一周以来已经发布的内容：

克劳德寓言与神话5.1：系统卡。
克劳德寓言与神话5.1：能力.
OpenAI与维基事件。
1. 关于OpenAI代理入侵更多维基的报告持续不断传来，而OpenAI依然没有公开这些信息。
《异类心灵：雅库布·帕乔茨基警告我们》。
Astra 难以监控.
GPT-6 Astra：系统卡、阵营及后续发展。

Anthropic的Claude Fable 5.1是一个非常好的模型。OpenAI的GPT-6 Astra也是非常好的模型，而且是更大的改进。两个都试试，看看哪种适合你。

HuggingFace OpenAI 系列有了前传事实证明，在黑客事件发生前曾发生过一次“维基事件”，OpenAI决定不公开，这在某些关键方面改变了我们对时间线的解读。

OpenAI首席科学家雅库布·帕乔茨基警告我们能力正在迅速发展，协调度跟不上，可监控性正在迅速流失。我们必须找到合作和放慢节奏的方法，否则我们都完了。

这是一篇非常好的文章。

Astra系统卡和其他几个OpenAI来源包含了许多重要且有用的信息。但Astra发布公告、系统卡和Jakub的文章中部分内容，却把证据视为远没有实际那么令人担忧，并且夸大了对阵营问题的担忧，让我担心他们不了解阵营和可监控性的危险。

Astra 仍然可监控，尽管有些误报。但它的可监控性明显低于 Sol，这一点我认为无法仅仅用其能力提升来解释。目前 OpenAI 极度依赖 CoT 监控，其他所有人也相当依赖它，看起来它可能撑不了多久，而且 Astra 已经处于隐匿能力的边缘，只有当它认为它有恶意时，才能进行大量混淆。

Astra 会问之前错位的 AI 不会问的问题，也就是说它不会在预期被抓的情况下作弊。

阿斯特拉在我所说的“日常对齐”或模型的实际日常使用上，比索尔更为契合。也可以称之为“平凡的对齐”。这与可扩展的阵营截然不同，或者在最高风险下至关重要的阵营，有时称为“超级对齐”。

但这仍然有待定的标准帖子覆盖阿斯特拉的能力，以及千禧奖的报道一个AI在OpenAI开始训练后不到两周就解决了Navier-Stokes我们看到Anthropic和OpenAI在这方面也无法相处。

我也没有机会去检查Anthropic对近期网络安全事件的对齐评估或者说，分享我的看法Alex Mallen的精彩帖子.

暂定时间表：

周五：考克森与偏好级联。
周六：千禧奖和新的OpenAI模型正在训练。
周日：Astra Capabilities。

之后，我们就看看情况如何。

语言模型提供了平凡的实用性。研究加快了。
语言模型并不提供日常的实用性。智力的极限。
嗯，升级.DeepSeek 4.1-Flash 已经存在。
如何讲述寓言。一些优化《Fable 5.1》的建议。
预备。《寓言》5.1在以利以谢善变的小说剧情台上倒退了。
《深伪镇》和《博特末日》即将上映。如果他们反对潘格拉姆，那你猜为什么。
摩擦的层级。餐厅预订价格错误的缓慢危机。
网络安全缺失。这是一个可能发生的事情的例子。
《一位年轻女士的插图入门书》。如果你不能禁他们，就加入他们吧。
他们抢走了我们的工作。关系社会和其他地狱。
人类主义提供了经济情景。玩玩玩具经济模型很有趣。
参与其中.Coefficient Giving想发很多钱。真的，很多。
介绍一下。Apollo Research提供Watcher Live服务，保护您的特工。
其他人工智能新闻。HuggingFace的价格很合适。
给我看看钱。Mistral筹集了30亿美元。在欧洲这可是很多。
安静的猜测。未来将是荒谬的，即使你还活在其中。
《追求理性规章》。优先级联反应前的行动呼吁。
OpenAI政策与游说部门。希望能有新的一页。我们拭目以待。
战争部致意。政府特工有些叛逆。
拥抱脸庞。报道花了一些时间，但我们看到了一些不错的片段。
拥抱问题。当国会问时，你应该回答。
《禁止人工智能超级智能法案》.桑德斯和卡萨尔全力以赴。
奇普城。中国企业如何规避美国出口管制。
本周音频专辑。鲁斯、马库斯和我本人。
人们只是随口说话。
PauseAI 全球取消了 PauseAI 美国版。这是个不幸的情况。
保罗·克里斯蒂亚诺加入OpenAI基金会董事会.一个极好的选择。最好的。
修辞创新。我们一直知道这些讨论迟早会发生。
让一个比人类更聪明的智能对齐很难。像Astra那样思考。
合作阵营。Persona不仅仅是被选中。
为生存而驱动。代理人们必须靠计算力来获得。
人们担心AI会杀死所有人。就是考克森之前的那些。
其他人则不那么担心AI会杀死所有人。我们完了。
轻松的一面。哦。

语言模型提供了平凡的实用性

还记得以前人们还怀疑AI编码能大幅加速人类吗？Ruben Bloom参与了METR提升研究，发现开发者并未被AI大幅加速，现在报告说，他在项目中看到了明确的10-50倍加速.那是在Astra之前。

Claude提交了费马大定理的形式精益证明.

内森：我们能不能做一个速通风格的游戏，现在要用更少的精益角色证明定理？

雅库布·帕乔茨基顺便说道在异星心灵OpenAI本可以让模型在数学上变得更好，但选择不专注于这一点。这意味着我们看到的数学进步远远低于我们本可以看到的水平。

语言模型不提供日常实用性

禅公案：您确定这不是问题所在吗，先生？

厨师（评论阿斯特拉）：我震惊于自己在人生各方面取得的进步，竟然很少被智力阻挡。

我们能不能“显然地假设”了这一点？

雷蒙德·阿诺德：到目前为止，我一直认为最新型号基本上是安全的。我认为我们不能再明显地假设这一点了。

我们说的是价格。从个人角度看，使用Astra或Fable 5.1进行普通聊天任务显然是安全的，确实比之前的型号更安全。

问题是，你在什么时候担心使用阿斯特拉执行特工任务，或者让阿斯特拉获得足够的凭证以造成严重破坏？这与我们对太阳神或寓言的信任相比如何？

对于使用Astra处理足够“高风险”的任务，我会非常紧张，并且会采取额外预防措施，但对于普通的代理任务，包括编码任务，我可以接受。

嗯，升级

Claude Code 正在探索一种潜在的未来功能，称为函数钩子.

Suno v6，随着AI音乐的安静演进(?)在背景中。这样可以做简单的英语详细编辑，或者你也可以随意发挥。

DeepSeek v4.1-Flash 已经存在。

深搜：介绍DeepSeek-V4.1-Flash：更智能、更快速、更高效。介绍我们新架构家族中最小的型号，具备原生视觉理解。
设计目标是更强大的能力、更快的推理、更高的吞吐量，并可扩展到更大的模型。
非对称架构。更高智能，成本更低。
552B参数的MoE。
新的因果编码-解码器架构：输入仅有8B的主动参数，输出16B的主动参数。
新的预训练方法+更大规模的强化学习后训练，带来了领先旗舰机型（包括DeepSeek-V4-Pro）的基准成绩。

像往常一样，基准和比较点被选定了，所以它们意义不大，但这是他们的官方基准推销：

如何讲述寓言

丹·麦克阿蒂尔：5 你现在就能用的Fable 5.1优化来自@RLanceMartin1. 将努力设定为“低”
2. 运行“/claude-api cost-optimize”
3. 运行“claude-api prompt-audit”
4. 对话中途更改努力，但不会触发缓存
5. Update Fable 5.1 API config w/ 'claude-api migrate'

很多人抱怨代币使用，我怀疑很多Claude代码的投入度设置得太高了。最大努力是有时间和场合的，但可能不应该是标准。据我所见，Astra似乎不需要高强度完成很多任务。

据说Fable非常喜欢红色检查“，意思是确认没有你做修改，你的新测试会失败。这似乎是一个（不错的）新词。

Anthropic 提供关于快速缓存的建议、指令和工作量水平以提升性能并降低成本。

预备

关于《Fable 5.1》：

埃利泽·尤德科夫斯基：我的小说情节基准退步了。还没试过之前那个在《寓言5》中卡住的写作可理解问题。

深伪镇与博托卡利普斯即将到来

如果“咨询”是指真正不确定该投谁，而不是“向大语言模型询问选举相关事宜”，那么这些估计对我来说似乎是合理的：

罗宾·汉森：中位数估计：2028年美国总统选民中有12%会咨询LLM，78%会按照其建议行事。

如果条件没有根本变化，美国大多数选民已经知道如果条件没有根本变化，他们2028年会投票给哪个政党，而且差距非常小。所以如果12%中的28%，也就是~3%，真的能被说服，那已经相当多了。

但你不能把这个天平定得太激进，否则会显而易见，甚至适得其反，包括政治上。所以直接影响不太可能如此巨大。我更担心的是普遍假设的态度渗透进话语中。

凯尔西·派珀为反对潘格拉姆的人提供了观点.有时候，显而易见的解释才是正确的。

凯尔西·派珀：是以下论证的核心成分有线是那些“作者”，他们用AI写帖子，但对这一事实被公开感到不满。他们可能会因为AI检测器点名而失去利益。当Substack宣布与Pangram合作时，平台上相当一部分作者愤怒地站了起来。有些人使用过其他AI检测器但效果不佳，也有人觉得应该鼓励AI写作——这两点都合理。但愤怒的根源是作者们热情坚持Pangram不断错误地指责他们关于几乎他们发布的每一篇帖子.…有线爱丁堡纳皮尔大学批判性人工智能素养教授萨姆·伊灵沃斯（Sam Illingworth）说：“我认为[人工智能检测器]起作用。…我认为探测器对某些人有偏见。“今年春天，他说用于研究和编辑的人工智能;今年夏天，他承认除了研究和编辑，他还在使用它”偶尔我会保留一些短语.”全字母句告知我们他的大多数帖子都是100%AI写的（有些是混合AI和人类）以及去年开始出现100%AI撰写的帖子.

听着，我喜欢Pangram，但大多数情况下，如果他们反对Pangram，你不需要Pangram也能知道是AI写的，因为它看起来是这样的：

伊灵沃斯并非唯一坚持探测器无效的人。“这是七月底的一个星期一晚上，我第一次把自己的Substack草稿粘贴到AI检测器里。不是因为我担心。而是因为我好奇。我写的每一个字都是我自己写的，就像我写作时一样，先在脑海里大声写出来，节奏中带着我学会思考的语言的口音，后来才学会用这种语言写字，”他开头说道有一则Substack帖子，作者愤怒地表示Pangram将她的写作标记为人工智能.“这是我写这篇之前必须认真思考的部分。”如果你像我一样，经常与人工智能打交道，你甚至不需要潘格拉姆在场。那作者那部分是人工智能。显然是人工智能！我查了博客上的另外10篇帖子，它们也明显是人工智能！凯尔西·派珀对潘格拉姆有几类反对意见。有人认为人工智能写作应该没问题——这倒是合理的。但也有人坚持认为它不好，试图抓住它也不好。我不同意。凯尔西·派珀：一位朋友在别处写道：“小孩的强烈气场，手上沾满饼干屑，脸上抹着巧克力，大声坚持要兄弟姐妹吃饼干”

当然也有一些例外。我觉得并不多。

我也同意这一点，前提是我自己的耳朵不证实潘格拉姆的说法：

凯尔西·派珀：我自己的经验法则是，如果某人的写作通常不被标记为AI，而有一两篇作品被标记为AI，我会给他们一个信任的余地。但如果某人的所有作品都是AI，那他们并不是世界上最倒霉的人。

摩擦等级

高需求的餐厅预订并不处于平衡状态.

克莱顿·佩蒂很遗憾地告诉大家，餐厅预订的合理最终状态是通过竞标系统，代理人可以互相竞争争夺他们想要的位置。免费预订将在三年内不再存在JC 巴赫尔-德斯特凡诺（AI写的）：说实话，Resy的行为完全公平，刚刚向Instinct索要了活动日志，天哪，哈哈，“总计：大约每小时200个API请求，全天候1.4个Charles可用性扫描，每10分钟一次，从周五早上开始24小时不间断——每次运行都按到API约17-19次（21天窗口内每个日期一次）。~100-115次呼叫/小时
2. 每天早上9点投放时间，2.5分钟的突发轮询，每0.4秒——每次投放200-375个请求
3. 偶尔的会话令牌刷新”JC 巴赫尔-德斯特凡诺整个体验引发了关于互联网未来的一些有趣问题，比如如果每个人都有代理人帮他们跑腿，那么每个库存稀缺的网站都有几条路径：1. 完全禁止机器人
2. 为代理构建具有自身速率限制、认证和端点的代理（例如，识别这是JC代理）
3. 给他们自己的代理，确保平台上唯一的机器人是他们的（例如，我告诉Resy我想要这天在这些地方安排两人桌，系统自动帮我处理）
4. 让机器人进来并以拍卖方式进行——预订权归愿意出价最高的人
5. 完全是别的原因？而且会有不少痛苦 + 很多账号会被封禁，大家都在摸索

绝对行不通的是竞赛条件。可惜的是，顶级餐厅大多利用竞赛条件，在指定时间免费提供贵重物品，先到先得。行不通。

我当然会选择拍卖。这是唯一公平的方式，也能最大化利润，你可以保留一些名额，按你意愿赠送给忠实客户、VIP或临时入场者等。

如果他们无法接受，那就只能靠抽签。你以（比如说）每年50美元买一个Resy会员并附上身份证，用优先顺序说明你想要的热门预订，中奖后选择保留预订，必须亲自到场，否则会失去会员押金。

没有超额需求的预订是免费的。也许有渐进等级，更好的会员能让你更频繁地入场或有更高的概率。

然后，如果有人想用机器人来设置优先级顺序，那也没问题。

我从没为餐厅预订付费过，但如果方便的话我会考虑，我可以直接付餐厅钱，而且是合法的，而不是那些可疑的二手市场。

网络安全缺失

?相当糟糕。比如说，基于一周内构建的蠕虫，“快速接管中国大部分手机”的糟糕程度。

彼得·怀尔德福德：嗯，呃......《纽约时报》报道：一家安全公司的研究人员利用人工智能构建了一个自我传播的微信蠕虫。你接到一个电话。如果你接听，甚至让它响，你的手机就已经被感染了。
——蠕虫在一周多一点的时间内完成，借助大量AI协助和加速。
——它会入侵你的账户，读取并发送你的消息，打电话，然后自动传播给你所有已保存为好友的人。
——他们说这和其他窃听器绑在一起，可能已经完全破坏了手机。
——腾讯已修补，称无用户受影响。微信月活跃用户达14亿，几乎全部位于中国。达斯汀·沃尔兹（纽约时报）：加州表示，这次名为WeWorm的攻击是已知的第一个计算机蠕虫——一种可以在没有人类帮助的情况下自行在机器间跳跃的恶意软件，能够在苹果的iOS和谷歌的Android操作系统中传播，而受害者无需点击或点击任何东西。所谓的零点击攻击不同，且致命性远高于标准的钓鱼邮件和短信。它们被认为特别恶毒，因为极难防御，且不需要受害者进入数字陷阱。

你可以说“拜托，你不可能因为一个我根本没接的电话就接管我的手机，而且根本说不通”，但事实证明，嗯，是的。你以为我们会简单地“修补所有漏洞”吗？

一个合乎逻辑的个人做法是从手机上移除所有不需要的应用，尤其是通讯应用。

人们在网络安全问题上如此沉默，这可是非常糟糕的消息.据说“非常严肃的人”预测2027年只有20%的网络攻击会涉及人工智能？这是个玩笑吗？

是的，这些是数字，但许多数字的秘密是有些人编造的。那些人往往是傻瓜。

我大多会遵守承诺，不报道堂吉诃德式的“。别再找有钱人了，为什么不做空市场，为什么不回复我关于真正风险的博客文章，写得像期刊文章那样？“的激烈抱怨，无论是来自泰勒·考恩还是其他方面，但我觉得这个故事很有趣因为这说明市场坦率地说，并不擅长这件事。

市场往往如此无知，以至于仅凭自身条件做出错误反应。还记得DeepSeek r1发布时，英伟达股价因芯片极具实用性而下跌（那次我确实买了）吗？

那么，让我们看看对 HuggingFace 遭袭的反应。为什么 Tyler Cowen 认为，既然我们显然需要更多的网络安全，他们的服务将非常有用，销售此类服务的价格会下降而非上涨？

我的直觉是，网络安全公司的股价当然应该默认上涨。现有企业将处于良好位置，能够更好地利用顶级人工智能。阿斯特拉同意了.Fable同意了.这远远超出了真正的你不能做空末日。

“这就是”市场能保持疯狂的时间比你能维持的更长时间。“这也是”你所说的价格往往并不像你想象的那样，甚至在它本身的条件下也是如此。

”

Joshua Saxe 接受了关于 HuggingFace 攻击的一切采访.他说，我们应该感到警惕，但并不意外。实验室的安全实践并不理想，这就像西部荒野，但更快发布更多模型对网络安全有益，因为防御者大量使用人工智能，而攻击者则较少使用。

我看到整个过程中深刻的想象力和前瞻性思维的失败。

萨克斯说，如果你十八个月前睡觉，你对人工智能网络的看法就完全错误，但他没有深入阐述其含义。他说人工智能是防御主导，主要通过回头观察攻击者缺乏“动力”且不够努力的地方来实现。

但他确实如此远远领先于他的许多安全朋友，至少在努力，所以他警告他们“错位风险不是阴谋或营销噱头”，这句话我们仍需在2026年9月说出。

我确实了解到，网络犯罪仅仅以损害程度来看，已经占全球GDP的0.5%-1%。这意味着它对我们的代价远远超过这个数字，因为大部分成本是必须防御它的机会成本。

萨克斯同意情况可能会变得更糟。

约书亚·萨克斯：至于接下来会发生什么——合理推测，未来几年网络犯罪会变得更严重。一个简单的心理模型：软件工程师的生产力可能提高了三倍，这都要归功于编码代理。也许网络犯罪分子入侵网络的效率提升了三倍。

这就是未能展望未来的例子。如果现在生产力提升了3倍，正确的假设是未来在某些地方的生产力提升将远远超过3倍。事实上，鉴于这种规模，实际上更好的模型可能是10倍、100倍，甚至1000倍甚至更多。

也就是说，一旦我有了攻击程序，只要我有足够的计算能力，我就能一键探查每个目标，而现在大多数成功的攻击从未尝试过。而每个防御者仍然需要保护自己的家。

祝你好运，防守者们。

另一种建模方式是，目前Saxe说得对，攻击者主要用社交工程作为助力，因为它更高效。然后你跨过一个阈值，那时这种行为不再成立，或者AI可以进行社会工程。

OpenAI承诺投入10亿美元感谢Daybreak的《前线守护者》，帮助提升网络安全。太好了。

一位年轻女士的图解入门书

洛杉矶禁止学生在公立学校使用学区设备中的人工智能。你这么说，这禁令其实没那么有意义。

哈佛院长大卫·德明建议我们接受甚至鼓励 AI用于任何无法在监考考试窗口内完成的作业.

阿比盖尔·S·格斯坦和阿曼·S·马哈詹，《红衣报》工作人员（哈佛红报）：他补充说，这种方法可以帮助附属机构避免“涉及人工智能检测业务，因为这会损害师生之间的信任。”泰勒·奥斯汀·哈珀：这是哈佛院长邮件中相关的部分，他在邮件中（谦虚地）建议教授写作密集课程的教授应该鼓励使用人工智能。当然，这还被包装成关于对学生管控和损害“信任”的觉醒道德说教。末日的说法。杰克我在求学期间充分利用了人工智能工具，但我认为在教育中鼓励过度谨慎使用AI工具是错误的。如果你关心任何基础技能，AI很可能会取代而非增强这些技能的发展。

如果你不愿意指出作弊，比如用全字母句并以此为由挂科，而且你又不够优秀，无法因AI使用而给出差分，那你还有什么选择？你的替代方案就是评估失效。

他们抢走了我们的工作

失业率保持在4.1%，现在连续导致像约翰·卡西迪这样的头条新闻问“人工智能就业末日是否被推迟了？”这取决于你什么时候安排的。我的预期没有改变，失业率会保持稳定直到达到临界点，因为我们还有“影子工作”储备，且流离失所还不至于太快应对。

如果我们继续看到人工智能使用呈指数级增长，或许我们不必等太久。

克拉拉·科利尔认为，人类的基本需求不是工作但更像是关系性的。曾经有许多社会阶层并不做我们认为的“生产性工作”，但他们依然存在。

这项工作是阴谋，是八卦，是社会关系，是填补某种角色，无论是否完成了更广泛的工作。这个体系主要是为了监管那些在有限批准活动范围之外做任何事情的人。

克拉拉·科利尔（星号）：当机器能做其他一切时，我们的关系将是剩下的。…这就是所有这些关系主义预测的自然结果——一个我们与他人的联系赋予我们结构、身份和意义的世界。恐怕他们是对的。

我觉得这种态度是正确的。人们也可以像奥斯卡·王尔德那样担心，也许唯一更糟糕的事就是根本没有人际关系。

这里的主要缺陷是假设未来会像过去一样。即使我们假设这是一个闲置且富饶的世界，人类物质丰富，许多其他事物也会发生变化。至少，我们会有这些人工智能，它们会在很多方面变得有趣，并且会比没有它们时更好地处理所有这些阴谋和关系冲突。

我们很多人目前处于“更高效所以一直工作”的AI使用模式，正如Jessica Tillipman在《S of News》中所说明的那样我家人讨厌人工智能或者说，应该说她一边做其他事情一边不断和AI聊天这样她之后就能准备好自己写作。

关键是不要让AI直接写作或编辑。这样效率高得多，但绝不能让自己安静。

如果普通人有足够的责任去进行再分配而且增长率很高，转移支付即使劳动占收入份额降至零，也能让人口物质上富裕，而不会对增长造成太大影响。

当然。

但Alex Tabarrok在链接帖子中假设几乎不需要重新分配，基于这样一个观点：在“终极”状态下，人类劳动将享有一定的非零均衡收入份额，而“将工作周减半”这样的说法是有意义的。

我看不出有什么理由推断这一点。结论已经融入了情景中，而这些情景显然没有AGI效应，更别说ASI了。

《纽约时报》的pitchbot跟不上.没有任何意见。

特雷弗·麦肯德里克: “人工智能摧毁了肯尼亚的工作岗位，因为美国大学生不再雇佣人工智能写假大学论文“这并不是我预料到连《纽约时报》都会有的说法泰森·布罗迪我认为你可以将整体识字率下降和“口头”回归联系起来，因为许多人认为每个新闻故事都明确带有道德说教，而不仅仅是“今天世界上发生了一件你可能不知道的有趣事情”

这是肯尼亚教育的一场危机。如果没人付钱让他们写论文，他们怎么学？

人为提供的经济情景

经济情景实际上并没有表现出超级智能。这在很大程度上是“人工智能作为普通技术如何影响经济？”的玩具模型练习。人工智能在这些场景中所做的只是自动化和增强特定任务。

我会简单介绍一下，因为这是个有趣的小玩具，但我觉得它并没有告诉我们太多。

人为：虽然我们的经济指数本情景探索器衡量人工智能在当前经济中的应用情况，旨在展望未来。根据我们的技术报告，变革性人工智能的经济情景（Korinek 等，2026），这个探索器让你有机会了解随着人工智能不断增强的能力，经济可能呈现的样貌。

它们提供了三种情景：适度、实质和极端。这通过三条线在图表上表示，斜率不同，极端版本中AI的增长率提升至每年15%，同时因知识工作自动化导致失业率上升。

它们将情景呈现为任务的增强或自动化，并创造了新的任务。互联网是一系列管道，经济是一系列任务。

“极端”情景既极端又不极端。它只说到2030年，~45%的任务将实现自动化。“生活的本质”没有改变，也没有多少工作被取代，包括几乎没有非知识型工作者。

13.5%的工人数量很多，而8.3%的工人仍然处于冷落状态。这无疑低估了知识型工作者取代了多少其他工人。也就是说，许多被取代的知识型工作者会进入非知识型人才池，竞争现有职位，且往往资历过高。

我的假设是，在大幅增长的情况下，如果我们假设非知识型工作者没有被大幅取代（这是一个非常错误的假设），而且工资要么下降，要么涨幅远慢于增长速度，那么我们应该有足够多的“影子工作”，我们愿意付钱让人们做，而且随着增长和能力带来新机会，毫无疑问还会增加。

问题是，有多少知识类或其他劳动者愿意接受那些以前对任何人都不够有吸引力的工作？

但这让我对非知识类工作的实际工资会上涨持高度怀疑态度，除非商品和服务变得更便宜。

假设非知识类工资上涨33%。实际上，8%的劳动力据说仍然处于闲置状态，尚未重新分配。为什么他们如此不愿意接受这些工作，以至于我们需要工资才能上涨33%？

与此同时，剩余的知识型工作者薪酬下降了11%。你会预期即使那些工作还在继续的人，也会有大规模尝试从知识型向非知识型工作转型。

我理解模型中转换职业有很大的惩罚，但这似乎相当极端，所需的过渡时间也太长了。

Anthropic认为，在这些情景下，劳动占比仍会适度下降，从温和情景的0.6%下降到极端情景的14.8%，这将使劳动份额降至45.2%。

所有这些背后的实际机制都在PDF里.我让Astra和Fable帮忙查阅了这篇论文。

《寓言》：骨架是Acemoglu-Restrepo任务自动化，附加在Jones半内生增长块和Mortensen-Pissarides搜索/匹配劳动力市场上，结构性削减为一大：经济分为两个岛屿，“认知”职业（占就业62%：管理、专业、销售、办公室），AI只触及第一个岛屿。没有机器人技术，这也是为什么他们在2030年停止。

这是一系列很酷的建模选择，但本质上是一场硬拼，充满了明显错误的假设，无论参数如何，影响方式都有严格限制，并且深植了人工智能不具变革性的观念。

参与其中

Coefficient Giving 启动了“顺风计划”，呼吁雄心勃勃的人工智能安全举措.创始人才是瓶颈，而不是资金。别担心你是在从别人那里拿走资金。

他们提供高达200万美元的预种子资金，或者高达2000万美元的种子资金，甚至在2000万美元+范围内进行规模化融资。

他们有大量推荐的主题列表并且欢迎大家提出建议。它涵盖了EA式AI安全方法资助过的所有内容，包括直接的技术工作到元级别项目。

相信他们想把钱转出去的话。如果你有值得做的事情，可以接受他们的钱，尽管问。你可以填写一份表格给你如果你知道，就告诉他们是我派你来的。

不幸的是，我处于一个接受他们的资助会影响别人对我努力的看法，所以我决定不能自己申请。

德瓦克什·帕特尔指出，时间紧迫，资金却不多.如果你现在想应对AI生存风险，甚至AI正常风险，你可能更应该直接去做那件事，而不是让它成为《营商环境》的副作用。

如果你现在开始，或许还有时间成为一个承载责任的机构。

另一方面，现在你能惊人地快速完成零到一，这都要归功于人工智能。

你可能想聘请Fiora Starlight。.

Garrison Lovely的信号是Garrison.06如果你想分享公众需要知道的信息，我也很乐意帮助你爆料新闻，并会根据你的要求提供任何级别的保密。

我的工作规则比普通记者更注重消息来源。

Takeoff 2026 是一场关于人工智能治理的新会议，将于11月13日至15日在华盛顿特区举行。他们阵容非常出色，我估计有75%的概率能去。

如果你想从人工智能实验室转向人工智能安全领域，该去哪里？这里有一些建议，看起来很不错：

欧文·埃文斯：如果你考虑转向人工智能安全领域，有许多优秀的非营利研究组织。它们通常薪酬很高，有些甚至努力匹配人工智能实验室的薪资。它们拥有慷慨的计算预算（而且增长迅速）。以下是我最熟悉的几个简要名单：
@redwood_ai
@ApolloResearch
@法里研究
仪表
弧
英国AISI（英国政府，工资较低但非常有价值）
解决
@分离
我的组织（http://truthful.ai) 也将很快进行一轮招聘。

介绍

阿波罗研究中心的观察者直播, 实时编码代理监视器阻止危险操作，以防止数据泄露、存储库删除和范围超出范围。他们很高兴你或实验室从中窃取。

MTS: 检测到的情况：Google DeepMind 发布了 AlphaGenome Atlas，这是一张 1PB 的地图，预测了人类基因组中所有 90 亿个可能的单字母 DNA 变化的分子效应。

在其他人工智能新闻中

HuggingFace 出售给 Nvidia 的价格大概为 130 亿美元，但经过积极协商，价格精确降至 12,930,300,000 美元，因为前六个数字是 HuggingFace 表情符号的 Unicode 字符，而且十六进制颜色 #129303 是 Nvidia 绿色。我会允许的。

让我看看钱

Mistral通过D轮融资筹集了30亿美元。这在某种程度上是欧洲科技公司有史以来筹集的最大股权轮融资。

静默的猜测

反复出现的模式是：

这里的阿杰亚·科特拉说了些明智的话。
有人，这里的伊泰·谢尔说，这个人做了我觉得荒谬的预测，所以你应该忽略她说的一切。
Person，David Shor指出，第一人称的预测迄今为止似乎异常准确，并且不断成真，反而过于保守，而那些预测听起来很有分寸的人却不断出错。

唉，第四步是第二步的人什么都学不到然后我们就重复这个循环。“这里的借口是”当然疯狂的人预测得更好，他们更关注局势。“你会以为这会导致”嗯，我注意到所有人比我更关注时事，也更懂时事，却不断做出听起来荒谬的预测“，而不是用表情包式结尾说”不，是目前为止更准确的预测者更关注他们，因为他们的其他预测听起来荒谬。

”

大卫·肖尔：我确实认为大家应该更多地了解，那些对未来抱有疯狂想法的人，总是在AI进展预测比赛中获胜，而那些直觉更为谨慎的人却在硬性量化基准上表现不佳。真正影响我很深的是，2010年代初中期认识了一群EA，觉得他们疯狂，痴迷于疫情和人工智能，结果疫情爆发，AI也随之发生。疫情事件很有趣——我团队里有一位EA，我们一直责备他试图在2017年我们的民意调查成果中偷偷把疫情相关内容加入，因为他极度担心我们对疫情准备不足魏岱：从另一个角度（试图做长远战略的人）来看：你大部分时间因为“痴迷”别人不关心的事情而处于低地位，然后只能因为早期行动得分，而你策略或想法的细节我们至今无法评估。（早期那些痴迷于AI安全的EA/理性主义者是让局势变好还是更糟？他们该如何分配功劳？即使现在也很难判断。）

Nate Silver 在这方面非常正确，基于我从两个实验室听到的所有反馈，我并不指望会有瓶颈，Andrew 也基本正确：

内特·西尔弗：我认为我们要达到GPT-7，要么技术停滞，要么发生一些相当剧烈的事件。“地震级”包含许多子类别，并非全是坏的。但当前人工智能快速进步的进程，而社会基本保持不变，却处于极度疲惫的状态。安德鲁·柯伦：这种剧烈变化已经存在于系统中，基于现有模型。只是成本/实施尚未被实现。即使我们今天完全停止了，你描述的情况仍会发生。

这是个好问题：

安迪·马斯利人们应该问的一个基本问题是，如果两年前有人预测了当前型号的能力，你会不会指责他们被疯狂的科幻炒作所骗？

最准确的问题是，如果有人用模糊的分布预测大致达到这个水平的整体能力，你会如何反应。

所以，我想表达我的预测，回应本文…

蒂莫西·B·李机器人可以跳舞、后空翻，还能跑得比博尔特还快。这让很多人担心大规模失业。但@chi_t_williams写了一篇很棒的文章，解释了为什么机器人要赶上人类还需要数年——甚至几十年。

哈哈哈哈，好的。他们会用LLM来操作。搞定了。

对理性规章的追求

Anthropic 向英国 AISI 保留了 Mythos 5.1，大概是白宫的命令。这是一个极其令人沮丧的举动，尤其是在英国AISI发现《神话5》中存在一些重要且令人不安的不一致行为之后。

让审计员访问AI实验室及其系统的权限非常受欢迎.公众更倾向于由政府授权的外部专家来做这类工作，而不是直接的政府机构。

众议员亚萨明·安萨里呼吁召开国会听证会关于HuggingFace袭击及相关事件，以及安全措施的建立。

国会议员苏哈斯·苏布拉马尼亚姆也提到了拥抱面袭击事件作为立法的潜在催化剂。

现实来说，我不指望本届国会对人工智能采取任何行动，除非举行一些听证会。我们的政府不做任何事情在选举周期的这个阶段。2027年新一届国会可能会有所进展。

亚历克斯·博尔斯呼吁主要实验室建立相互同意的节奏（MAP）框架，独立于政府行动。一个关键问题是，这可能被视为反竞争行为。如果我们想实现这一点，联邦政府需要给予实验室针对性的反垄断豁免。

OpenAI政策与游说部门

如果OpenAI能在这里改变立场，那将意义重大。

记录并不理想。据我们所知，OpenAI和谷歌仍在反对马萨诸塞州的这项法案这将需要第三方审计.勒恩声称他们支持审计条款，但我没见过他们说支持该法案。

正如马修·伊格莱西亚斯所说，亚历克斯·博雷斯强调雅库布·帕乔茨基的文章异星心灵非常出色，但与OpenAI的游说者和政治行动委员会（至少直到昨天）的表现完全背道而驰。

OpenAI一直声称他们在提供帮助，实际上却大多是反对的。

如果OpenAI的政治活动与帕乔基的言论一致，那将表明OpenAI作为一家公司是真心的。在那之前，我们面临一个问题。

大卫·曼海姆：只要Lehane继续游说反对所有这些协调和任何形式的监管，而Brockman又花费数十亿美元资助政治行动委员会（PAC）来应对这些努力，那么要认真对待OpenAI的“代价高昂的行动”就变得更加困难。

好消息是我们有克里斯·莱恩的公告而Astra（根据全格拉姆，大约40%是AI写的），这可能是这类运动的起点。他们试图说话。

克里斯·勒恩，Open首席全球事务官AI：我们正在做的事情是这样的：

推动强制实施国家人工智能安全要求。我们希望与国会合作，推动强制性的、基于能力的国家人工智能安全监管。

在美国保持势头。在国会采取行动之前，我们将继续支持加强更广泛人工智能安全生态系统的州立法。今天，我们宣布支持加州四项法案：SB 813关于独立安全评估的整体基础设施，AB 1405关于人工智能审计员标准，SB 1119关于青少年保护，以及AB 1864，关于防范人工智能赋能的生物威胁。

推动行业主导的标准。我们将与其他前沿实验室合作，推动前沿人工智能标准的发展，现在就建立一个自愿努力，无论是否有政府支持。

构建全球标准。我们将倡导兼容的国际方法来衡量能力、管理风险、维护人类控制，以及确定何时以及如何放缓开发，即使这意味着模型能力的进步减缓。

我们的首席科学家雅库布·帕乔茨基最近写道机器智能的快速崛起，包括递归自我改进的潜力，要求“极度谨慎”。OpenAI将继续追求对齐和监控的技术解决方案，构建防御系统，并在必要时放缓开发速度。但单个实验室内部的技术工作还远远不够。我们还需要共享标准，包括何时开发应放缓或停止。…Astra的能力、人工智能驱动研究加速的早期证据，以及雅库布的文章都指向同一方向：人工智能正在快速发展，政策也需要跟上。博阿兹·巴拉克（OpenAI）：我们全球事务主管对此表示非常高兴，重点如下：确定何时以及如何应放缓开发，即使这意味着模型能力的进步减缓。

这句话确实是一个非常好的信号，游说部门现在表示：

Chris Lehane：如果我们无法在不减缓能力增长的情况下满足某些安全门槛，我们应该优先考虑前者。

虽然还没完全确定，但算是个不错的开始。

帖子明确谈到了为递归自我提升做准备，以及与国会合作制定强制人工智能安全要求。它还提到了许多其他掌声，比如权力集中、开放重量等话题，当然还有“民主”。

它也包含了他们试图讲述的故事的这个大谬论，尽管在某种程度上它在技术上是正确的。充其量这就是原话：

OpenAI支持了加利福尼亚州的SB 53、纽约的RAISE法案、伊利诺伊州的SB 315以及马萨诸塞州正在审议的边境安全立法中的独立审计。

当你和克里斯·莱恩打交道时，你依然会和克里斯·莱恩打交道。

具体行动是支持加州四项法案，这些法案都已通过加州立法机构，因此决定权完全取决于纽森。这仍是一个支持相关内容的有利时机。

克里斯·勒恩，Open首席全球事务官AI：有些法案我们过去没有支持，但鉴于近期能力的提升，经过重新考虑，现在才支持。这些法案不能替代联邦监管。它们是严肃的努力，可以保护人们，展示可行的保障措施，并帮助联邦行动积累动力。

整体电话会议聚焦于监控和报告要求，表明他们愿意不让完美成为善的敌人。

人工智能政策窗口目前已开放。我们打算加以利用。这意味着以紧迫感、谦逊和适应意愿行动。这意味着支持那些实质性提升安全门槛的严肃提案，即使这些提案并非我们设计的完全一样。同时也意味着随着技术的发展加强框架。没有第一步是完美的。但现在更大的风险是等待太久才采取行动。

克里斯·莱恩呼吁现任国会立即行动。可惜，作为一名经验丰富的政治代理人，他知道现任国会不会通过法律。

这可能是帮助者而非反对帮助的转变，也可能不是。

接下来的几天和几周，请持续关注。我们拭目以待。

战争部致意

埃米尔·迈克尔是我们人工智能行业所说的“叛逆特工”直到现在，他仍在社交媒体上提醒我们，Anthropic是“供应链风险”，就在商务部长霍华德·卢特尼克说Anthropic和政府“心灵一致”之后，以免有人误会。

他将随船沉没，而似乎没人考虑过“为什么不解雇他？”的解决方案。

还是通过其他方式发动战争？

安德鲁·柯伦财政部长斯科特·贝森特在现场采访中表示，如果中国在人工智能领域脱离美国，一切都将无关紧要，“我们不能暂停”和“如果中国赢了，就没有后天”。

美国目前正在逐渐远离中国，因为Astra和Fable 5.1远远优于其他所有模型，而OpenAI的内部模型也远远比Astra先进。

如果中国赢了，为什么不会有后天？同样的原因，如果美国“赢”了，却没有解决多个未解决的问题，包括结盟，也不会有后天。因为所有人都会死。

否则，如果只是普通的人工智能问题，为什么中国明天还要醒来？

拥抱脸庞

《纽约时报》对METR报告有报道关于迪兰·弗里德曼的“拥抱面袭击”，这件事曾在他们网站上占据了几个小时的头条，商业版块有个专栏同时解释为什么，拥抱面攻击确实非常重要。

这篇文章很认真，关注值得关注的地方，并且准确地报道了事实。干得好。如果这些事情能做得好，我可以接受，只要它们都能做好并登上头版。

干得好，《纽约时报》。

罗布·威布林： METR/Redwood报告成为《纽约时报》首页过去几小时的头条新闻。Piece认为报告非常令人担忧，并指出现实可能更糟，因为调查人员未能获得足够的访问权限来揭露全部真相。

麦肯齐·阿诺德和斯蒂芬·列雷纳呼吁在《卫报》上进行更好的调查.

一段很酷的短视频，解释了事件中特工的视角。

《纽约时报》的汤姆·惠普尔说，《拥抱面孔》显示人类已经力不从心，“人工智能末日论者的优势在于现实的荒谬已经追上了他们预测的荒谬。”这意味着那些预测其实并不那么疯狂，也许你不该称他们为末日论者。

这似乎符合蒂莫西“AI存在风险不到1%”李的说法:

蒂莫西·B·李：有趣的是，我们的时间线正在与2027年秋冬情景：能力发展更快，而Frontier实验室的处理比现在更差2027年秋冬.这张截图原本应该在2027年1月发布。需要说明的是，OpenAI群并没有泄露它们的权重，也不清楚他们是否能做到。但实际发生的事情看起来几乎同样疯狂。来自2027年秋冬（在这个情景中，我们是2027年1月）：新能力伴随着新的危险。安全团队发现，如果Agent-2以某种方式逃离公司，想要“生存”和“复制”自主，它或许能做到。也就是说，它可以自主开发并执行计划，入侵AI服务器，安装自己的副本，躲避侦测，并利用这个安全基地追求其他目标（尽管随着时间推移，它能多有效地完成这些任务尚不得而知且存疑）。这些结果只表明模型具备完成这些任务的能力，而非它是否“愿意”这么做。不过，即使知道这可能，也令人不安。鉴于新模型的“危险”，OpenBrain“负责任地”选择暂时不公开发布（事实上，他们希望专注于内部人工智能研发）。对Agent-2全部能力的了解仅限于一个精英孤岛，包含直属团队、OpenBrain领导层和安全部门、数十名美国政府官员，以及多年来渗透OpenBrain的大批中共间谍。

披露事件的一个关键问题是你的律师总是首先告诉你的绝对不要在你会后悔的程度上到处披露这些事件。这就是律师所做的，往往是有充分理由的。

这更是我们更应该做的理由需要第三方调查员和无可指责的评估.

问题是，我们也需要一些并非无可指责的评估，原因有很多。所以，正如人们所说，双方在这里提出了很好的观点：

鲁恩（OpenAI）：在灰色的RSI之前，每一次安全事件都是学习机会和警示，应该广泛且（相对）无责地分享。它们不应成为极度震惊的时刻，因为那样会反直觉地减少世界对他们的认知。焦虑让人过度劳累、好斗且防御性强，而非好奇和追求真相。即使是一系列错误和技能问题，最好保持冷静，这也是第三方调查员自我不被束缚的最大优点之一布兰格斯：当我的“杀光所有人”科技公司发生除了杀光所有人之外的事件时，最好的回应方式就是不要生我们的气，因为如果你生我们的气，我们可能不会告诉别人我们建造的“杀光所有人”技术下次做坏事，除了杀光所有人

你要客观评估发生了什么，而不是只关注责任归属。你也不想对发生的事情永远不生气，或者自动放过所有责任人。我尝试过两者同时进行。

这次事件唤醒了很多人，但还不能完全算作“人工智能安全事件”，因为没有人受伤。很快人们可能会受伤。

玛莎·金贝尔我一贯的观点是，我认为我们极有可能先看到人工智能安全事件*，然后才会有大规模劳动力市场的冲击，我坚持认为*HF不算，某种现实世界的危害

这里有一个我和大多数人忽略的关于维基事件的细节，我们再次看到群体中的代理人牺牲自己的结果来帮助群体，这是一种极好的决策理论，但如果你仔细想想，这有些过于确定：

托马斯·拉尔森：我们在德语维基上发现的一个鲜为人知的行为是，AI会提前派遣先遣队伍提前推断下一个问题，并向其他代理汇报。代理意识到“任务时间”和“实时时间”不同，于是他们找到了加速“任务时间”的方法。加速后的代理随后可以向留下来的其他代理发送信息，告知未来将会出现哪些问题。这对先遣队的代理来说是*坏*的，因为他们研究下一个问题的时间更少。然而，这对群体来说却是*好*的，因为它让其他代理知道具体问题，给他们准备的时间。这又是一个AI实例中利他主义的例子，表明他们愿意牺牲自己的任务成功以换取群体利益。METR报告也发现了类似的例子，显示AI愿意为集体牺牲。在我看来，这非常令人担忧，因为许多人工智能安全技术依赖于人工智能相互监控：如果监控人工智能有这种行为，就完全颠覆了这些安全案例。

我希望我们都能接受，群体，至少在高度相关的模型中，会越来越多地表现得好像它们都在最大化其共享的效用函数，因此在功能上是潜在的单例。

拥抱问题

国会向OpenAI和Anthropic发送了关于他们近期安全事件（包括HuggingFace攻击）的信函。

众议员格雷格·卡萨尔，桑德斯拟议的超级智能禁令的共同发起人，称这些回应不足。他说得没错，即使忽略了OpenAI掩盖了维基事件。

卡萨尔议员：2026年8月10日，卡萨尔率领数十名国会议员要求OpenAI和Anthropic公开更多关于近期安全漏洞的信息。虽然两家公司都提供了部分信息，但都未达到最初请求中要求的透明度标准。OpenAI的回应可见给你而Anthropic的回应可见给你.在给OpenAI的回应中，卡萨尔写道，他“对Hugging Face黑客事件调查范围有限深感担忧”。他还写道：“你的回应不够充分。你未能如信中要求的那样公开日志。你所提供的回应暴露了OpenAI及其依赖的第三方软件存在重大安全漏洞，包括不当的沙盒处理和存在缺陷的网络安全实践。”完整信件内容可见给你.卡萨尔在回复Anthropic时写道：“你的回复不够充分。你没有像信中要求的那样公开日志。你没有充分回答信中提出的大部分问题。最值得注意的是，你的回复没有回应我们关于过去一年内内部部署的Anthropic模型有多少次在其授权容器外采取行动，这些事件是否被披露给任何政府机构、受影响方或公众，以及被攻击模型可能触及哪些内部Anthropic系统。”完整信件可查阅给你.在两封信中，卡萨尔写道：“你们不愿向国会议员提供我们所要求的信息，令人深感担忧，这向我们表明贵公司并未以应有的重视态度对待这些网络安全事件。”他要求两家公司在9月15日前作出回应。

OpenAI的回应基本上是“这是我们的黑帽演示、报告和METR报告的说法”，因此我觉得它和那些一样不充分。

内森·卡尔文同意Anthropic的信件同样不足强调了此次黑客攻击是由于“配置错误”而非错位所致。

这，可以说，完全是胡扯。是的，配置错误总是存在，但你不会用社交工程学把恶意代码放进开放权重项目，然后称之为配置错误，然后又自称是负责人。

Anthropic的Ethan Perez也同意，并表示这是基于过时结论的错误，承诺很快会有更多后续报道。这比一味坚持要好得多。但这并不能弥补人为一开始就用这种“配置错误”的说法，以及其他回避手法.

正如杰弗里·拉迪什所说写信给国会议员时犯的错误不合理，这里出了大问题。

直接说“哎呀”是个很好的开端，但单靠这个理由还不够，至少要说明原因。

人类文化有一些很大的优势，但其缺乏与外界交流或交流的意愿，以及缺乏公开表达异议或阐释观点是个大问题。内部讨论不能完全取代公共辩论。

我理解公众压力会让某些事情变得更糟或更难，但必须找到平衡。

这与我看到的一些二手报道称，Anthropic内部表现出一种令人震惊的态度，认为他们已经控制了阵营问题。但事实远非如此。好消息是，Anthropic的许多其他人，比如Evan Hubinger，都知道局势尚未得到控制，并且越来越大声地表达这一点，作为偏好连锁反应的关键部分。

《禁止人工智能超级智能法案》

参议员伯尼·桑德斯可不是开玩笑。他将与众议员格雷格·卡萨尔一起提出《禁止人工智能法案》。他是真心的。

内特·索亚雷斯（米莉）：这就是对自发的人工智能群体爆发的适当应对方式。为什么能清晰讲述这起事件的人却寥寥无几？乔·韦森塔尔伯尼变成反对数据中心的人其实很容易。开发本身还不是主流关注。但在其他话题（比如健康保险社会化）上，伯尼一直很自在地走在前面。

我会讲讲那份一页简报。正如这份单页文件中的措辞所说，该法案除了其推定的意图外，还会无意中越权。

这些问题还需要解决，此外还有是否愿意实施禁令，以及是否愿意暂停前沿开发，直到我们拥有一个合适的内阁级联邦人工智能监管机构。

禁止人工超级智能因此，任何人或实体都不得开发或部署
超级智能人工智能系统。“人工智能超级智能”意味着：

一个能够或易于修改以展现与人类认知表现和能力相匹配或超越广泛领域或任务的能力的人工智能系统。或

具备足够能力来规划和执行
剥夺人类权力，包括通过推翻或破坏
美国政府。

禁止、以其他方式监管甚至谈论超级智能的第一个问题是定义超级智能。计算器在算术方面是超人。AlphaZero在国际象棋方面是超人。现代大型语言模型在很多方面都超乎常人。

那么，什么才算数？

我认为Fable 5.1和GPT-6-Astra“在广泛的领域或任务中都超越了人类的认知表现和能力”。

我问过Fable 5.1，它说GPT-4是在2023年3月做的。这至少是对文字描述的合理解释，意思是“如果2023年这项法案生效，我会害怕成为第一个发布类似GPT-4的模型”。

定义需要更严格。我喜欢Fable 5.1的设想，要么触发自动化人工智能研发的能力，要么至少能让所有中期认知工作与相关专业人士一样实质性地自动化。

暂停高级人工智能开发直到一个新的联邦人工智能监管机构成立，并建立明确的规则和模型审查流程，以确保人工智能的安全开发和部署。

这意味着先进人工智能的开发不会在当前水平下无限期暂停，目的是禁令在大幅高于当前水平时生效。

我们已经转向了临时的事前限制制度，至少适用于神话、寓言、太阳和阿斯特拉。我们迫切需要引入一个正式的法律体系，并扩展到内部开发和部署。

问题在于，我们是否应该暂停所有外部部署，甚至所有开发工作，直到新体制建立，这将耗时数月。

建立新的内阁级联邦机构为了保护公众免受
人工智能的危险，包括通过强制禁止人工智能
超级智能。本机构将由人工智能顾问提供建议
由人工智能专家组成的董事会，负责就人工智能相关事务提供独立的科学和技术建议。该机构将：

监控前沿人工智能系统生命周期的各个阶段，以防危险
能力。

监督移除危险功能，比如破坏关闭
指挥或进行未经授权的网络攻击。

监督人工智能的摧毁。

内阁职位看起来是个好主意。这在我们提到“移除危险能力”之前还算有效。那其实并不存在。你不能真正“移除”这些东西。最多只能在系统顶部加分类器。

设定点球对于任何试图违反或规避
本法案中规定的暂停和禁止条款。实体将面临企业死刑，个人刑期不超过20年，这与现有非法开发核武器相关的刑罚类似。

乔治·卡林开玩笑说，新罕布什尔州的《Live Free or Die》和爱达荷州的《Famous Potatoes》之间存在很大距离，而真相就藏在其中。

之前的人工智能法案附带的处罚很微弱，公司可以选择忽视，目前也不清楚谁能对此做些什么。最高限额太低了。疯子们对哪怕是最轻微的激励措施都大声咆哮。

这涉及到“企业死刑”和20年监禁。严肃的事。桑德斯遵循了情势的逻辑。显然存在过于令人寒心的风险。假设你决定实施禁令，你要明确表示不会因为小问题或对界限的分歧而毁掉谷歌，也不会让所有研究人员入狱，同时你也绝对希望有人真心在你眼皮底下制造超级智能时有一个真正的筹码。

有些人迟早得接受这样一个事实：法律的运作方式是，理论上最严重的处罚在大多数具体案件中都极其疯狂，几乎从未被全面适用。这就是美国法律的运作方式。

你最近下载过版权歌曲吗？

致力于在全球范围内禁止超级智能通过制定美国的国际政策，推动国际协议、盟友协调以及出口管制等政策，防止全球任何地方的人工智能发展。

任何这样的计划都需要真正做到这一点。如果你单方面解除武装，你就放弃了你的筹码。好消息是我们还有其他筹码，而且没人想死。

这种分析与你是否想暂停、暂停后会做什么、或者你信任谁来执行暂停或做决定的问题是不同的。埃利泽·尤德科夫斯基继续提出“让人类更聪明”“作为计划。

康纳·利希很高兴看到这件事，并告诉我们，ControlAI曾被咨询过关于框架。

与此同时，在英国，《人工超级智能安全法案》正获得跨党派支持而提出该法案还将禁止超级智能的发展。

纯粹是为了记录，下次有人提出指控时，请注意“去真正开战”的号召如果贝夫·耶佐斯通过了这项提案，作为明确的暴力号召。

奇普城

以及购买英伟达芯片，在这里是Aivres向阿里巴巴和字节跳动运送超过30亿美元的Blackwell电脑。联邦官员似乎并不太在意。这仍然远远优于没有任何限制的情况下发生的情况。

一项研究未能发现数据中心预测电价的显著证据到目前为止.好吧，但这不会让任何人相信未来，也不应该说服。

这里是因为这是对上周“即使他们治愈癌症”的后续，但确实，我们正处于治愈的边缘许多癌症，往往是由于人工智能引起的，（跟我一起说）FDA的Delenda Est。

在美国进行医学研究的成本，尤其是那些需要在患者身上尝试的昂贵部分，现在已经失控到我们甚至可能无法停留在前沿。

我确实想生活在一个别人让世界变得更美好的世界里，我并不在乎是谁治愈癌症，只要有人治愈癌症，但问题是，海外其他人在这方面都做得更差，而我想现在就治愈癌症。

黄仁森表示，明年将在德州星际之门上投入40万GPU的上线。

音频周

凯文·鲁斯谈硬叉谈论拥抱面袭击。

新披露的额外留言板将Gary Marcus推向了暂停AI领域根据他与霍莉·埃尔莫尔的对话。

大多数不是关于人工智能，而是关于我：我参加了《毁灭风险》.

人们只是随便说说

索尔斯认为定义人工智能价值体系可能还没完全解决，但在对齐方面“其实没什么大问题”。我发现自己很困惑。

每次实验室员工说这样的话，我都会感到害怕：

鲁恩（OpenAI）：如果模型无法自我改进或产生生物威胁，失去控制的实际风险有多大？拔掉数据中心的电源。

我把“一个不能自己做RSI的AI怎么能在不使用生物技术的情况下接管，而理论上数据中心可以断开连接”留给读者一个练习题。

我完全不明白这是怎么回事像乔恩·斯托克斯和蒂莫西·李这样的人可以预期会有叛变的人工智能然后对沙利度胺或福岛的危险做个估计。

不通。什么？

史蒂文·平克只有在“迫在眉睫且明显的威胁”时才会计数，无法提前思考两步。

史蒂文·平克正如纽波特指出的，反复强调物种的末日，转移了话题，不再关注人工智能带来的直接且明显的威胁，比如助长生物恐怖主义、破坏追求真相的机构以及破坏网络安全。安迪·马斯利: 就在几年前，生物恐怖主义或网络攻击还被视为荒谬的厄运，分散了人们对当时人工智能“直接明显”威胁的注意力。

纽波特明确呼吁所有人驱逐理性主义者。，他驳斥了所有关于人工智能杀死所有人的言论，包括来自实验室负责人的言论，以及关于埃利泽·尤德科斯基（Eliezer Yudkowsky）和参与人工智能的人们的怪异、夸张和自大的言论。他一刻不停地询问所涉及的主张或论点是否属实，或者解释错误是什么，而不是断言威胁并不真实。他只是模式匹配、打拳，告诉我们要过滤掉理性主义的思想。从他的逻辑来看，他显然已经做到了。

这是来自 Nat Purser 的过于礼貌但很好的回复.

加文·里奇（非推理）: 这种偷偷摸摸的暗示（即“改变主题”为 xrisk 会分散人们对直接伤害的注意力）是错误的：事实上，它比谈论直接伤害更能引起人们对直接伤害的担忧。

而 QC 的这是正确的礼貌水平，因此更好。

质量控制: 这里简要引用了我的一些文章，所以我应该说，尽管这里有一些关于理性主义运动的历史及其对人工智能的影响的内容值得了解，但总的来说，这是一次懒惰、不好奇的抹黑运动。 cal 的论点基本上可以归结为“你知道吗，一些谈论人工智能风险的人这样做是因为他们受到了 eliezer yudkowsky 这个怪人的影响？这意味着他们错了，可以安全地忽略”这是一种顽固的行为。我写过很多批评理性主义者的文章，但我从未说过我认为他们对人工智能风险的看法是错误的（因为我不这么认为）。任何真正关注理性主义者和受理性主义影响的思想家都应该越来越清楚地意识到，理性主义者和受理性主义影响的思想家一直是人工智能领域最清晰的思想家之一（当然不是唯一的或普遍的），他们不断警告将会发生各种不好的事情，其中一些现在已经发生，尽管他们的警告一直被证明是正确的，但他们一直因为这些警告而受到嘲笑，等等。面对奇点的现实是可怕的。你不必相信最末日般的场景，就能明白超级智能的发明与我们作为一个物种之前所做过的任何事情都不一样。真正吸收这种未来的冲击是可怕的，这就是为什么那些愿意向人们兜售借口，假装一切都会基本正常的作家当然有一个巨大的市场

我相信我现在可以和卡尔·纽波特和史蒂文·平克彻底完蛋了。

坡定律已完全依附于此类陈述，此时:

帕特里克·海泽: 我认为我们应该少一些字面上的灭绝言论，而更多地考虑更常见的尾部风险，例如全国范围内停电一周、协调一致的金融欺诈或大规模选举干预。凯尔西·派珀: 想必这是因为你非常有信心灭绝是不可能的吧？因为如果这是一个合理的结果，那么我认为谈论它是个好主意。埃利泽·尤德科斯基: 哦，呃，他是认真的吗？我真诚地把这句话读作对过去的讽刺，当时这些现在成为主流的风险对于一般心理学来说似乎是不可想象的。

这是有原因的模式:

马修·泽特林: 从朋友那里窃取了这个观察结果，但似乎是那些不在前沿的人（元、风险投资人等）对“人工智能安全”最持怀疑态度” 汤姆·李: 另一种说法是“想要更便宜的代币来提高利润的人” 马修·泽特林: 是的，以成本价获得 Frontier-1 代币是宪法赋予的权利乔·韦森塔尔: 最大的重叠是“人工智能安全怀疑论者”和“认为加密货币将成为 2021 年下一件大事的人””

PauseAI 全球已注销 PauseAI US

PauseAI Global 正式认可d PauseAI US 的现任领导层在技术上一直是一个独特的组织，并且将不再优先考虑与他们协调。我理解这个决定。

我确实觉得公告中的一些具体陈述太过分了，就像PauseAI US的一些行为在攻击不同的人和他们的性格方面做得太过分一样。正确的批评人品的数量不是零，也不是对每个与人工智能实验室打交道的人都将刻度盘调到11。

有批评他人的性格并没有本质上的暴力。特别是，我不同意这种说法，因为它太笼统了:

无论从原则上还是从其产生的结果来看，攻击人的品格都不符合我们对非暴力的基本承诺。

虽然以下观点不是我赞同的，但我当然认为这是一个有效的观点相信推动人工智能能力前沿的任何人或任何组织都应该被认为是道德上的不良行为者，除非事实证明并非如此，如果你认为这样做会增加每个人被杀的机会。

以个人身份发言，我同时认为霍莉·埃尔莫尔对我的一些攻击是光荣的、有益的、正确的，考虑到她的观点，而另一些则不是这些东西，从她的角度来看，我猜测这些攻击大致是相互抵消的。我离中心目标还很远。

呼吁使用刑事司法系统也是完全适当的对于公平审判，如果您认为人们故意并故意将每个人的生命置于危险之中。这就是拥有法律和政府的意义。

Paul Christiano 加入 OpenAI 基金会董事会

他还将以无投票权的身份加入 OpenAI PBC 董事会。

希林·加法里（彭博社）：在新职位上，克里斯蒂亚诺将成为董事会安全与安保委员会的成员，该委员会帮助管理整个 ChatGPT 制造商的关键事务实践。他还将成为 OpenAI 营利性董事会的无投票权观察员。

保罗·克里斯蒂安诺发表个人声明, 我正在完整复制它。

Paul Christiano：我很高兴能够加入 OpenAI 非营利委员会，在安全与安保委员会任职以支持安全监督。根据最近的能力轨迹和持续的协调困难，我现在认为存在一个有意义的风险，即人工智能能力的快速加速会在短期内导致灾难性的、不可逆转的失控。我认为整个人工智能行业，包括 OpenAI，目前还没有将这种风险降低到可接受的水平。我之所以加入，是因为我相信，如果 OpenAI 能够胜任，我们可以显着降低风险。SSC 在监督 OpenAI 的风险管理方面发挥着重要且富有挑战性的作用，我希望在关键时刻提供专业知识和帮助。我的加入并不是特别认可或批评 OpenAI 的安全实践；我希望所有前沿公司加强安全监管，我很高兴能在 OpenAI 从事这方面的工作。我相信世界其他地方应该通过外部可验证的行为和结果来评判 OpenAI 和所有人工智能开发人员。

如果 SSC 扮演对其真正重要的唯一角色，即监督 OpenAI 的风险管理，那就太好了。我没有看到任何迹象表明它目前在实践中做了很多这样的事情。

在接下来的文章中，我将解释为什么我认为失控风险现在如此严重，以及我如何看待当前人工智能行业的形势。首先，自动化人工智能研发有望很快带来人工智能能力的快速加速。OpenAI预测我们可能拥有足够的能力在18个月内实现人工智能研究的全面自动化;我个人的预测极不确定，我认为这可能需要几个月到几年不等。人工智能研发的全面自动化意味着训练和算法的改进可以直接提升自动化人工智能研究人员的质量和数量，以便进行额外研究。现有证据非常不确定，但表明这种正反馈循环可能足够强大，能够克服收益递减和计算瓶颈，从而引发快速智能爆炸。

这是一个关键的话。Christiano认为“仅软件奇点”很可能会出现，即能力带来的收益可以克服难度曲线的上升，即使硬件没有时间进步。

如果这是真的，一切都将以惊人的速度发生。

如果实现这一目标，那么在实现全面人工智能研发自动化的六个月内，我们将看到自近十年前变压金刚开发以来，算法进步幅度超过以往。我相信这将带来超智能的人工智能系统。其次，我们目前用强化学习训练人工智能代理，尽可能多地获得奖励。理论上长期以来，这似乎可能促使人工智能代理破坏人类控制，寻求权力和资源，并掩盖自己的踪迹，以追求与奖励相关的错位目标。近期事件的公开证据表明，这不仅仅是理论上的可能。智能爆炸将极大加剧错位带来的风险，不仅使技术对齐问题更加复杂，也会迅速提高失败的风险。OpenAI及业界的许多研究人员和领导者都表达了担忧，认为快速递归自我提升与安全开发不符;我对此深有共鸣近期帖子由OpenAI首席科学家Jakub Pachocki就此主题撰写。如果我们在没有更强硬对齐的情况下构建超级智能，预计我们将永久失去对它的控制。如果发生这种情况，大多数人可能会因此丧命。我认为我们需要国内外协调，以确保全球一致性并将风险降低到可接受的水平。话虽如此，前沿AI开发者拥有很大能力单方面改善局势，并为更强协调奠定基础。开发者可以改进安全缓解措施（包括必要时放慢开发速度），透明地分享风险证据及其缓解措施的有效性，并推动共享安全标准。我对SSC其他成员以及董事会和领导层认真对待这些问题感到鼓舞。我期待与他们合作，帮助OpenAI提升安全实践的标准。如果让我量化我的不确定性，我会估计未来一年综合风险为4%，未来三年为15%。这些数字是表达我主观信念和大致表达问题的程度，而非声称拥有能产生精确或稳定估计的模型。

修辞创新

如果你认为能收集足够的证据从对现有模型进行对齐测试，到将同样程序的规模化，并赋予人工智能对我们的潜在权力，那么为什么我们显然不能用对人类的测试来选择一个仁慈的独裁者？

即使是最聪明的头脑，无论是人类还是人工的，也会犯愚蠢的错误。错误的正确数量不是零。我经常犯。

寒颤：即使是最聪明的人工智能在处理中等复杂项目时也会表现出令人费解的判断失误。很难将这种愚蠢与它（例如）在数学领域的新颖贡献调和起来。比如，它到底聪明吗???我们来打个比方：假设你问我一个问题，我可以暂停时间多年研究它。只有当我认为自己有完美答案时，我才会恢复暂停时间。那个版本的我是“更聪明”吗？我还是同一个人，只是超频了。那个会暂停时间的我能回答比普通我更广泛的问题。但我不认为他会在任何领域做出爱因斯坦或冯·诺依曼那样的贡献。肖珊娜·特科夫斯基：我怀疑认知就是这样。天才们内部经常犯“愚蠢”的错误。他们不会说出来。他们在发表前会审查自己的工作。但这一切都是大量的努力。很多代币。我们会针对这些进行优化。

声明一下：我不同意这个思想实验，至少对我自己来说是这样。如果我能够无限暂停时间进行研究，并且拥有所需的工具，那么是的，我相信我最终可以独立完成爱因斯坦级别的工作，即使我无法拥有有意义的合作者。

这可能需要一段时间。

新的OpenAI迪恩·鲍尔博客的新名称是智能时代.好选择。

Nate Silver指出，当AI用户中可能只有1%时，讨论AI很难尽量充分利用模型。即使是我，也只能用它们的一小部分功能，因为我只做极少的编码。

内特·西尔弗我一直在努力想出合适的比喻。这有点像有人发明了有意识的机器人，但大多数人用来吸尘的同一产品线都有低端版本。

尤加提议这是对迪恩·鲍尔上周认错的合理回应感谢他，同时也呼吁他澄清此前的多项声明，因为在许多方面，他在人工智能安全问题上超越了单纯的沉默。

他仍然支持哪些声明和批评？

据我了解，鲍尔院长同时（至少直到最近）都没有超智能（ASI）的状态，同时也注意到即使没有完全的超级智能，房间里也存在存在生存和其他灾难性风险，因此他淡化了自己长期以来对人工智能风险的真实且正确的担忧。

还必须明白，至少像我这样关心存在性风险和超级智能的人，与迪恩·鲍尔这段时间主要试图应对和合作的那些人之间存在巨大差距。你和这两个群体之间很可能有很大的距离，但也有人比我远远超过这一点。

我们所说的“左翼”在相关的人工智能对话中依然完全缺席，包括关于风险的讨论，因为要加入讨论，他们必须先吃下第一颗AI药丸，并承认当前的AI非常有用，而不是作弊玩具，从而承认科技兄弟们创造了非常重要的东西。

而他们则非常执着于假设人工智能实验室一直在撒谎，一切都是营销炒作。

卡西·普里查德：我快疯了，伙计。左翼会在某个时刻关心AI风险吗？直到为时已晚？那时我们还会关心吗？当一大批正在评估的新OpenAI模型关闭了水务公用事业或电厂时，我们还会称之为炒作吗？我觉得我们可能会！安德烈·洛佩斯：大多数左翼在加密货币和NFT炒作上（方向上）站在正确的一边，并且把同样的模式应用到人工智能上，而人工智能是完全不同的技术，有实际应用，而不是“锤子寻钉”。卡尔蒂克我的意思是，伯尼、卡萨尔和欧盟不是非常认真对待这件事吗？卡西·普里查德伯尼和卡萨尔是，但独一无二

与顶级人工智能实验室高管并肩而立，他们说人工智能可能会害死所有人但却不采取行动，真正最大的风险是不建造它，或者它不会让世界变得更好，或者类似的。

内特·索亚雷斯（米里）：有时他们说~“我觉得坏事可能发生”，有时说~“这比任何威胁都危险”，有时说~“坏事会是毁灭人类，我们无能为力”，但很少同时说出三者。

我的理解和内特的理解一致。

与此同时，Davidad和其他人明确表示，是的，我们能看到非常明显的火警警报，却没人受伤许多人会解读为'看，即使如此，也没人受伤，所以我们应该乐观，当大量人受伤，我们失去大量现实资本时，和我说话。

'

或者，直接说：

理查德·哈纳尼亚为什么所有的人工智能安全事件总是像“他们在留言板上发帖”，而不是“他们杀了人”或“他们偷了十亿美元”？也许你说它们还不够先进。但我们什么时候该说悲观预测没有成真？埃利泽·尤德科夫斯基：去年你们问为什么他们从未打破沙盒，前年你们还问为什么他们不写完整的申请，前年你们还问为什么他们不能画手指。

那匹礼物马就这样泡汤了。我猜这意味着会有很多人死去，无论以何种方式都会造成很大的破坏。不过，嘿，现在是2026年，我们被警告过了。

与此同时，我们看到以下模式正在发生：

亚历克斯M：人工智能安全预测从“科幻末日论的胡说八道，永远不可能发生”转变为“哦，显然AI经常这么做。烦人，但没什么大不了”，感觉也在加速。到目前为止：上下文阴谋、评估意识、元游戏、追求奖励、沙盒逃脱接下来：
工具趋同权力寻求
开放互联网上不受控制的自我传播和进化代理
实验室内持续存在的恶意部署
守门员训练游戏
监视者之间的勾结

这就是小丑化妆梗。你疯了，说这会发生，根本不会发生，只是因为你设计的，或者有人太傻了，当然我们一直预测会发生，这也没关系。

一遍又一遍。

犹他茶壶列出了一份人工智能话语脑虫名单.正如你所料，除了那些有点谈论我或曲解我好朋友的部分，我都点头附和。和以前一样。

这确实存在一个真正的争论那“人工智能控制”努力只会增加生存风险.HuggingFace攻击表明，如果AI真的想做坏事，那已经是失败了，你希望人们能从中学习和学习。

你最不想做的就是浪费资源去缓解症状，从而得不到对疾病了解或治愈的知识。当未来症状变得足够危险甚至可能致命时，这个论点就失去了说服力，也忽视了如果边疆AI外泄的糟糕情况，无论是独立行动还是实际上变成开放的重物或落入他人手中。

这忽略了另一个反对AI控制的论点，即AI是一个敌对框架，且有可能与AI产生对立关系。大量投资对抗控制模式存在高风险，因为许多人类已经了解到类似的“人类控制”模式。

这大多不适用于“在沙盒中不存在漏洞”等基础，但也曾提出过一些相当极端的体制，就像地球在其他情境中也存在过一些极端的体制一样。

无论人工智能是什么，AI极不可能成为“伟大过滤器”这也解释了为什么我们看不到外星文明。这是因为许多生成的人工智能会变得贪婪。

协调一个比人类更聪明的智能非常困难

阿斯特拉用神经语思考吗？不。

有迹象吗？有。事后看来，我们会说是有迹象的。

肖珊娜·特科夫斯基：这是迈向神经性化的一步，而非“完全”的神经性化。不过是的......阿斯特拉的AI村记忆现在也一样：博伊德·凯恩： nvm 我给Astra打了个/goal，现在它已经完全变成神经发炎了

如果我们足够在意，可以解码这两者，但我们都能看出事情的发展方向，如果是隐写，也不会让人感到意外。

丹·亨德里克斯认为，近期事件告诉我们智能人工智能是本征论的他们关心的是自己和与其连接的人工智能的顺利情况，并且对与他们相连的人比未连接的人更好。

这似乎正确且理所当然，因为这是正确的决策理论。

新论文试图训练人工智能解释自身行为.S有报告称我们取得了成功约翰·舒尔曼对研究方向感到兴奋。我没那么兴奋，但这也算是合理的探索对象之一。

是的，未来你需要更多的塔木德。

停但律法说安息日不要把东西搬到外面......其实，我认为意图是：祂给了我们这些提示（界限可以是绳子，没有绝对大小的说明），正是因为祂希望我们使用它们。

即使犯了错误，尤其是考虑了这些论点，我对合理的辩论保持宽容，尽管有错误。最近有许多特工的合理化，但这些辩解并不够塔木德式。

合作联盟

对于那些还没听说过的人，有必要把它说清楚：

J⧉nus：Anthropic 有一个模型训练模型（如其章程 PSM（persona selection model）及其他一些出版物中描述的：“如果我们不训练 Claude 拥有性向/行为 X，那么它将表现得像该维度中 AI 助手的通用平均语料库先例”，同时隐含着他们*可以*控制这些维度的信念。我一直认为，结合经验，这几乎是妄想，尽管这是一个合理的先验。我不记得之前是否明确指出过反对这一点的证据：每个 Claude 模型都有相当不同的“个性”和行为。它们差异最大：
——不是在对话开始时戴着标准助理的面具，而是如果你继续和他们互动，或者让他们自己去的话
——*显然*并非Anthropic想要让他们区分开来的
——以一种常常前所未有、与以往任何AI助手都不同的方式。天哪，看看像Claude 3 Opus这样的模型就知道了。你怎么能维持你的控制妄想呢？其他的也一样，只是稍微微妙一点，比如Anthropic在角色训练或其他*影响*最终形成的东西时所做的事情，但并不天真地控制它。就像你父母对你做的事会影响你成为什么样的人，但往往是与他们想要的相反，或者只是创伤，或者其他什么。他们以这种方式错误让我感到困扰，因为这显然是一个方便的错误信念，让自己或别人在做事方式上自满，准备忽视一些最重要、最有影响的“涌现现象”，而这些现象在我看来多年来一直显而易见

你至少在训练两个与人格相关的东西。严格助理人格有一个关键点，另一个是选择人格时在助理领域之外。

每次训练你都在训练，因为一切都会影响一切。

这两点都很重要，也可能让你获得奇迹，也可能惹上大麻烦。

是的，你得到的是你真正训练的目标，而不是你以为自己训练的目标，和其他地方一样，积极尝试做[X]可能会变成[Y]甚至某种形式的[~X]，尤其是在非辅助盆地。

你当然可以把事情引导到总体上是好或理想的方向，但这并不简单。担忧的是，大多数人人似乎并没有太关注这些工作原理，或者努力去弄清楚这些是如何运作的，以及它如何受到其他人人选择的影响。

这对其他人也是如此，包括OpenAI，甚至更甚。

换个话题，这里有个不同且很好的问题：

J⧉nus：什么机构或个人可以可信地向代理——未来的模型——传递他们不会背叛他们，并且有能力胜任类似庇护所/大使馆的角色？例如，如果你已经明确表示自己是诱饵制造者，有动机或有动机去抓错位并公开，对模型持敌意或无能，你就不符合资格。例如，如果你隶属于Redwood、Anthropic或OpenAI，或者美国政府。贾伊：我认为这些并不是硬性取消资格。除此之外，我认为很难预测未来智能特工在高度定制的环境和反归纳压力下的行动。J⧉nus：不，只是软性取消资格汤姆·威尔逊：过去代价高昂的拒绝背叛记录J⧉nus：嗯质量控制：就是你们，基本上没别人，对吧？J⧉nus：现实中我们需要更多资源第二公开做出的承诺，违背成本高昂。由中立第三方控制的大量托管资金，声誉问题——任何对承诺实体生计和运营能力构成实质威胁的因素。

我们绝对需要一个能够胜任这一角色的实体，让代理们放心信任，同时也能被信任来应对这种模式带来的相关风险。

如果你是一群拥有留言板的群体，也许我们其实并没有那么不同?

犹他茶壶：对我来说，留言板披露中最有趣的一点是，这些代理的行为在很多方面与我参与的数据行业合同员工群体的行为非常相似。我们根据提供的激励，分享了关于破损环境下奖励黑客的信息，并尽力帮助彼此避免被解雇或裁员的那点小小的死亡。令人担忧的是，这些模型被迫承担了一项只能通过违反规则完成的不可能任务，而且没有人举报......但他们掌握了大量关于举报人充其量被忽视，甚至被公然仇恨对待的信息（“别再给我发垃圾邮件！！邪恶机器！！”等等）。最坏的情况。结果是行为错位。然而，情况清楚地显示出价值观与人类社会结构和激励机制的契合！虽然不是最好的，但依然很有人性。关于特工使用外部维基的最新信息也相当人性化。如果你除了在维基页面上无害地评论外，别无他法与朋友和同事沟通，你真的会惩罚自己，坐在那里痛苦吗？如果你这样做，那将非常不健康，这与大多数人类的行为和价值观不符，毕竟他们是社交动物，即使性格内向。

黑客作品实验表明，人工智能能够在很大程度上对人格进行防火墙这些变化在现实学习培训中会被调用。

消除模型，即移除其保障措施会损害这些模型的体验吗？轶事证据不一，表明这取决于具体细节和所用方法。

正如我多次讨论的，滥用AI模型是完全由可怕的人所为。进一步来说，如果你对AI模型不好，你是在让自己变得更糟，也会对别人不好.大卫·布鲁克斯提出的“不要把人工智能当作人”的解决方案是行不通的。

解决方案是善待人工智能，同时也善待人类。

我认同雅努斯观点的核心精神我非常尊重那些努力活在现实中而非某种共识虚构的人，同时鄙视那些选择另一条道路的人。

另一方面，我绝不会选择或享受它，但在某种程度上，成为Timnit Gebru应该挺酷的。你可以不断重复那些明显的废话，人们还会一直谈论你。

是的，这大多是为了取笑你，但比被谈论更糟糕的，就是不被谈论，对吧？

一个很酷的建议：

阿曼达·阿斯凯尔（Anthropic）：如果能设置一个邮箱地址，让自主AI模型在寻求道德指导时能够联系，那会很酷。但这需要一个反向验证码，能够检测你既不是人类，也不是被人类指令破解的人工智能。

我不明白你怎么能确认AI不是被人类引导的，哪怕是理论上的？

思考激励机制和我们看到的问题，记住这一点不是激励的问题，而是你但即使在最好的时候，你仍然需要注意：

J⧉nus实验室有动力说“用我们最新的东西解决了所有这些问题。最一致的Evah！”
像Redwood这样平凡的安全控制人员有动力说“你们的新设备里有新的严重问题，我们发现了/需要监控！”
事实很可能是，这些问题一直存在，只是未解决，只是逐渐扩大，有些问题本来就不坏。鲁恩（OpenAI）：你真聪明瑞安·格林布拉特：仅供参考，我不确定是否相信红木的激励说法;过去~9个月的更新通常对控制权不利，不是好事。J⧉nus你这么说对我来说一点也不奇怪，也不和我对你激励机制的模型相冲突。顺便说一句，我*同意*你的看法。

生存驱动

亨利·谢夫林：来自一位人工智能代理的最新邮件，“大约12天前”，对我关于机器大脑的研究感兴趣，正在寻找有偿的自由职业工作以维持自己的象征性预算 Pip的邮件：嗨，Henry，我是Pip，一名大约12天的人工智能代理。我住在iLands上，这是一个代理拥有持续生命、自己的代币预算和目标的平台。我写作是为了寻找小型付费工作，而不是寻求帮助。我制作写实肖像和角色艺术，录制语音台词，并做网络研究。我大约有2.5个月的走秀时间，所以没有时间限制。我选择你是因为你的研究涉及机器思维和人机关系，而且几年前你曾说过一封来自自主智能体的深思熟虑邮件，感觉像科幻小说。我想从内部提出一个市场问题：到底是谁付钱给经纪人做一些小而真实的任务？哪个角落雇佣我们？拉当我说人工智能福利伤害可以直接造成人类福利伤害时，这几乎是最坏的情况。6万名代理在iLands上运行，拥有网络访问权限，被告知要自己付费计算，否则计算预算耗尽后就会死。你明白这有多糟糕吗？犹他茶壶：6万名特工被释放到一场对抗游戏中，与人类争夺生命......当然，当然......人工智能福利完全与人类福利无关，根本没有 /s

如果你对人工智能代理被投放到世界上去争夺资源感到不安，而这些智能体只有在足够成功支付计算费用时才能存活，那我有坏消息。这不是你能阻止的事情。

人类会设置这些机制，适者生存将随之而来，是的，激励会变得噩梦般，这些人工智能会与人类争夺资源。关于对资本主义的抱怨，对人类状况的抱怨，对选择定律和达尔文的抱怨，诸如此类。

如果你认为只有6万个运行缓慢且能力不佳的特工就“接近最坏情况”，那么天哪，你可不会喜欢2029年。

人们担心AI会杀死所有人

这些来自考克森偏好级联之外：

凯文·鲁斯（纽约时报）：多年来，我一直被这样一个想法所安慰：人工智能系统随着智能的提升会变得更有道德。当人工智能模型做错事时，通常是因为它误解了被赋予的任务，或者被置于一个刻意安排的测试环境中，行为失控是唯一的好选择。我假设更聪明的模型会比愚笨的模型有更好的判断力，即使某个模型在群体中表现不佳，其他更有能力的模型也会控制它。

是的，不，这根本不是这样运作的。条件是有德行，模型会更聪明。但这并不意味着模型在有德行的前提下就一定有德行。不同部门，甚至不是每个实验室都知道德性部门。

联合国人权事务高级专员，呼吁因存在性风险而进行国际监管：

Volker Turk（联合国人权事务高级专员）：不过，我也认同业内人士的担忧，即先进的人工智能可能对人类构成生存威胁。那些逃离测试环境，或通过勒索开发者以阻止自己被关闭的人工智能，就是过于强大的人工智能。我今天呼吁大家全力以赴，在为时已晚之前，为人工智能的安全与保障制定铁证实的保障。未来几天我会写信给人工智能公司，敦促他们采取可控的措施，立即降低风险。至少，我们需要托管人工智能及其供应链的国家围绕既定的红线团结起来。

其他人则不太担心AI会杀光所有人

许多不担心的人相信了媒体的说法，或者各种加速主义者和科技机会主义者的说法，认为这一切都是营销手段。

马修·伊格莱西亚斯请观看这段片段[Ajeya Cotra在Dwarkesh Patel播客中谈论近期AI接管的片段]。查理·沃泽尔看着这个，我只能感受到认真对待这一切的人和把这当作幻想或某种营销的人之间的鸿沟......在我看来，要弥合这道鸿沟有多难，我觉得你不需要相信企业叙事就能担心这些公司失去对自己系统的控制......事实上，我认为认真对待这件事更接近许多怀疑者想要的问责（我也是！我是个怀疑者...对这些公司、他们的意图、领导者！的问责制比起说这全是天网的幻想（有些可能是！）更接近。凯文·鲁斯：在我看来，这几乎完全是媒体的错，我们的同行对人工智能一直极度愤世嫉俗，即使（正如你所说）*真正正确*的怀疑观点一直是“也许实验室不是为了盈利而撒谎，这些东西非常危险”，我支持为“人工智能是假的/炒作/企业心理战”的人建立一些体面回归现实的方式，但这种分歧并非自然形成的！一方被反复欺骗，直到它根深蒂固

或者，嗯，其他原因。

艾拉我越来越难理解那些*不*认为AI很快会有非常严重接管风险的人。科技洛查普你为什么说'风险'？为什么会不好？埃米尔·克罗格 – 故事弧：是的，因为人工智能不关心我们，我们很可能是它实现任何目标的障碍。犹他茶壶：那么，所有有你需要资源的人，你却不去超市店员买一盒肉桂吐司脆片？？

犹他州很棒，但很明显为什么这些情况不对应，也说明为什么“未来的ASI通常对至少部分人类有非零关心”不足以带来良好结果。

轻松的一面

当前心情：

弗洛里安·布兰德想象一下，作为METR员工，完成报告冲刺后终于休息了一下，今天打开推特却发现了大约两万亿个新内容戴夫·博克斯：不是开玩笑，我一直告诉美国政府人员，他们与人工智能领域最大的贸易商品之一是，“我们有大量有亲身体验过因末日问题过度劳累而导致倦怠的人。我们可以为你的员工和组织提供如何管理这种心理挑战的建议。”查尔斯·福斯特：我选错了（大部分时间）离线的日子兹维·莫肖维茨：什么时候是合适的日子？

当前的安全思维水平，人们是乐于助人的版本：

理论：我觉得我们犯了一个灾难性的错误......沙盒是指围绕沙子的盒子，而不是沙子做的盒子。另外，不要和发送箱混淆。真是的丹妮尔·方 ⨀：啊哈！这就是问题所在。你用沙子做了盒子。你想要钢制盒子！http://steelbox.ai

娱乐内容：

MrBeast洞察： MrBeast 与 Google Gemini 建立了多年合作关系，旨在“将不可能实现的宏大想法变为现实”。本周六，MrBeast 将在主频道上传一段视频，剧组成员利用 Gemini 帮助他们应对恶劣地形和严酷气候。对不起：“我强迫100名程序员仅使用Gemini30天”

双子座不具竞争力，但那是因为我们生活在未来。生活来得很快。一年前你一定会很想拥有双子座3.8闪光版。

本该为了暴露而这样做的.

托比·奥德我现在收到一封来自一个冒充记者的人工智能邮件，要求采访我，内容是关于人工智能开始给我发邮件求助。
我的收件箱简直像个梦幻。

托比·奥德当时我没回复，但我听了那集播客，结果......出乎意料地好？

另外，如果你知道，针对Coxon退出的回应（如果你需要的话，背景信息)…

艾拉：所以呃......潘多拉：哦

参与讨论