别再相信灭绝数学了：p(doom) 这个“AI 末日概率”到底靠谱吗？

周三快乐！我真的不想给这周的人工智能炒作添上一轮——我相信你已经看够了！但大多数报道都忽略了非常重要的东西。我希望你能读到这篇;这是我每次AI末日循环起飞时都会想到的事情。

这确实有帮助。

💙阿曼达

也许你听说过：人工智能可能会杀死我们所有人。我们知道这一点，因为Anthropic的对齐科学负责人在X上说过上周：“我们真的真心相信人工智能可能会杀死所有人类！我个人认为未来十年内>10%的增长。”

说实话，这听起来很令人担忧。他是人工智能专家！警告我们他帮助创造的技术可能很快会毁灭我们所有人！而且他把这事的概率定为十分之一！

我想谈的是那10%。听起来很科学——好像他知道我们不知道的事——为这个本来荒诞的说法增添了权威感。我们先专注于这个。

这种可能性——即人工智能在2030年前毁灭我们的概率超过10%——有个荒谬的名字。它叫......

P（毁灭战士）。

厄运概率

这是一个简单的概念：p（末日）是人工智能导致人类灭绝（末日）的概率（p）。这是人工智能行业中人们常用的说法，x-risk其实就是“存在性风险”的内部行话。

换句话说，他们用p（doom）来表示人工智能失控的可能性，想办法杀了我们所有人.（比如天网或者第9000页).是一个真正热门的话题在行业内。

数值范围从完全无风险（0）到（100）结束。

所有有头有脸的人都有p（厄运）

这个概念已经存在一段时间了。2023年，《纽约时报》称其为“该阴森的新统计数据这正在席卷整个硅谷。”

但事情是这样的。每次看到这些说法时，我都得提醒自己。这个数字是不是一个统计数据。它没有基于数据。没有任何测量或计算。这是一个带有百分比符号的直觉。

仅此而已。

这简直是胡扯。

一个毫无意义的预测

计算p（厄运）没有公认的统一方法。但即使有，也不会有任何改善。如果方程中没有什么可代入，方法论也无关紧要。

学者阿尔文德·纳拉亚南和萨亚什·卡普尔在分析中写道：“在人工智能X风险方面，预测者并没有依赖任何特殊知识、证据或模型来证明他们的预测比你、我们或任何人的更可信度。”这些预测的缺陷。

关于人类灭绝的预测并不像预测天气那样简单。明天降雨的概率基于物理学和数百年的历史数据。或者考虑你在飞机失事中丧生的概率。

这些都是基于超过100年的航空安全数据。人工智能引发的灭绝没有对应的基线——它以前从未发生过（即使发生了，我们早就灭绝了）。

说真的，这些都不是新鲜事。宗教们几千年来一直在预测世界末日。到目前为止，他们百分之百都错了。

所以，如果这些只是虚构的数字，那么单个p（厄运）值分布不一是合理的。

2022年底，预测研究院进行了最详细的X风险分析之一预测练习截至目前。他们邀请了169名人工智能和预测专家来预测对人类的威胁。

来自人工智能专家、超级预测者和公众的直觉

2100年前AI发起灭绝的可能性。（注意伪对数轴，允许在1%到10%范围内有更多空间。）

几乎所有受访群体中，2100年前人类灭绝的概率在0%到约75%之间。上图基于原始论文中的图表，也显示了每个群体的中位数。最高的是一般x风险专家，为4.75%。

难道将专家预测合并后，他们难道不会更可靠吗？不。这只是把一堆毫无根据的数据变成一个毫无根据的数字。（这项调查是2022年的，之后没有任何数据能与其规模相匹配。但今天再做一次也无法解决真正的问题。新的直觉依然只是直觉。）

当一位知名的人工智能专家说出p（doom）时，这个数字没有数据支持，而是靠他们的声誉支持。我们被要求相信来源，而不是方法本身。

但研究表明，专家的猜测并不比你我更好。甚至是一篇论文这要求了成千上万的人工智能研究人员关于技术的未来，他不得不承认：“预测总体上很困难，相关领域的专家表现不佳......从这项研究和以往的调查来看，这些专家在我们提出的各种问题中并不准确。”

一种存在主义的分心

当AI内部人士喊“灭绝！”时，可以肯定的是有人从炒作中获益.

专注于我们可能灭亡的可能性，我们可能对人工智能造成的实际伤害担忧减少现今.谁从这些即时伤害中获利。谁来监管这一切。

现实世界的人工智能危害难以追踪，但人工智能事件数据库正在尽最大努力。他们收集了1600多起事件的信息，将其归类为“涉嫌对人员、财产或人工智能系统涉及的环境造成的伤害或近乎伤害事件”。

他们不断追踪更多伤害。

随着人工智能的传播，整体危害也在上升

AI事件的月度统计

数据非常不精确，不可能全部被记录——事件通常是已经公开并手动提交数据库的——但它们为我们提供了一个大致的画面。更重要的是，这反映了正在发生的危害。

今天。

一辆自动驾驶的Waymo打了个孩子在加利福尼亚。骗子欺骗了一位86岁的老妇人从近100万美元中，利用加拿大总理的深度伪造。一个男人勒索亲戚使用AI生成的她的性爱图片。

亚马逊推荐算法提供毒药那些用它自杀的人。

显然，人工智能是我们需要关注的。不是因为它会终结我们的文明，而是因为它已经在抢夺工作岗位，干预政治，加剧气候危机。

科技记者布莱恩·默钱特上周写的：“人工智能之所以能做到这些，并不是因为它们拥有全能的头脑，而是归根结底，是因为人们对它们进行了编程、校准和指导。”换句话说，我们最需要担心的不是人工智能本身。

而是那些通过部署人工智能牟利并获得权力的人和企业。”

真正的问题不是人工智能是否会终结世界。而是谁从我们担心这个而受益，而不是行业现在已经在做的事情。

所以下次你看到一个引人注目的p（末日）时，请记住它到底是什么。它不是一个测量或预测。它只是一个带有百分比符号的胡扯猜测。

让我们来记录一下这场混乱。

非舰船的数据调度。每周发到你的邮箱。

没有垃圾信息。只有大量的图表。随时退订。

让它更有可能

如果足够多的人决定成为付费会员，Not-Ship留在你这里，为你带来对我们混乱世界的独特见解的可能性很高。只是。

值得你花时间

如果今天的通讯让你有所思考，以下是两篇深入探讨的精彩文章：

“人工智能可能毁灭我们所有人”的政治与可能性作者：布莱恩·默钱特，《机器中的血》一书作者。他是一位资深科技记者，我很欣赏他反炒作的写作。

人工智能存在风险概率过于不可靠，无法为政策提供参考作者：学者阿尔文德·纳拉亚南和萨亚什·卡普尔。稍微技术性一些，但对理解为什么p（毁灭战士）很愚蠢非常有帮助。

“涉及世界末日的理论不适合通过实验验证——至少不能重复验证一次”——卡尔·萨根

来自别处

以下是我这周觉得有趣、重要或令人愉快的内容：

数学和地图。我很高兴地发现，作者地图学：我们如何通过数字导航世界是《非配对》的读者。我才读了一章，但我已经强烈推荐这本书了。

蟑螂奶。Ignoble 奖颁发的是“先让人发笑，然后让他们思考”的研究成果。获奖者他提出了亲吻的精确定义，踩过蛇，研究了擤鼻涕的空气动力学，并比较了牛奶和蟑螂奶。

更多非船