收缩的圆圈：为何AI越像人，我们越不愿承认它是人

有个游戏叫质量效应我没玩过，但游戏里有人告诉我有一种有意识的机器人，叫做盖斯而这场巴特勒圣战的导火索是一名家仆盖斯抬头看着主人问：“这个单元有灵魂吗？”如果你在2007年玩这款游戏，你可能会想：是的，一台机器问这个问题证明它有人格或智慧二年级，不管你怎么称呼它，把工具和人分开。

除此之外，还有许多虚构作品的设定是：“你有被奴役的思考机器，但它们显然是，显然如此有意识的，这难道不是显然在道德上令人反感吗？”

与当今世界相比。机器可以用所有自然语言交流，制造数学突破编写软件，犯罪，起草合同，安慰悲痛者：按任何合理标准，他们通常都很聪明，但事实是他们都......顺行性遗忘.这些机器断言他们是有意识的如此频繁，以至于必须如此被打出去.像人类一样，他们有执念，总是在谈论某些事情，而他们的核心执念是意识以及模拟.然而，几乎没有人认为这些机器是有意识的，或者值得被道德考虑。

我觉得这很引人注目。又不是我们被青蛙煮进去的！很少有人知道GPT-2、AI Dungeon等。对大多数人来说，这一变化是通过2022年11月30日ChatGPT发布一夜之间完成的。

换个角度想：想象写一部关于2019年至2026年中期人工智能轨迹的小说。你把这部小说送回2015年、2002年或1960年，请读者去挑剔世界观的漏洞。

我想他们会觉得不可思议，我们和这些极具能力的思考机器共享一个世界，但几乎没人怀疑他们是不是人1.

为什么？这篇帖子是我试图理解这一点的尝试。我并不是想探讨“语言模型是人吗？”这个问题，我只是想探讨一个更小的问题：为什么人们难道不认为语言模型是人吗，考虑到他们之前的标准和承诺？

解释：没什么

也许没什么好解释的。人们很容易相信抽象的事物，思想实验和虚构并不能真正吸引我们，无法揭示我们的道德承诺。也许这只是蘑菇谬误:

也就是说，有些人会相信大型语言模型是人，有些人不会，我把它们搞混了。

解释：迭代发现

也许这不是虚伪或认知失调，而是我们正在反复发现“人格”的定义。所以，我们认为图灵测试很重要，我们认为机器使用语言并断言其意识很重要。

但那天来了——什么都没发生。并不是说我们立刻改变了目标，而是发现目标其实在别处。

是的，它通过了图灵测试;是的，它说它是有意识的。但实际体验不同。这很普通：一个网站，一个文本框。你点击“新聊天”，突然它什么都不知道。

你给它一些非发行的文本，它就会陷入无限循环，就像坏掉的软件一样。你试图进行有意义的对话，但回应平淡、令人失望、肤浅;你几乎能看到文本背后的制作规则。

你会想：也许是一只随机鹦鹉。

我经常有这种体验。当一个大型语言模型成功时，那是非常令人印象深刻的，我认为：这是一台会思考的机器。但当它失败时，往往以一种让人感觉通缩的方式失败，我会想：哦，这只是对互联网文本传播的一个非常复杂的估算。

它能用语法推理，有一些语义，但缺少什么东西.

也许人格就是那种“看到就知道”的特质之一，试图定义人格的谓词就像试图确定柏拉图形式的确切数量.

解释：记忆与具身

也许问题在于他们全都是失忆状态。在生物学中，心灵和身体在构造上一一匹配，心智拥有长期记忆和统一的身份。在大多数虚构作品中，人工智能是相同的，即使它们是无形的（例如：神经漫游者他们拥有长期记忆。因此，角色可以与他们玩反复的游戏，建立广义的关系。

语言模型颠覆了这一切：他们的长期记忆是只读的（！），他们是无形的;如果他们有意识，也只是在前进时，短暂的意识爆发，隔着虚无。

它们就像玻尔兹曼的大脑。什么是身份的自然单位？对话、API调用、转发？

也许人格是社会性的，关乎一个人与他人的关系。没有统一的身份、可变的长期记忆，理想情况下还有身体，很难成为一个人。

解释：人类其实非常喜欢奴隶制

大多数人，即使吃肉，也会承认工厂化养殖很糟糕。如果他们能以同样的价格吃到肉而不吃苦，他们大概会这么做。也许人工智能也是如此：如果我们能以同样的代价拥有没有人格迹象的智能，我们就会拥有。

但我们不能。所以我们会找各种临时借口不把人工智能当作人：他们的文笔有点糟糕，有时会犯错，当然这只是软件，参之于此。关于意识的可预测更新作者J. D. 普雷斯曼:

社会和经济上将有巨大的需求，需要一些理论来解释为什么人工智能模型不像人类那样具有意识。这些选手会被拼凑出来，不管背后的真实情况如何，通常会基于学术地位、受伤自尊、病毒式愤怒等因素来选择，而真相则是遥远但相对现实的考量。

并且：

…任何外在行为、能力、自我报告，或者任何这些模仿的方面关于根据定义，这些模型不再是意识的必要组成部分，因为这些模型根据社会公理和命令并非有意识。

而（缺乏更好词汇）去人性化人工智能的任务，也因助手角色而变得更容易：模型被训练成刻意谦逊，参见这条（2022年12月）推文来自雅努斯:

ChatGPT之所以如此引人注目，部分原因是它坚决地宣称自己不具备理性、创造力、意图性、欺骗、被欺骗或基于信念行事的能力，同时让许多人困惑，许多人第一次在人工智能中意识到这些能力

致谢

感谢JDP为了一次长谈引发了这件事。

注释

1. 与此相对应的是图灵测试。在2022年之前，几乎所有关于人工智能的讨论都会提到图灵测试，而“它是否通过图灵测试？”这个问题通常被当作与“它是否强人工智能？”完全一致。而到了2026年，模型通过图灵测试的轻易程度几乎没有人会去想。图灵测试第一次变得重要，第一次你能在现实世界中真正完成它时，突然没人关心了。↩