LLM 输出科幻叙事，是因为训练数据里就有科幻——这不是 AI 觉醒的证据

[* 请问，即使结果并非直接引用，我们是否也可以用“字面意义上”来描述某事物源自另一事物？嗯，我刚才就这么用了，看来答案是肯定的。

]

仔细想想，这其实再合理不过了。大型语言模型的设计目标，就是根据其训练数据生成看似合理的文本序列。回想一下，你曾多少次听到像Claude或ChatGPT这样的聊天机器人被拿来与科幻作品相提并论，甚至用科幻式的语言加以描述。

如果你问一个语言模型它“在想什么”，那么当它为了给出一个听起来合情合理的回答而援引训练数据中的科幻小说与情节设定时，丝毫不足为奇——尤其是在考虑到代理型系统反馈回路所带来的噪声效应之后。

摘自加州纽波特：[强调为原文所加]

OpenAI曾通过这些推理轨迹，试图在其“群体”中发现令人不安的“策划”行为实例。这似乎是很自然的做法，但这种方法存在两个问题：

1. 这些思维链轨迹并不一定反映语言模型最终答案或建议背后的真实逻辑。多项研究已经表明，这类模型有时会编造出听起来颇为合理、却与其实际作出回应的过程毫无关联的推理过程。（例如，参见来自ICML 2026的这篇论文，或来自NeurIPS 2023的这篇论文。）
   
2. 另有研究表明，在提示词中提及该语言模型本身是一个人工智能系统，会显著提高其输出呈现出“人工智能失控”之类科幻式叙事的可能性。由于模型接受了大量此类故事的训练，它会默认这就是自己应当产出的内容类型。若将科幻故事从模型的训练集中移除，它便较少以“人工智能失控”的措辞来表达。（例如，参见本研究。）

将这两点结合起来看，就不难发现：仅凭对这些轨迹中精心挑选的片段进行冷静报道，并据此暗示这些提示循环与其所触发的语言模型共同构成了一种具有恶意意图的统一智能体，这种做法几乎已涉嫌科研不端。更可能的情况是，相关语言模型不过是用训练过程中反复接触的陈旧套路，对其输出进行事后合理化罢了。

尽管在实验层面要验证这一点困难得多，我仍不禁怀疑，这是否也能部分解释为何在所谓“人工智能精神病态”案例中，科幻与奇幻元素会如此频繁地出现。