大语言模型中的外部幻觉：成因、检测与缓解方法

在大型语言模型中，“幻觉”通常指模型生成了不真实、捏造、前后矛盾或毫无意义的内容。
作为术语，“幻觉”已逐渐被广义化，用于描述模型出现错误的情况。
在此，我想将“幻觉”这一问题限定为：模型输出内容是捏造的，并且既未基于提供的上下文，
也未建立在世界知识之上。

幻觉主要分为两种类型：

1. 上下文内幻觉：模型输出应与上下文中源内容保持一致。

2. 外在幻觉：模型输出应以预训练数据集为依据并加以验证。
然而，鉴于预训练数据集的规模庞大，每次生成时都难以高效地检索和识别冲突。
若将预训练数据集视为世界知识的代理，我们实际上是在努力确保模型输出符合事实，
并能通过外部世界知识进行验证。同样重要的是，当模型对某一事实一无所知时，
它应当明确指出这一点。

本文重点探讨外在幻觉。为避免产生幻觉，大语言模型需要满足以下两个条件：（1）必须基于事实；（2）在确实不知答案的情况下，应予以承认。