关于AI文本水印方案的后续思考

本周末的《Stemwinder》后续Anthropic的“水印”文本《克劳德的掺假是对写作的扭曲》”:

温度

反对一群笨蛋在Hacker News网站上此外，我理解到流行的大型语言模型并不会在每个决策点仅仅选择“最佳”词。反直觉的是，总是选择最高概率的选项会产生不良结果。

模型会应用一些随机化，而“温度”则是指加权，使得“更好”（模型排名更高）的选项被选中的可能性更高。

在温度为1时，模型使用其内置的概率分布。当温度大于1时，该分布趋于平坦——可能性较低的备选方案被选中的概率更高，更可能的替代方案更低。

当温度低于1时，概率分布更倾向于排名更高的选项。温度为0时，总是选择排名最高的选项。温度为0通常会产生不良结果——过于可预测，太容易卡住。

就像对相机传感器的图像进行过度平滑一样，消除所有噪点会使整体结果变差，即使单独评估的每一个“噪点”在某种意义上都是错误的。

基于温度的随机性——这也是LLM输出非确定性的原因——的作用是帮助输出更好了.显然，在温度为1（加权随机性）时，散文比温度0（无随机性）时更好。

而水印方案则是将“可预测的秘密密钥随机性”应用于完全不同的目的，而非提升输出质量，因此我认为这本质上至少会让输出稍微变差一些。

支持大型语言模型（LLM）水印方案的人认为，这些方案不一定降低生成散文的质量，因为它们不会改变温度——只是改变随机性的来源。丹尼尔·雅尔库特今天写了一篇很好的文章讨论这个问题.我希望这是真的。

我相信这可能是真的。我认为这几乎不可能是真的。如果是确实如此，我认为他们会展示证明这一点的例子。另外，Anthropic 自己也承认，对于编程语言代码，它无法正确地给文本加水印:

出于同样的原因，代码——在很多情况下必须精确——通常比某些其他形式的文本更少水印。话虽如此，在代码中某些词语或术语之间存在任意选择的领域，水印可以使用，比如代码中的注释。但从定义上讲，它对实际生成的代码影响微乎其微。

我认为好的散文更像是编程代码。用词、措辞、语气甚至标点的准确总比不精确更重要。区别在于，粗糙的编程代码无法运行，或者无法正常运行。

而人脑则擅长解析并理解那些不准确甚至草率的散文。

即使质量没有受到不利影响，我也会反对

我不认为这些方案能在不稍微降低散文质量的情况下奏效。不过，我也愿意被证明是错的。但即使我们暂时承认此类水印方案不一定会降低生成文字的质量——一点也不——我仍然反对它们在用户背后秘密应用时的使用。

一个有用的水印应该是任何人可以查查。这些SynthID的“水印”完全依赖于LLM提供商（目前为止，Anthropic/Claude和Google/Gemini）所持有的秘密。

我觉得这不可接受，原因我希望已经说清楚了在我的散文中.

支持这种文本水印的人被卖给了一个空中楼阁，一个幻想。我遇到过数十条愤怒的AI黑粉评论（尤其是Bluesky，还有Threads和Hacker News），他们坚信只有那些伪装AI生成文本冒充自己文字的人才会反对AI生成文本的水印——因此我之所以生气，是因为我很快就会被揭穿。

当然，这不是真的。我甚至不用AI帮我写短信或邮件，更别说写我作品的一句话了。

但我觉得有趣的是，许多声称LLM只产出“垃圾”而从不产生有用内容的人，却又百分之百相信这些LLM能够以可靠的方式给输出水印。这些人如此渴望能够指责人工智能生成的文本，以至于他们完全被谷歌和Anthropic的论点吸引，认为多亏了他们，他们才能做到。

我不想花太多时间去想这个问题，因为那是浪费时间，但这些人到底认为这些强制水印和检测工具的存在会带来什么好处？假设你在办公室工作，怀疑许多同事正在使用人工智能来写邮件和其他与工作相关的信息。

他们的信息过长、过于繁杂，且缺乏清晰度。你现在打算怎么办？把他们的每条消息复制粘贴到Anthropic、Google和OpenAI的水印检测器里？

不可能存在针对所有大型语言模型的单一检测器。即使你发现它显示匹配，邮件、博客或Slack消息很可能是由Claude生成的，你还能怎么办？

冲进同事办公室告诉他们你抓到了他们？

任何处于“被抓”重要情境的人——比如学生——都会使用非水印的大型语言模型，或者用水印文本进行改写工具，比如德克劳德.

即使这些水印方案如承诺般有效（明确说，我不认为这些方案会如承诺般奏效），也不会带来任何实际好处。1

我的建议是不要在意内容是AI还是人类写的。唯一值得评估的是我们人类读者天生擅长判断的：它是好是坏。如果好书，就读一读。如果不是，就别说。

如果你的工作中，同事们不断给你的收件箱塞满你无法忍受的AI生成的信息，那就换一份工作，或者学会接受它。隐藏的秘密水印信号——即使它们有效——也无法让事情回到从前的样子。

如果你读了某篇文章并喜欢它，后来发现它是由大型语言模型生成的，不要难过。你读了自己喜欢的好书。

我今天早些时候看到一篇文章说，LinkedIn上的大多数帖子都是AI生成的。整个平台都被AI垃圾淹没了。也许是，但我不知道，因为我从不看LinkedIn，因为那里总是充满垃圾信息。

闻起来像屎就是屎，不管屎是从人类肛门里出来的，还是制造粪便的机器人。

只有人才能真正写作的论点

丹·莫伦今天在《六色》杂志撰文，大型语言模型不是在写作”:

大型语言模型不在乎它们选择的词，因为它们根本无法关心任何事物。说到两件不同的事，约翰恰当地指出了“他抓住机会”和“他抓住机会”这两个短语的区别。这些确实是不同——虽然语义相似——的短语，每种在特定情况下可能更为贴切;换句话说：每句话的使用都告诉我们不同的信息，无论是关于被描述的人还是作者。但LLM并不知道这些短语中哪一个是右用词。它根据模型、权重和输入做出猜测。但这些短语的最终选择并不能告诉我们关于作者的任何信息，因为根本没有作家。

莫伦对我帖子的反驳很不错，但我根本不同意——哪怕是哲学层面。如果你只是为了了解创作它的大脑而阅读一部书面作品，那么AI生成的文本另一端并没有真正的大脑。

但作品本身确实存在。我与莫伦的分歧始于他（极具总结性的）标题，也实际上止于他。我认为如果你能读懂某物，那它必然是写好的。

这同样是哲学上的。是AI生成的写实图像拍摄?不，我认为不是。摄影，我认为，是通过镜头聚焦光线到捕捉传感器上的行为，在某种程度上捕捉现实。

我认为莫伦的观点是写作就是那样。如果摄影捕捉现实中的物理场景，那么写作捕捉的是真实内心的思想。你能读到的东西，是用LLM生成的，只是生成以一种不符合写作.语义问题。

我只关心文章内容。莫伦认为大型语言模型不是在写作;我认为他们是。但我们只是在“字”上有分歧写作意思，而非正在生产的。

至于“在意”语义相似但语调不同的短语之间的区别，比如”他抓住了这个机会“对”他抓住了这个机会“，当然LLM并不”在意“。但我，作为读者，非常在意。我在去年十一月写过一篇专栏关于ChatGPT改变（并重新命名）允许用户选择的“个性”。这些人物生成的文本风格和语调截然不同。因为我用ChatGPT，我非常在意它对我提问的语气和风格。不是因为我会把它们当作自己的作品来解释，而是因为我自己在读它们。

莫伦，在他专栏快结束时说：

最后，我无法比问一句更好的总结：如果你如此在意用词，你为什么要用AI生成文本?如果这真的让AI生成的文本变得更糟，那......很好.很多人已经愿意接受LLM产出的“足够好”，如果我现实一点，我觉得这不会改变什么。但如果这确实导致更多人对他们所接受的空洞内容不满，转而写作和编辑自己的文本，那实际上将是一个积极的结果。也许这甚至意味着减少了被解雇的人类作家。

我理解，但我不同意这可能被视为大型语言模型的净利益更糟散文。我每天都会阅读大型语言模型的产出。我用AI生成文本，因为我会用文本问它问题。

我希望我读到的答案是有条理、清晰、准确且简洁的——理想情况下，能保持一种一致的语气，让我的阅读耳朵感到愉悦。精灵不会再回到瓶子里。

英语是最优质的语言，因此也许更容易被指纹识别

最后，这里有一个值得深思的有趣点。英语是世界上最具表现力的语言。别只听我说——那是我唯一会说的语言（尽管高中学了四年西班牙语）。

以20世纪著名作家豪尔赫·路易斯·博尔赫斯的话为例，他是一位阿根廷多语者，母语是西班牙语。1977年，他作为嘉宾出现在威廉·F·巴克利的《射击线》节目中。

你可以（也应该）可在YouTube观看采访，但这里乔丹·M·波斯相关部分的文字记录:

博尔赫斯：我大部分阅读都是用英语完成的。我觉得英语比西班牙语要好得多。巴克利：为什么？博尔赫斯：原因很多。首先，英语既是日耳曼语系的语言，也是拉丁语系。这两个音域——你拿到的任何想法，都有两个词。这些词的含义并不完全相同。比如说，如果我说“王者”，这并不完全等同于说“王者”。或者如果我说“兄弟情谊”，那并不等同于说“兄弟情谊”。或者“黑暗”和“晦涩”。这些词不同。比如说，圣灵会有很大不同，如果我在诗中写圣灵，或者写圣灵，这会带来天壤之别，因为“ghost”是个精美、黑暗的撒克逊词，而“spirit”则是轻拉丁词。还有另一个原因。原因是我认为，在所有语言中，英语是最需要肢体化的。巴克利：最重要什么？博尔赫斯：身体上的。你可以说，比如“他曾经压在我身上。”你不能用西班牙语说这话。巴克利：“他出现了?”博尔赫斯：嗯，不，不，它们并不完全一样。然后，在英语中，你几乎可以用动词和介词做任何事情。比如，“笑笑吧”、“做梦吧”。这些话西班牙语说不出来。“生活”得以“，”活出“某事——你不能用西班牙语说这些。不能说。或者说，实际上是任何罗曼语族语言中。

我以前看过这段采访，但今天在与柯克·麦克埃尔赫恩.引用（经授权）麦克埃尔希恩发给我的邮件：

多年来，我一直担任法语→英语翻译，这两种语言有一个关键区别。法语属于罗曼语系，英语则是同时受日耳曼语系和罗曼语系（主要是法语系）影响的语言。这意味着英语常常有同义词，而其他语言可能没有。以你的例子为例，“他抓住机会”和“他抓住机会”，这两句法语都可以翻译为“Il a sauté sur l'occasion”。也就是说，用法语写作的人选择词汇的范围不会相同。这或许不是最好的例子，因为两者都是陈词滥调，但有很多法语词汇中，英语既有罗曼语族对应词，也有日耳曼语族对应词：猪和猪，羊和羊，牛肉和牛。食物词只是一个例子，英语的动词选择也比法语多得多，因为它的词汇量更多，源自这两种影响。

英语乐于借鉴其他所有语言。麦克埃尔亨怀疑英语是否比其他语言更容易指纹识别，因为其词汇量更丰富大致等价的同义词及其众多习语。

1. 然而，这种反对AI的人支持水印的态度让我意识到，Anthropic支持这个项目，是为了让那些厌恶AI的人不再纠缠他们。↩︎