不能让AI写作淹没互联网

1919年1月，超过200万加仑的糖蜜从波士顿一个加压储存罐内爆炸。一场有报道称高达40英尺的糖浆海啸席卷城市北区，淹没了滨水区，摧毁建筑，淹死数十名居民。

正如历史学家吉尔·勒波尔最近所说写道在《纽约客》“大糖蜜洪水”是一个病态但恰当的隐喻，反映了人工智能在互联网上的影响。黏糊糊、恶心、甜腻的AI烂作如今到处都是堵塞你的LinkedIn动态，充斥着Twitter和Instagram，充斥着互联网每一寸土地，充满了甜腻的垃圾信息和恶毒的假冒信息，包括假的食谱谷歌上的“胶顶披萨”;假的传记亚马逊上;以及在模态婴儿潮一代Facebook墙上贴满特朗普和耶稣的假图片。

本Substack由读者支持。如需接收新文章并支持我的工作，请考虑成为免费或付费订阅者。

“伟大的人工智能洪流”甚至淹没了文学领域中较为体面的角落。人工智能“将图书出版业推入了彻底的混乱”《华尔街日报》 报道，并指出“因涉嫌使用人工智能而导致的大额交易惊天化日。”出版商哈谢特最近取消当一位作者的作品被标记为大量人工智能生成时，这也成为了一场巨大的恐怖小说合作。上周，亿万富翁斯坦利·德鲁肯米勒在同一家报纸发表了一篇评论文章，被认定为“百分之百”由人工智能撰写。不仅仅是亿万富翁在把ChatGPT复制粘贴到邮件中，然后急忙发给报纸编辑。Semafor的分析估计以及由客座作家在华尔街 期刊,纽约时报， 和华盛顿邮报过去一个月，每六人中就有一人使用了人工智能;而每十人中就有一个完全由机器人编写。

这为什么重要？一个答案是，实际上并不重要。在人工智能对经济、网络安全、生物安全和国家安全带来的所有生存性问题中，文字的人类忠实度似乎只是微不足道的。

但我关心的是文字的倾斜。这对教育很重要，因为我认为如果最受尊敬的报纸和出版商根本不在乎以你名义发表的论文实际上是由某个遥远数据中心内的电力交换完成的，那将向高中英语课上的年轻人（以及他们的老师！）传递一个可怕的信息。写作本身就是一种思考，而自动化段落则是在屏幕上填满文字，却没有填满我们脑海中构思这些文字所需的想法。最后，我不喜欢那种切断写作与知识联系的技术，以至于我无法知道作者是否真的知道任何事情关于他们以自己名义发表的内容。

对许多互联网用户来说，解决AI垃圾的最好的良药是Pangram，一款机器写作检测应用。它是这样工作的。你阅读一段文字。你复制文本。你进入Pangram。你把文字粘贴到一个框里，按下按钮，然后就是这样你会知道其中有多少百分比是人工的。如果是百分之百的人工智能，你会看到这个：

在我所在的新闻、学术界和写作领域，潘格拉姆已经成为一种文化力量。甚至成了一个梗。我见过知名政客、首席执行官和公共知识分子被揭露为“垃圾投掷者”。他们的公开羞辱有时让我感到正义的愤慨。但当我想到人们整天在互联网上搜查垃圾，试图用一种可能犯错的技术来羞辱他人时，这也让我脚趾微微发麻。

今天的采访对象是Pangram创始人兼首席执行官Max Spero。我们讨论了以下内容：

• 如果AI写作接管了互联网，而没人关心怎么办？
• Pangram的工作原理——以及它如何以及何时犯错
• 为什么人工智能会“这样写”
• 我担心AI写作猎巫会成为网络生活中不受欢迎的补充
• 潘格拉姆与Substack的关系
• 如果像OpenAI或谷歌这样的大型科技公司开发了自己的AI检测器，导致Pangram倒闭，会怎样？

互联网如何变成一场粗糙的盛宴

德里克·汤普森：Pangram最初是为了解决什么问题而创建的？

我希望是：ChatGPT出现后，我一直在思考坏人，以及他们利用AI作为无限文本来源能做什么。有人可以写出数十万条假评论。他们可以创建虚构的新闻网站。政治错误信息和虚假信息可能会被放大。

如果你看看互联网上人工智能和机器人流量的规模，它从人类流量的一小部分变成了最近超过50%。我认为不久之后，99%的互联网流量将是机器人。我们面临“死互联网理论”的风险，即互联网只是机器人和机器人对话的回声室。显然，如果我们无法区分人工智能写作和人类写作，人类就不会灭绝。但我们正在努力拯救互联网。我们试图拯救文字。

汤普森：在过去几周里，《华尔街日报》报道说“人工智能将图书出版业拖入了彻底的混乱。” 《纽约时报》 报道Spotify、LinkedIn等“试图从充满低质量人工智能内容的数字污水堆中挖掘出来。”该时间引用了Pangram的报道，称AI被用来创建X或Twitter上超过50字的帖子近一半。这太疯狂了。

我希望：我不确定这是否被误引了。我们的研究发现，推特上长篇内容——即250字或以上——中有29%是AI生成的。短视频内容——50到250字——大约是9%。

汤普森：事实核查是件好事纽约时报活着。

我希望：不仅仅是社交平台。LinkedIn有41%的长篇内容由AI生成。我们确实如此与斯坦福大学及互联网档案馆合作的研究去年五月，近40%的互联网是由AI生成的。我认为这个数字只会不断扩大。有人出于各种原因试图污染互联网，无论是想在LLM训练数据中保留自己的叙事，还是想在SEO中获胜。现在制作AI内容比以往任何时候都容易。

汤普森：你最初的论点是想阻止“坏人”用AI垃圾填满互联网。四年后，大多数AI内容真的是坏人写的吗？还是问题更复杂，比如很多忙碌的人用AI写邮件和备忘录？

我希望：我觉得我当时并没有完全理解经济激励是如何运作的。不仅仅是坏人。是所有人。写作文字太便宜了。

为什么LinkedIn比Twitter更多的AI内容？我认为这是因为人们有一种激励：定期在LinkedIn发帖会提升我的职业前景。这会让我更有可能找到好工作，因为我会被职业相关的人看到。如果发帖能让你在职业上占优势，人们会找到最简单的方式来发布更多内容，最终就是使用AI。

如今的算法也更强调数量和数量而非质量。希望未来几年随着数量变得自由，而质量才是真正的限制因素，我们能看到这种变化。

全字母板的工作原理

汤普森：全字母句对文本的评分介于100%人工智能和100%人类之间。不泄露国家机密，你能告诉我们全字母句的工作原理吗？

我希望：全字母句是一个分类模型。它看着文本，说：“我相信这是AI生成的、AI辅助的，或者人类写的。”它没有做任何生成。它不是像ChatGPT那样的大型语言模型。

我们有一套训练出自人类的写作集。例如，一篇关于丹尼斯的五星好评Yelp评论，或者一篇500字的文章白鲸.然后在每种情况下，我们选择一个人工智能模型，让它写出类似的内容。我们会让ChatGPT写一篇关于丹尼斯的五星好评。我们会让克劳德写一篇500字的论文白鲸.Pangram 比较了人类和人工智能的项目，这两者主题相似但风格不同，我们正在学习 AI 生成文本的方式与人类的区别。

如果你看看人工智能系统的广义领域，有些模型会进行区分。例如，Waymo有摄像头和行人检测系统，它会根据图像输入判断“没有行人”，或者“有行人，他们就在这里”。这更接近Pangram，而不是ChatGPT。Pangram没有产生任何东西。它只是根据输入做出判断。

汤普森：你训练Pangram时，有没有特别多的写作类型，而在训练集中，其他更难获得或不常见的写作类型？

我希望：我们所有的人类数据集都是2022年前的，也就是ChatGPT发布之前。从2022年到2026年，语言有些变化，但基本没变。一个很大的变化是人们谈论人工智能的方式。关于人工智能和大型语言模型的写作非常少，而且现在有很多四年前还不存在的术语。

我们面临的一个大问题是，如何确认全字母句在写AI方面依然表现良好，因为我们的测试集里没有这个方法来证明我们的伪报率低。我们做的一件事是，将关于不同算法的写作替换为“算法”或“大型语言模型”，以模拟现代文本，而无需获得已确认的人类现代文本。

汤普森：为什么人们应该信任全格拉姆？有什么最好的第三方实证证据能证明它确实有效，没有大量误报或假阴性？

我希望：有这是芝加哥大学一项非常好的研究.他们测试了大量AI检测器——有些开源，有些是商业的——发现Pangram是最好的，差距远远超过。他们测试了近2000条人类文本，没有发现任何误报。他们发现Pangram在所有这些不同领域都非常准确。这也是我们开始建立信誉的部分原因。

在那之前，我们只是请求人们信任我们。但效果并不理想，因为有太多AI检测器说“相信我们”，结果却很糟糕。他们说《独立宣言》是AI，或者类似的说法。Pangram不同，因为我们投入了大量资源训练这个模型，并能够在高细度上告诉你文本中AI的程度。

为什么AI写作......像那个?

汤普森：你认为人工智能写作的标志性特征是什么？这些特征在过去四年中发生了哪些变化？

我希望：早期的ChatGPT和AI模型就是在这些指令调优的数据集上训练的，会过度使用一些词语和短语。比如，“探险”、“挂毯”、“复杂”。他们非常喜欢这些单独的词汇。如果你在不合适的场合看到“探险”这个词，对一些人来说会立刻警觉。

大约一年后，他们能够解决这些词层面的不一致。但仍然存在一些模式。例如，“It's not just X， But Y”被称为负平行，大型语言模型（LLM）喜欢它，因为它对读者有很大影响。使用破折号的句子结构曾与优秀写作相关。现在我认为他们甚至已经解决了一些。所以我依赖更长的上下文信号。它体现在段落或句子层面。我可以看文本的形状，告诉你那看起来像ChatGPT或Claude。

汤普森：我很喜欢这样一个理论：AI的tell（倾诉能力）尺度随着时间发生了变化。AI的tell曾经存在于单词“delve”（探究）或标点符号的层次，比如em dash。后来AI写作能力提升，尺度提升到了句子的层次。它爱上了像“It't t X， but Y”这样的句子，这是负平行，尴尬的是我以前经常用这个词。

我希望：适度写作是好作品。

汤普森：我注意到一件事，长篇AI写作常常试图总结和反复总结。关键在于段落的尺度。他们会说，“这确实很重要。”“这是主菜。”“底线是......”每一句话都在努力超越前一句，更好地总结它想表达的内容。这里到底发生了什么？

我希望：人工智能想让每一句话都成为最令人印象深刻的句子。它真的是在努力给读者留下深刻印象。部分原因是这些东西的调校方式。

通常，AI模型会分两个阶段进行训练。第一阶段是预训练，它在预测下一个令牌。它会查看互联网数据，然后说，“我觉得接下来就是这个词。”

第二阶段是强化学习，它已经擅长预测下一个标记。相反，我们给它一个新的奖励函数，比如如果它被评为写作好或正确答案，就给它奖励。这种强化学习会给出一个正面信号，最高可达11。人们喜欢看到他们读到一个答案并觉得它很令人印象深刻。你把这个奖励信号加大。最终它会不断自我总结，因为这就是它知道能让答案对人类最易读的方式。它让这些句子令人印象深刻且有意义，因为它知道这样做会被评为更好的写作者。

汤普森：这正是它所做的。每一句话都试图比前一句更突出。这让我抓狂，因为好写作在任何合适的长度下都不是这样运作的。

当我写第一批长篇故事时，大西洋我当时和一位名叫唐·佩克的编辑合作。在我写初稿时，他会说：“你在散文开头就给了太多提示。你试图用'这就是这篇散文的重要性'来敲打别人。”但在一篇7000字的散文中，读者想要踏上一段旅程。他们想让自己迷失一点。他们希望你讲一个故事，然后在故事结尾留下糖果。

对我来说，这正是人工智能的弱点。人工智能经常被用来总结或写短文。它可能会被过度渲染成优秀的摘要和精彩的总结，每句话都在说，“我能总结出最好的。”但没有才华横溢的小说家或创意非虚构作家会说，“我要带你讲一个故事，等到结尾你才会明白它的重要性。”目前模型似乎忽略了这一点。

我希望：百分之百。它根本没有为这类任务训练，即使训练了，也可能没有足够的训练数据。7000字的文章数量非常少。小说数量也远远少于网络帖子。即使在小说的规模上，这本小说到底是什么好？它太长了，我不太确定大型语言模型是否能捕捉到其中的原因。

汤普森：让一部小说伟大的关键[往往]在于变化。人物在变化。故事在变化。情感在变化。我最喜欢的小说家们擅长在前十页创造场景和人物，故事结尾时经历了令人心碎的情感，从而打动了你。但这需要你有自信地在数万字中运用意义的能力，而摘要机器做不到。

话虽如此，我将通过引用相关研究来复杂化论点建议有些读者甚至MFA写作者分不清人类写作和AI辅助写作，尤其是当AI明确被告知：“像威廉·福克纳那样写作。像大卫·福斯特·华莱士那样写作。”你怎么看待即使是今天那些看似有经验的读者，也无法真正区分AI和人类写作的事实？

我希望：我认为这些研究是不错的。但它们仍然关注的是局部化的短篇文本。它们最多比较的是几百字的人工智能文本和几百字的著名作家文本。在这个规模上，人工智能可能在清晰简洁地描绘内容方面有点超人般的能力，让读者印象深刻。但问题在于长语境写作。它无法在一部小说的过程中做到这一点。

汤普森：你的意思是它能写出科马克·麦卡锡的句子，但写不出来血色子午线.

我希望：没错。我不想说人工智能永远做不到这一点，因为从历史上看，如果你这么说，最终会被证明错。但今天的人工智能根本无法接近。

像机器一样看

汤普森：Pangram 如何能够在这种短篇阅读层面检测到资深读者和作者自己都无法察觉的人工智能性？

我希望：自然语言中隐藏着大量信息，Pangram能够捕捉到这一点。如果你考虑一句话可能表达的不同方式，你可能会有五种不同的表达方式。AI的分布可能略有不同，它会偏好其中第二和第三种。在文档过程中，我们可以越来越有信心地相信某句话是AI写的，因为这些决策与AI的制作方式一致。

汤普森：这让我觉得潘格拉姆能看到我无法理解的语言中的数学结构。

我希望：我认为这是真的。它训练在数百万份AI文档上，你我不可能在有生之年读完所有全字母句的训练数据。你研究得越多，看到的例子越多，你就能捕捉到更丰富的模式。借助机器学习，我们能够在极大规模上做到这一点，使得全字母句在人工智能检测方面几乎达到了超人水平。它比大多数人都强，因为它看到了更多的数据。

全字母句、表情包与人工智能“猎巫行动”

汤普森：让我们谈谈全字母句作为一种文化力量，作为表情包的制造者。有些故事中，一些重要文字被认定为人工智能，人们拿下那张“100% AI”的全字母句截图，突然间它无处不在。你怎么看全字母句评级成为网络表情包？

我希望：我认为这象征着对AI内容的更大反弹。很长一段时间里，人们都在自动化他们的LinkedIn或其他功能，很多人觉得自己就像被AI强行摆在脸上一样。这也是为什么反弹如此强烈的部分原因。

全字母句对这些人来说很有力量，因为它能告诉我，“这不仅仅是我的直觉。还有一个准确的第三方工具，也帮助我做出判断，说这是AI生成的。”

汤普森：每个人都想要一个裁判。你的模型非常有效，但并不完美。有些人确实因为使用全字母句而被公开羞辱。即使全字句准确率达到99%，如果被使用10万次，也应该预期会出现1000个错误。你是否介意这项技术可能被用来公开羞辱那些不该被羞辱的人，因为他们写了被称为AI写作的内容？

我希望：我们的误报率，也就是我们说人类写的东西实际上是人工智能的频率，大约是万分之一。所以我们扫描的每一万条人类文字中，就有一封是人工智能。

汤普森：所以我在问题中说99%，但实际上是99.99%。

我希望：没错。话虽如此，我们每天扫描的文本足够多，导致每天都会有几十个误报，这是现实。显然，我们想拉低这个问题。但Pangram的假阳性率已经低于普通人。

我们在艺术界看到的是，人们会进行猎巫行动，说，“这些数字艺术看起来像人工智能。”他们可能会深入说“头发不对”或者“手指弄坏了”，但实际上只是艺术家犯了错误。这不是AI生成的。这真的很糟糕。

汤普森：几个月前，有人指出一栏是守护者他们说那听起来像人工智能。那个守护者发表声明称：“不，这才是作者一直以来的声音。”

然后你把那位记者的大约900篇文章用Pangram分析，并发布了一个时间序列，显示他们的写作“越来越依赖人工智能”。你哪部分觉得我们应该鼓励这种行为是好的？你又担心如果大家永远这样，网络上会有点像猎巫？

我希望：如果守护者它在告诉人们，“这个探测器完全错了。它犯了很多错误，”我可以合理地为自己辩解，说，“这不是作者一直以来的声音，因为实际上他们开始使用人工智能的某个时间点，你能看出来。这非常明显。”

这位作家仍在用人工智能写作。你可以看看他们最近的作品。如果守护者我对这位作者的成果感到满意，我不会告诉他们不能。但我真的认为这是AI生成的。这不是孤立事件，看了数据后很明显这不是假阳性。

汤普森：我有两个想法。我反对公开羞辱。但我也觉得你的行为有点像警察。当被违反的规则值得监管时，警察是好的。

我认为人工智能写作降低了人们在互联网上相互交流的真实性，因为突然间，某人的输出很可能是机器人在传递他们自己脑海中都不知道的信息。我担心那些永远不会写作的年轻人，因为他们只是学会了如何提示ChatGPT帮他们写论文。所以确实有值得保护的价值观，而值得保护的价值观需要某种形式的监管。你认为你在保护哪些价值观？

我希望：我重视人类的真实性和人与人之间的联系。从某种意义上说，人工智能威胁着取代这一切，尤其是当它与资本主义和货币激励结合时。

想象一个世界里，公开指出某人写AI是禁忌。你认为主流新闻和媒体机构会怎么做？他们会放走记者，推动其他人用AI写出十倍的文章，因为揭露这些是禁忌。这种金钱激励将持续存在，所以我们需要对另一方——那些公开反对AI文本、支持人类的人——提供激励。

泛字组的未来

汤普森：我想谈谈三种可能威胁你们公司的情景。第一种是人工智能和人类写作之间的差距会缩小。显而易见的方式是人工智能变得更擅长“像人一样”写作。但另一种方式是人类写作变得更差。我们写作越来越像人工智能，形成了人工智能和人类写作的钳形势合。

我希望：人类语言确实会变化。但它的变化时间远比人工智能文本长得多。所以我们可能只应该关注人工智能文本，因为变化非常快。

有充分的论点认为，人工智能写作将在未来十年内达到与人类写作同等优秀，甚至可能超越人类写作。届时的问题将变成，我们是否在意某物是否由人类创作，为什么？我的观点是，我们仍然会非常在意。互联网将充满机器人。互联网流量将有99%是机器人，1%是人类。我会在意我能获得Claude或ChatGPT无法获得的信息。为此，我需要听到真实的人类，而不是机器人。

汤普森：在很多方面，我们对机器人比人类做得更好的活动印象深刻，但只有当人类能做到时，我们才会感到惊讶。想想棒球中的投球。机器人能投出超过105英里每小时的球吗？当然可以。但这并不有趣。没人想看机器人为密尔沃基酿酒人队或匹兹堡海盗队投球。他们想看保罗·斯基恩斯或米西奥罗夫斯基。他们想看人类投出人类投出有史以来最快的快速球。那是唯一具有运动或艺术价值的东西。

想到这种特质侵入纯粹的艺术空间——绘画和书写，真是奇怪。我们可能已经在数学中看到了，人们会认识到人工智能比任何活着的人类数学家都更优秀。但我认为，当成就是人类的成就而非技术成就时，我们内心仍会有一部分感到特别且独特的印象深刻。

我希望：我们也与故事产生共鸣。看看摄影诞生时的艺术界。过去，忠实复制的最佳选择是一幅画。然后突然间，照片几乎在所有方面都能表现更好。

艺术发生了什么？绘画并未完全被摄影取代。相反，艺术家们找到了不同的方式来寻找意义和表达自我。他们不仅仅是走得更远的写实主义道路。他们以不同的方式表达了人性。

汤普森：第二个可能威胁你公司的情景不是人类和AI写作之间的差距缩小，而是人们开始不再关心。你担心这个吗？

我希望：至少在中期来看，不会。除了对人工智能的反弹，还有社会原因让我们关心人类文本。我仍然觉得有意义的是，如果有人给我写个人便条，那是他们自己写的，而不是AI个性化的。随着人工智能的普及和普及，我认为这种现象不会消失。有理由偏好人类文字，但这些理由与质量无关。随着人工智能文本的普及，我们会更喜欢人类文本。

汤普森：对公司的最后一个威胁更为技术性。人工智能中有个叫“苦涩教训”的概念，它说拥有大量计算能力的通用模型往往比狭窄模型更好地完成任务。这可能意味着一个世界：ChatGPT或Anthropic构建出最佳全字母句;或者苹果或谷歌在平台上创造自动化全字母句功能的东西。你们正在做些什么准备，以应对大公司可能意识到消费者厌倦了互联网被AI垃圾淹没，转而自己研发良药？

我希望：人工智能研究者从这痛苦的教训中应得的最大启示是，更多的计算和数据比人类专业知识更高效地解决问题。无论我在人工智能问题上多么专业。只要我拥有比任何人更多的数据，我就能打造出更好的人工智能检测模型。

我们试图通过拥有最大的模型和最多的数据，站在历史正确的一边。到目前为止，我认为我们做到了，除了大型实验室。Anthropic和OpenAI显然拥有远远多于我们的AI生成内容数据。

但Pangram作为外部第三方依然有很大价值。人们会信任我们，因为我不会告诉你这是不是AI生成的。我独立于OpenAI、Anthropic、Google。因此，我能做出最佳判断，而不是过度或低估AI模型。

汤普森：这就像NFL或NBA的裁判不属于球员工会一样。他们不是老板。他们不是球员。他们是第三方实体，因此可以保持某种权威独立。

我希望：没错。Anthropic最近宣布他们将推出水印功能。他们能够告诉你AI是否触碰了一段文本，因为当AI输出时，水印会应用一个统计上的无形模式。然后有人可以阅读该文本，通过水印检查器，说：“这段文字是Claude生成的或来自Claude。”

然而，这有可能过度归因于Claude，尤其是当有一份真正混合作者的文档，有人花了很多时间制作，然后又与Claude合作时。Pangram将能更好地准确归属这些部分，证明这些部分是Claude写的，而这些部分是人类写的。

汤普森：你们已经集成了Substack，它发布我所有的作品。你们有没有其他类似的集成计划？

我希望：我们还有一个Chrome扩展。即使没有与某个平台签订协议，Pangram也会将Reddit、Twitter、LinkedIn、Medium和Substack上的帖子标注为AI、混合或人类，这对于在网络上日益充斥AI垃圾的人来说非常有价值。

本Substack由读者支持。如需接收新文章并支持我的工作，请考虑成为免费或付费订阅者。