解读 Pangram：当人工改写仍被判为"100% AI"

昨天 大卫·萨克斯发了一条推文几分钟内，人们照常做了，问班格拉姆这是不是人工智能。潘格拉姆说是完全由AI生成.大卫回答说，这些人工智能探测器是假的.

Pangram的误报率相当低，但如果你用过LLM作为写作助理，你可能注意到它声称你的帖子是100%AI，尽管你自己并没有感觉就像他们现在的样子。

全字母句本身是一个训练好的模型，试图检测文本片段是人类的、绝对的人工智能，以及两者的混合。如果你想知道它是如何工作的，他们发表了一篇论文.简而言之，他们通过从已知的人类作者文本集合出发，制造自己的训练数据。

LLM随后被要求理解文本，并针对同一主题写一篇全新的文本。他们还允许LLM对原始人类文本进行部分编辑，通过这些共同作者的细节来获取。

Pangram声称他们的模型存在0.0041%的错误AI指控和0.34%的漏写AI文本。

既然我们知道了这些，我觉得让一个大型语言模型（LLM）重现David的推文会很有趣。我首先想出了一个提示词。当我说我想出那个提示时，实际上是用一个大型语言模型（LLM）从那条推文中向我提出我可能想表达的结构内容。

我相信如果你问Pangram上面的文本是否是AI，它可能会说是，但这并不是重点。重点是我随后用Opus 5生成了一个完全由AI生成的文本。

如果你感兴趣，这是我用的提示：

原始提示：生成类似David Sacks的推文

请写一条关于“边境步伐”的8段推文，字数不超过350字。这条推文的上下文是Dario的这篇帖子：https://darioamodei.com/post/we-must-pace-the-frontier还有Sam Altman的这条推文：“我同意Dario的看法，我们需要跟进前沿。这一直是我们近几周OpenAI讨论的主要话题。承诺设立独立评估者并具备员工权限是个好主意，我们也会这么做。我们很快会有更多内容分享。”帖子结构：

• 开场让步：注意达里奥（《我们必须步进边境》）和山姆·奥特曼都想在边境放慢脚步。说“请吧”，这听起来让人意外。
• 确立他们拥有前沿：主张OpenAI和Anthropic在前沿智能领域形成双头垄断，基于市场份额、能力、收入等各项指标，并且他们自己声称通过RSI领先优势正在扩大。
• 承认你看不到他们未发布的模型，如果那些让人害怕，负责任是他们的选择。
• 接着列出一段快速的段落（“别假装”），拒绝达里奥帖子中的请求。
• 说出商业自利（放慢脚步并非纯粹的利他行为）
• 最后挑战是，节奏安排为比伯尼·桑德斯“关闭一切”更聪明的监管辩论争取空间。谈谈中国和开放式体重模式。

作品5随后写下的文本是这样的：

达里奥发表了《我们必须步伐前进》。萨姆同意，并表示OpenAI还将承诺设立具有员工权限的独立评估者。我的回应不是他们预期的：请便。请继续。因为你们两个是前沿。OpenAI和Anthropic在前沿智能上占据双头地位：能力、收入、企业份额、开发者心智份额。你们一直告诉我们领先优势正在扩大，模型开始改进模型。如果这是真的，节奏会让你损失四分之一，随时可以收回。我也看不到你未发布的检查点。如果幕后的东西真的吓到了训练它的人，那么放慢脚步是你的决定，而且是正确的选择。我不会去质疑我无法接触的风险评估。但别再假装我们其他人是问题所在。别再假装这是集体行动的失败，只有少数初创公司是叛逃者。别再假装开放重量是危险的前沿，而你们两个每隔几个月就出货世界上最强的型号。别再假装第三方评估需要新法律，而你们刚刚在公开博客上自愿承诺了。也别再假装这纯粹是利他主义。前沿的节奏也是利润修复。它放缓价格战，稳定资本支出，延长折旧周期，让那些靠蒸馏上个月出货产品生存的快速追随者的生活更加艰难。安全和自身利益在这里指向同一个方向。这值得大声说出来。不过，好处是真实存在的。节奏安排为比目前更聪明的监管辩论铺平了空间，而目前最响亮的替代方案是伯尼·桑德斯的“关闭一切”。那只是口号，不是政策。与此同时，中国继续提供有竞争力的公开重量，任何限制两家美国实验室而世界其他地方免费下载其能力的规则，这不是安全，而是带有极高票价的戏剧。

潘格拉姆也同意了这完全是AI.到目前为止，没什么意思。确实读起来有点类似David的推文，但显然不完全是。鉴于原始提示信息不足以完全重现推文，你会预期会有一些分歧。

我真正感兴趣的是，你是否能从零开始重写这个输出，但还是坚持大致的结构和想法。Pangram会给我们AI还是人类的评级？

我读了生成的文本。然后我读了每个段落，决定不用大型语言模型（LLM）重写和改写。根据一些相似性检查器，最终文本有50%相似，这似乎合理。

但严格来说，没有一句是完全相同的。这是上面那句100%人工重写的文本。没有用大语言模型写这段文字，但最终用大语言模型来修正错别字。

根据我的经验，这对大语言模型检测器几乎没有帮助。

Dario写了《我们必须跟进前沿》，OpenAI的Sam也同意了。我的回答可能会让大家惊讶：请讲。你们俩就是前沿！你们的公司OpenAI和Anthropic在所有指标上都处于前沿：收入、开发者心智份额、采用率、能力。然而你们都声称，随着模型不断改进，递归自我提升，你们的领先优势正在扩大。你们目前是自我改进模型的双头垄断！我无法看到你们有哪些未发布的模型。当你们在门后的东西真的吓到你们的团队时，你们应该放慢脚步。我不会告诉你们不是，我支持你们。但请不要假装我们是问题所在。别再假装你需要我们的许可了。别再假装这一切都是集体问题，实际上这一切都是你的责任。别再假装开放权重是问题所在。别再假装拉第三方评估员介入就需要立法者参与。看在世上所有美好事物的份上：别再假装这全是利他主义。前沿节奏也关乎你的利润率，这让快速跟进者更难。它也弥补了你的资本支出故事，并有可能减缓IPO前的价格战。但没错：节奏调整或许能给我们比伯尼·桑德斯“全部关闭”更好的辩论空间。那里没有政策。当我们在国内争吵时，中国仍会继续推出有竞争力的开放权模型，不会遵守任何美国协议。这一切都是安全辩论背后的监管俘获，世界其他地方都在关注。

那它说了什么？这条短信也回复为百分之百的粗糙.这并不让我太惊讶。我通常注意到，如果你依赖大型语言模型来给文本结构，即使你对它做了很多修改，它在全格拉姆上的评分也会很差。

事实上，你很难看到一篇文章一开始就很杂乱，变成一个让人觉得不是的结构。

我开始非常欣赏Pangram的存在，因为至少它让我非常意识到使用大型语言模型写博客文章的一些影响。这个博客已经有大约两年的人工智能支持了（正如你从中看到的人工智能透明度链接在底部，但我确实注意到我对这些工具的依赖越来越大，而且它们变得更激进，这让我有些犹豫。

但我也认为很多人会觉得“100% AI”评级具有误导性，实际上作者已经做了大量编辑。但也许让它完全被看作是AI的，是合理的？