在我的浏览器中自动检测AI文本

自动化AI文本检测目前是一个被忽视的细分领域。唯一的选择是全字母句，这份工作非常出色，但迫切需要更多的竞争。几年后，如果所有主要社交网络都不会扫描新的帖子和评论，寻找AI内容，以便标记（或干脆删除它们）。

我喜欢在阅读时可以依靠全纸句来证实我的猜测什么东西听起来像是AI。但如果我能选择一开始就避免使用AI生成的文本，那就更好了。

我想要的是能在后台运行，自动扫描我访问的网站文本，而我不需要开口请求。我可以在Pangram上构建类似的东西，但它花钱总体来说，我不喜欢把浏览器看到的每条文本都发送给第三方服务。

本地模型呢？

可用于AI文本检测的开源模型包括结束.全字母句主张检测率为99.66%，误报率为0.004%。我用多个小型本地模型与AI检测数据集的组合进行了基准测试，得到以下结果：

我并不惊讶这些模型会更糟。我甚至没对Pangram自己的EditLens 3B模型做基准测试，因为那个模型太大，无法在笔记本后台运行，而真正的Pangram模型可能比它大一两个数量级。

但这些模型仍然足够好，对了解其局限性的人来说有用。如果你想标记一篇AI写的文章，不需要标记全部，只要标记足够让人怀疑即可。

只要你知道误报率是~2%，你就可以避免把单个标记当作AI使用的确凿证据。

受到鼓舞，我也进入了状态德卡德：一个Chrome扩展，可以与你Mac上本地运行的型号（上表中加粗的那个）通信。一个好处是我不用启动网页服务器：Chrome扩展随时启动模型，并且可以与它通信原生消息.它在运行时大约占用400MB-1.2GB内存（相当于多开了五六个Chrome标签页），如果你五分钟没用该型号，它会自动关闭。

让我惊喜的是，Deckard成功标记了我知道是AI生成的文本，比如内置的YouTube人工智能摘要或AI。片段在我自己的帖子里：

它足够轻便，我可以一直开着。我没注意到我的MacBook Pro发热，也没减少电池续航，虽然不同机器的使用体验可能不同。

Deckard 好用了吗？这要看情况。它足够好，我打算用它，推荐给对自动 AI 检查感兴趣的人。它比 Pangram 差得多，也比我认为未来几年类似工具的表现差得多。

早在2023年11月，我写道AI驱动的代理将会成为一件大事。我建议你尽早开始开发线束，这样当模型成熟时你就能做好准备：

与大多数现代语言模型工程一样，ReAct代理通过替换底层模型获得更优的模型，也能实现巨大的突发改进。…我认为这也是早期投资这类经纪人的原因之一，以便利用更强大的模型。

我说得没错，虽然风险较低，我也认为我对。AI检测模型只会随着时间变得更好：Pangram不会永远是唯一的游戏，我们最终会看到一些小型本地模型，能够很好地识别AI编写的文本。

我期待在德卡德用一个好2倍甚至10倍的设备。

1. 子堆栈有点像虽然你得点击按钮才能扫描帖子。
2. 嗯，是我和Astra。总体来说，我做vibecoding的体验非常愉快：我能做出很多顶级决策，可以选择不太熟悉但更好的编程语言（比如用C++做推理而不是用Python），LLM让我意识到了一些自己不会想到的选择（比如用原生消息而不是本地HTTP）。
3. 这是真的吗？毕竟AI模型也会随着时间变得越来越像人类。这是另一个话题，但我认为是这样。首先，AI实验室并没有真正激励去击败像Pangram这样的工具（如果有的话，反而是相反）。其次，我看不出有什么办法可以回避AI模型本身就有一种强化学习的独特写作风格。