读者的 revolt:当LLM代写成为信任危机

阅读对我来说很重要。虽然我不是读书快手,也不是特别贪婪的人,但我发现长篇阅读对我的生活产生了深远影响。

而且因为阅读对我很重要,写作同样重要:写作不仅让我们传达思想,更促使我们去测试和提炼它们——既让我们的想法更坚实,也为分享它们提供了载体。

但我现在写这篇文章,是因为——作为读者——我们感到无奈:太多人——那些我们平时喜欢和尊重的人!——正在写(或以其他方式署名)那些显然是LLM作者.我们读者对推广大型语言模型作者文章的人提出了尖锐的问题:你认为读者看不出来吗?

还是你认为读者不在乎?

回答第一个问题,读者完全可以看出来。对于广泛阅读的人来说,LLM的手法如此明显,仿佛如此明显作者的智力自由开放.事实上,是所以令人震惊的是,我不得不相信那些写有LLM的人要么没读够,没能看出LLM明显的结构性特征——要么(而且?)他们甚至没看自己的内容。

(坦白说:对于特别严重的作品,我曾幻想判决作者朗读,确信作者自己无法忍受他们强加给我们的这些粗糙内容。)

至于第二个问题,读者非常关心。事实上,LLM写作的提示让人感到刺耳(“这就是为什么这种框架很重要!”),以至于我们的大脑会在句子中途拉动一个由LLM触发的弹出把手,出于自我保护。

而且这里的第一人称复数是有意为之:作为辛西娅·邓洛普写道在668名回复她调查的开发者中,78%的学生在发现大型语言模型时会“立即停止阅读”。

而且这些后果会超越文章本身:Cynthia调查中有71%的受访者还有“以后避免与作者联系”(!!)。值得注意的是,受访者追求的不是语言的完美,而是真实性:98%的人表示更喜欢作者自己(不完美)的作品,而不是经过LLM润色的作品。

最后,要警惕不要把Cynthia的受访者视为自我选择的群体:社交媒体上的活跃读者没错最有可能转发或推广他们喜欢的作品的人——网络散文的早期采用者和品味引领者。

人们为什么会有这样的反应?除了要忍受令人恼火的文体习惯外,读一篇有大量大型语言模型帮助的作品时,我们——读者——根本分不清什么是真实,什么是假的。

正如我在RFD 576使用LLM来写作就是废除了写者与读者之间的社会契约:我们读者不应被期望费力去理解写作者自己未曾努力创造的句子。

读者的反感重要吗?如果需要说明的是,当你用大型语言模型写公开文章时,你不再是为自己写作,也不再是为了对自己的想法进行压力测试——只有目的是服务于读者。

如果读者选择忽视你(也许永远如此!),你就在削弱自己:你不是在吸引读者,而是在主动排斥他们。所以撇开对其使用的其他判断不谈,使用大型语言模型将越来越变得......无效。

在这方面,我想起了电子邮件垃圾邮件的历史。2000年代初,人们(合理地!)担心垃圾邮件的爆炸会意味着电子邮件的终结。那是一个社交网络普及之前的时代,电子邮件是互联网的经典杀手级应用;我们失去电子邮件,这让我感到非常沮丧。

但在2000年代末,我们迎来了转折点:垃圾邮件过滤技术大幅提升,以至于经济垃圾邮件的数量被削弱了。此外,随着垃圾邮件被有效控制,被贴上垃圾邮件标签的后果也变得越来越严重。

如今,合法企业对使用批量邮件非常谨慎;被标记为垃圾邮件实际上是毁掉你的域名,损害你的品牌形象。

当我们能够大规模识别垃圾邮件时,反垃圾邮件的战争开始转变;类似的情况会发生在大型语言模型(LLM)作者的写作中吗?像垃圾邮件一样,大型语言模型的影响对阅读者的人类来说是容易识别的;这难道不是一个可以解决的问题吗?

直到最近,这个问题的结果一直很复杂。我曾尝试用LLM本身来识别LLM,但发现它们的假阴性率是远太高了:他们很乐意接受我确信是LLM创作的内容。

其他服务似乎会寻找基本的LLM信号,但作为一个热衷(且毫不道歉!)的em-dash用户,这些表面技巧让我在座位上紧张地挪动(而且我觉得它们普遍不可靠,以至于不值得经常使用)。

去年年底,Pangram Labs 启动了他们的Pangram 3型号.我发现它比其他检测器有了巨大的飞跃,也成为了一名狂热用户。重要的是,经过数月的使用(尤其是那些我已知来源的样本),我发现它的假阳性率非常低:当Pangram识别出文本主要由AI编写时,我可以相当确定其中有大型语言模型(LLM)深度参与。

(我发现它的假阴性率比我期望的要高,但为了低误报率,这算是小代价。)

大约一个多月前,他们引入了全字句4我发现它比已经很出色的全字母表3在阶梯函数上有了提升:根据我的经验,它的假阳性率惊人地低以及低假阴性率(也就是说:非常高的准确率!)。

我发现它非常有效(而且对使用LLM的声音信任的丧失非常迅速),所以我最近将RFD 576扩展到了明确论及公共写作,明确要求Pangram报告公开的氧化物写作为人工写作。

正如我在RFD中解释的,我们公开写作的标准不仅仅是LLM不用于写入,而是读者要有信心它不是由LLM编写的——而这正意味着要像全字母一样干净。

对于那些重视机构声音真实性的组织,我鼓励那些以他们名义写作的机构也采取类似政策。(直视你,锈迹基金会!)

事实上,Pangram对我们许多人来说已经变得如此重要,以至于当Pangram Labs联合创始人兼首席执行官Max Spero最近加入了我们的节目氧化物与朋友们.我建议讨论这不仅是因为全格拉姆的技术细节,也包括亚当那个完美音准的掉落(虽然当时被低估了)辛普森一家参考:当我把LLM作者的写作比作把外卖食物当作自己做的菜时,亚当打趣道这种写作就像“蒸火腿”,暗指斯金纳校长试图把克拉斯蒂汉堡当作家传老配方.除了这个恰当的引用,听Max分享了Pangram 4为何特别有效——以及为何其有效性显现出某些见解,也很有趣怀疑的抗议嚎叫.

所以,作家们要小心:读者们反抗了。你完全可以预料到你的写作会经过Pangram审核。如果你的立场是我们可以接受一个LLM根据你的提示写出散文,那就省去浪费所有的周期,直接给我们你的提示。

或者,更好的是,考虑效仿前几代作家所做的,把这个提示当作你自己写作的骨架!当然,这并不意味着大型语言模型不能帮你——LLMs是极致的编辑器!——只是如果你真的指望我们其他人读,可能就不应该让它帮你写出来。

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论