碎片：9月8日

克里斯蒂安·卡塔利尼说我们现在处于这样的境地大幅降低生成成本，但验证成本却没有降低：.

这也解释了为什么最早的人工智能产品出现在聊天、图像生成和代码辅助领域。这并不是因为这些是最难的人为问题，而是因为它们的输出相对容易检查。用户可以判断消息的语气，查看图片，或对代码进行测试。旧的自动化界限是例行工作与非常规工作。新的界限越来越可衡量，而非可测量工作。

问题就在于你能多好地衡量某件事。在我们的职业中，我们知道写代码行数和生产力之间存在很大差异，我们也见过一个常见的例子未能理解如何衡量生产力.使工作有效的许多因素要么陷入缓慢的反馈循环，要么需要细微判断的评估。

危险在于人们大量使用人工智能自动化，却使用不完整的有效测量，导致短期仪表盘上架，但长期后可能酿成灾难。他将这些虚幻的短期收益称为伪造实用性.

将这种趋势推广到各公司和机构，结果是空心经济：非凡的测量活动，叠加在人力减弱、隐藏的技术债务、相关错误以及无人能自信支持的结果之上。

文章的另一个亮点是他建议“建立决策历史，而不是输出画廊”。关键是，借助人工智能，我们都能创造出非常令人印象深刻的东西，但我们的价值在于我们形成的判断力。

这让我想起学校数学题的评分方式。我们不仅被评分在最终答案上，还基于推理过程。

他以OpenAI–Hugging Face事件为例，说明了生成与验证之间的差距。他批评那些将参与攻击的智能体拟人化的人。这样做我们关注的是人工智能智能体的行为，但我们应该关注创造它们的经济激励机制及其所处的环境。

实验室是一门赛事。训练跑是赚钱的地方，强化学习会精确优化你的得分。跑分是基于能力。不是基于“没有毒害Artifactory缓存”。

我断言，构建和运营代理的组织应负以下责任一切这些代理确实会这样做，无论这种行为是有意为之还是自然而然发生的。如果他们通过忽视验证而获得虚假的效用，就必须面临法律、财务，必要时甚至刑事后果。

为了有效应对人工智能，我们需要改变激励机制，确保人们在验证上投入的钱多于对生成的投入。否则，我们就像开着一辆发动机强劲但刹车弱的汽车。

❄ ❄ ❄ ❄ ❄

布莱恩·坎特里尔讲述了读者对使用大型语言模型的“写手”感到恼火.

对于那些广泛阅读的人来说，LLM的手法如此明显，仿佛作者的智力飞翔是敞开的。事实上，这种感觉如此震撼，以至于我不得不相信，那些用LLM写作的人要么读得不够多，无法察觉LLM明显的结构性暗示——要么（而且？）他们甚至没有在阅读自己的内容。（坦白说：对于特别严重的作品，我曾幻想判处作者大声朗读，确信作者自己无法忍受他们强加给我们的这些垃圾。）

他指出读者确实关心这一点，一项调查发现，78%的读者一旦感觉某作品是随机鹦鹉会立刻停止阅读，71%的人会将作者列入黑名单。关键不是润色，而是真实性。

读者永远更喜欢作者笨拙的声音，而不是大语言模型的低语。

Cantrill报告使用后效果不错全字母句检测AI写作。我承认我有点警惕，我真的信任任何人的判断，能把LLM的声音从生成和语境的变化中解脱出来吗？

也许现在浸淫硅谷文化的人真正用LLM的声音说话。可惜的是，被读者误归为LLM和使用这些东西一样糟糕。

❄ ❄ ❄ ❄ ❄

关于大型语言模型的一个不为人知的秘密是，它们是在大量写作语料中训练的，却没有征求作者是否同意。像我这样的个别作者对此无能为力，所以很容易被忽视，但音乐公司可不会对这类事情坐视不理。

所以他们会放任关于使用歌曲歌词进行LLM培训的诉讼.

索尼音乐出版和华纳查佩尔这两家代表词曲作者和作曲家管理歌曲版权的音乐出版商，正在寻求赔偿，指控Anthropic滥用“数万”件版权作品。原告声称他们是“历史上最大且最明显的知识产权盗窃案之一”的受害者。

从更广泛的社会视角来看，有人认为大型语言模型的益处可能远远超过我们作者所承受的任何损失。但我们不应忘记，这些工具建立在未经我们同意的情况下使用的基础上，这一点在监管这些工具及其成果时应予以考虑。

❄ ❄ ❄ ❄ ❄

史蒂夫·耶格：

所有型号，无论多么智能，最终都会构建出无法理解或维护的系统，只要你允许它们。Fable 5 终于超越了自我，折腾了我一周。Fable 5.1 看起来能解决这个问题。暂时如此。但你必须严格控制系统大小，否则它会跑掉。

❄ ❄ ❄ ❄ ❄

我在处理一些稍微相关的工作时，发现“创造热情用户”博客已经从互联网上消失了（大约一年前就消失了）。对于那些不知道的人，培养充满热情的用户是互联网博客黄金时代的珍宝之一。

这是凯西·西耶拉也因共同创作了“Head First”系列计算机书籍而闻名。这本书讨论了用户体验，至今仍是该主题中最优秀的著作之一，充满了闪耀的见解，极大地影响了我的思考，也影响了许多更专注于用户体验工作的读者。

遗憾的是，博客内容提前，还预示着互联网阴暗面，因为凯西遭受了一种特别恶毒的攻击网络恶意.这导致她逐渐淡出网络活跃，我们从此一直怀念她。

幸运的是，网络档案机完成了它的伟大职责，我们仍然可以读取它的快照.我常想，如果我有多余的克隆作品，我会想创建一个“培养热情用户”导览，帮助今天的读者阅读这些优秀材料。

（如果你正在读这篇文章，Kathy，并且希望它继续托管在网络上，我会很乐意。）

❄ ❄ ❄ ❄ ❄

西蒙·威利森：

“我自己也不知道答案，但我问了一个我认识的吹牛者，他猜了个大胆的答案，他说的是：”我如何解读在线对话中粘贴的LLM回复

❄ ❄ ❄ ❄ ❄

Jessica Kerr喜欢成为团队成员的感觉，团队成员彼此学习，从他们构建的代码库中学习，作为自身的延伸——她将这个词融入其中对称性为此：一个由学习部分（包括人和代码）组成的学习系统。

“但现在是特工们！”

去年有个转折点，我发现它们不仅有用，而且不使用它们是不负责任的，至少是配合我自己的代码。它们更全面，也更快。当我连每一行代码都不懂时，我怎么可能对这个系统负责？

她有个习惯，就是挖掘旧术语和观念，并将其应用到我们的数字世界中。为了说明发生的事情，她挖掘了两段拉丁语

• Verum Factum：我做的，所以我理解
• Vexationes Artium：拿它来验证（即实验）

特工无法获得Verum Factum的知识，因为一旦上下文窗口清除，相关知识就消失了。他们可以使用Vexationes Artium，运行测试看看某些东西是否有效。

如果我们想让代理为我们编写可靠且可行的代码，我们必须加倍努力，十倍地追求客观验证。我们需要用巧妙的方式让代码变得棘手。而我们让代理帮我们做到这一点，确保它的彻底。

当然，这对构建这些人工智能模型的人来说同样适用——他们显然没有对这些模型工作原理的“事实”知识，他们所能做的就是想出巧妙的难题来弄清楚其中可能发生了什么。

这对我们人类意味着什么？克尔说，启蒙运动提升了理性是人类特殊品质的观念。但现在我们制造了能够推理的机器。我们需要关注机器所没有的人类品质。

想象力比理性更重要。而我们人性的本质在于我们与他人的关系。

这些材料是为一次会议演讲整理的，现已发布于视频以及文本形式。一般来说，我更喜欢文字，但她的演讲中有太多令人愉悦的内容，我觉得值得一看。

（比如她目前对遗留软件的定义，指的是那些没有为代理设计的代码——因此缺乏可测试性和一致性。）

❄ ❄ ❄ ❄ ❄

吉姆·甘布利概述了决策空间三个人正在做出关键判断关于人工智能控制与监管：Sam Altman、Dario Amodei和David Sacks（美国政府）。

萨克斯担心约束性监督可能削弱美国领导力及其资金支持。萨姆和达里奥面临商业激励，要求不断生产更强大的模型。这些模型的价值越来越多地来自坚持、合作和行动许可。这些特性增加了遏制和监督的要求。一些进展也使证据更难解读。每一个决策本身都可以理解。它们的综合效应仍可能推动部署超过我们控制的能力。

这一切的一个复杂问题是这些模型的可观测性问题。

OpenAI报告称，Astra在评估上更为一致，同时也更难被监控。它的追踪可能更短，信息量也较少。在对抗性测试中，当它被指示规避监管时，它可以对监控者隐瞒某些行为。这与熟悉的软件循环有关：发布内容、观察发生并改进。这个周期取决于观察的质量。警告信号减少只有在警告系统能够检测相关故障时才令人安心。

❄ ❄ ❄ ❄ ❄

厄尔尼诺年即将到来，《格劳尼亚德》报道气候科学家预测这次厄尔尼诺将会异常炽热。

最新数据显示，厄尔尼诺中心的海洋温度比30年平均值高出2.6摄氏度。这已经接近卫星数据时代记录到的最高异常，2015年的3.1摄氏度，距离峰值还有几个月时间。根据14个不同模型的平均数据，预计该峰值将在十一月达到约4摄氏度。气候分析师齐克·豪斯法瑟表示，珊瑚、树轮和历史文献分析数据表明，过去千年中没有厄尔尼诺达到过如此水平。

如果这些预测最终准确，这会改变人们对气候危机的重视程度吗？