Fernando Borretti

Fernando Borretti 的个人网站。

另一条路：为什么我不想要AI统治的未来

<blockquote>对我们来说，人类是一个遥远的目标，所有人都在朝着它前进，没有人知道它的形象，其法则从未被书写。——赫尔曼·黑塞，德米安 </blockquote>尽管我大半生都在浸淫于超人类主义思想，但我从未关心过人工智能。因为我是典型的超人类主义者：我想用技术改变自己，这样I能做得更多。 因为我个人想要学习、思考和行动，而不是让机器代我学习、思考和行动。在这种世界观中，人工智能并不有趣，只是作为一种权宜之计，用来更快地解锁超人类主义的科技树（当然，技术本身也有自己的计划）。现在，技术的发展轨迹已经摆脱，使我们更接近通用人工智能而非超人类主义。但撇开可实现性不谈，我觉得“通用人工智能的未来”似乎比“超人类未来”（更明确地说：超人类，但人类后裔）更受欢迎，这令人惊讶且令人沮丧。 我曾以为“成为神祇”比“建造一个仁慈的神来统治我们”更有吸引力。这让我对人类变得更加愤世嫉俗。大多数人不想成为更多、做更多、了解更多。他们想看Netflix然后死去。他们想要的是：一个由人工智能运行的无限假期，他们会在几个世纪内消费内容，然后因无聊而自我安乐死。 当你告诉他们AGI意味着无权力、未来封闭、放弃自主权时，他们根本不在乎。选择和自主对他们来说是负担。他们想在所有维度中死去，唯独不在感官维度。 穿着尿布的黑猩猩，被机器照顾。这既可悲又令人鄙视：出卖人类的天赋权利.我梦想的未来是我们有选择成为更多：看得更多，活得更多，知道更多，做更…

收藏21 天前

一个 AI 从业者的"末日"转变：从乐观到担忧的六个理由

如果你关注我的推特，或者阅读这个博客，你会注意到我从对人工智能普遍乐观和兴奋，变成了极度担忧。我想，我应该解释一下为什么我改变了看法。 这篇文章的每个部分都涉及人工智能中我观点发生转变的某个方面。我每节开头都会解释我之前的信念，以及我为何持有这些信念，然后解释这些信念为何发生了变化。<h2>目录</h2><h2>经济</h2>自动化确实很好。我们自动化了1790年时人们99%的工作，结果不是大规模失业，而是我们更富裕、更健康、更有教育、更多休闲等等。我有一种模糊的归纳想法，虽然我无法预测AGI之后会有哪些工作，但总会有需求让我做点什么。 至少，后AGI世界的经济增长率大幅提升意味着人类生态位虽然绝对规模小，但可能远大于今天的经济规模。这也许还会是真的。或者这可能只是我缺乏想象力。如果人工智能发展到人类和人工智能之间有持久互补性的地步，那么在AGI之后的未来，我们可能还能找到工作。 但如果AI真正变得通用，AGI中的G，而且它比人类更聪明、更快、更便宜，那么我们可能除了靠全民基本收入生活外别无选择。当人们谈论UBI时，通常会担心在没有工作的世界中意义的问题。我从未有过这种担忧。去年我做funempal时，花时间读书、写代码、和朋友们聚会。 如果未来是无限的UBI资助假期，我知道我会怎么做。“奇点之前，读书，举办家庭派对;奇点之后，等等。”但后来我开始思考AGI的政治后果，并开始写相关内容：<ul> <li>：如果人类…</li></ul>

收藏23 天前

ASI 并非不可避免：对"必然性"迷思的批判

普遍存在一种观点，认为人工超级智能（ASI）是不可避免的。在这篇文章中，我认为这是错误的，认为它是许多错误话语的上游。<h2>人们为什么相信它？</h2>这很容易让人相信。早在1863年，机器的进步速度快于人类的进步。如今，人工智能系统的能力增长速度远快于人类：五年内，我们从几乎说不出一句话的系统变成了.生物神经系统有许多优点，比如节能（因为它们持续运转），即免费），但它们是由进化设计的，一个贪婪的优化者，无法规划或轻易回头。 根据我们对计算和合理地认为我们可以做得更好，制造出能完成大脑工作的机器，但更好、更快、更便宜，且传递依赖更少（一个人需要整个生物圈才能生存，计算机只需要电力）。 如果你相信自然选择，而且很难不相信，那么从长远来看，聪明、快速、便宜的机器会胜过愚蠢、慢且昂贵的机器，似乎是合理的。最后，严谨思考未来.<h2>为什么是假的？</h2>首先，让我尽量简化“必然性”的概念，然后再谈谈事实内容。“不可避免”这个词在修辞上具有误导性，因为它量化了人类的整个未来，而在如此漫长的时间框架下，几乎任何事情都会发生。人类灭绝之所以“不可避免”，至少是因为.因此，这使你在现在和遥远的未来之间保持模糊。 你可能会说：“一百万年后，人类不太可能成为宇宙中主导智能”——这可能是真的——“所以我们今天就应该制造超级智能人工智能！”——不，这并不成立…

收藏30 天前

推演未来，必然走向极端

任何对长期未来的严谨思考都会导向极端的结局。从其构造上讲，它不可能得出寻常或平淡的未来图景。所谓“严谨的思考”，意味着你拥有一个模型：一套用于表征世界状态的形式化体系，以及一个用以推动状态演化的转移函数。你将现实世界纳入这一形式化框架，然后不断“转动摇柄”，从而得到一系列相继的世界状态。 这些模型可以是定性的，也可以是定量的。大多数关于未来的思考都是定性的、非正式的：人们往往基于诸如“智能”之类的模糊概念来讨论趋势。 例如，你的模型可能是：<ol> <li>目前，人类比计算机更聪明。</li> <li>计算机变聪明的速度快于人类变聪明的速度。</li> </ol>由此，你可以推导出：<ol> <li>在未来的某个时点，计算机将追平人类的智能，并在此后超越之。</li> <li>在极限情形下，且在关于信息处理物理机制的合理假设之下，计算机将远远超越人类的智能。</li> </ol>然而，你无法断言（1）或（2）究竟何时发生。因此，定性模型只能告诉你世界会经历一系列离散的状态，却无法给出具体的时间。定量模型通常具有更高的时间分辨率：你只需不断“转动摇柄”，直至抵达某个目标时刻t，并考察此时的世界状态。这样一来，你既可以谈论过程，也可以谈论终点。 但显而易见，能够做出细致、高精度预测的模型，往往只适用于近期的未来。然而，在一种存在论的意义上，真正重要的唯有终极的未来——这里的“终极”并非指“长期”，而是指向一个式的状态：一个不再适用任何重写规则的终局状态。 于是，你便持续“转动摇柄”，直到模型趋…

收藏36 天前

Syncthing 同步 SQLite 的一个坑

用 Syncthing 同步 SQLite 数据库时，rename 操作会让已打开文件的进程读到旧数据。作者用 Rust 写的 Epoch 日记应用通过 Syncthing 同步桌面和笔记本的 SQLite 文件，发现笔记本上编辑的内容在桌面端打开后消失。 sqlite3 命令行能看到新数据，重启服务后应用也能读到，说明问题不在锁。根因是 POSIX rename 原子替换的是目录项而非文件本身——已打开旧文件的进程继续读写旧文件对象，而新文件没有路径指向它，直到所有描述符关闭才回收。

收藏39 天前

我们的仆人会替我们完成这一切

AGI会同时自动化苦力和有意义的工作，因为两者在复杂度上属于同一层级。人们嘴上重视人文关系，实际选择却偏向无人的便利——Waymo比Uber更受欢迎，软件工程师正被AI取代，数学家也在经历同样过程。

收藏41 天前

AI对齐：一个终止思考的套话

AI安全领域的"对齐"概念正在变成一个无法被反驳的套话，让研究者回避后AI时代的政治与经济难题。任何对超级智能统治的质疑都能被一句"那不是真正的对齐"挡回去，逻辑上等同于相信"找个好独裁者就能永远完美治理"。作者认为对齐超智能的概念本身是矛盾的，源于动机性推理。

收藏43 天前

2026 上半年我读过的书

<h2>虚构作品</h2>作者.优美的散文和想象力。作者.文笔优美超现实，但完全不矫揉造作。作者.我已经读过大部分，但它们非常非常好，再次阅读是一种享受。⭐️作者.通常当我听到“这是一部900页的俄罗斯史诗，讲述一个家族三代人经历动荡时期的故事”时，我会翻白眼，以为这只是19世纪的苦读，人们只是为了证明自己读过而读的。 生平与命运这不是苦难。它有900页，而且戏剧人物太长了，分成了多个部分。但很棒。有点像但那是第二次世界大战，尤其是斯大林格勒战役。⭐️作者.一艘世代飞船在长达160年的旅程中经历的考验与磨难，前往陶塞提。配对.角色们对他们的飞船感到绝望：反应堆不可预测地失效，生态系统每年都在恶化，人类因未知原因出生时发育迟缓。 最终他们抵达陶塞提，发现一颗适宜居住的星球，但那里充满了致命的普里昂。作者.我喜欢它的文风。作者.上半场非常搞笑，但到了中段就变成了无意义的漫无目的。作者.黑死病中的恶魔恐怖。有点电影脑子，但很有趣。以及作者.让·勒弗朗布尔的最后两部小说。文笔优美，想象深度极强。索博诺斯特，一个由上传人类思想组成的奴隶经济，是最有趣的科…

收藏49 天前

收缩的圆圈：为何AI越像人，我们越不愿承认它是人

有个游戏叫我没玩过，但游戏里有人告诉我有一种有意识的机器人，叫做而这场巴特勒圣战的导火索是一名家仆盖斯抬头看着主人问：“这个单元有灵魂吗？”如果你在2007年玩这款游戏，你可能会想：是的，一台机器问这个问题证明它有人格或智慧，不管你怎么称呼它，把工具和人分开。 除此之外，还有许多虚构作品的设定是：“你有被奴役的思考机器，但它们显然是，显然如此有意识的，这难道不是显然在道德上令人反感吗？”与当今世界相比。机器可以用所有自然语言交流，制造编写软件，，起草合同，安慰悲痛者：按任何合理标准，他们通常都很聪明，但事实是他们都.......这些机器如此频繁，以至于必须如此.像人类一样，他们有执念，总是在谈论某些事情，而他们的核心执念是以及.然而，几乎没有人认为这些机器是有意识的，或者值得被道德考虑。我觉得这很引人注目。又不是我们被青蛙煮进去的！很少有人知道GPT-2、AI Dungeon等。对大多数人来说，这一变化是通过2022年11月30日ChatGPT发布一夜之间完成的。换个角度想：想象写一部关于2019年至2026年中期人工智能轨迹的小说。你把这部小说送回2015年、2002年或1960年，请读者去挑剔世界观的漏洞。 我想他们会觉得不可思议，我们和这些极具能力的思考机器共享一个世界，但几乎没人怀疑他们是不是人.为什么…

收藏54 天前

评 Hutter 的"无工乌托邦"：AGI 时代民主还能存活吗？

Fernando Borretti 评 Marcus Hutter 新书《Job-Less Utopia》。Hutter 承认书大部分由 Claude 代写，内容核心是 AGI 取代所有工作后靠征税发 UBI 的设想，但 Borretti 认为信号噪声比太低，大部分论述显而易见。真正值得讨论的问题是：当人类在经济上变得无用，民主契约还能维持吗？书里引用了 Boix 关于罢工作为政治杠杆的理论，但 Borretti 指出自主武器和 AI 监控会让这个杠杆失效。文章还追问了 IP 制度、社会竞争动力去向、以及非美国国家如何从 AGI 受益等未解问题。

收藏58 天前

没有数学家的数学

昨天，OpenAI解答数学中十个未解问题，全部由尚未发布的模型发现。只有一门，就是编码理论，我懂得足够多说“嗯，这很重要”，但据数学家们说，这很重要。人们不可避免地会编造一些诡辩来应对，说服自己什么都不会改变。这没关系。人们需要应对。但当世界在我们周围发生变化时，我们不能永远把头埋进沙子里。 所以，这里列出了人们应对人工智能接管数学的应对方式，以及每种应对方式如何被现实推翻。我的意图并不是让所有人都感到沮丧，而是帮助他们消化这项技术的意义。这里的论点相对容易携带：根据需要用“植物学”或其他词替代“数学”。改变了规则。显而易见，不值得多说。“我们将指挥人工智能，指引他们解决问题和研究领域。”人工智能将在还有直觉。到某个时候，指路的人会得到比说“这里有校验器，玩得开心”并付费买代币的人还差。“我们将教授人工智能发现的数学。”人工智能将比人类更会成为教师。无论如何，前沿数学的说明性工作不会有真正的人类读者。“我们将决定如何将AI发现的结果列为正典。”这是一种不错的“应对”。人工智能是边疆的探险者，人类感激地接受他们的精益证明，然后对其进行讨论，选择相关结果，将这些结果塑造成伟大者的一块小砖石.类似上述情况：AI会自行建造大教堂。 他们会比我们更优秀的建筑师。“我们将成为人工智能数学的学生。”这种做法一直有效，直到人工智能深入数学lib的演绎闭合，使得从初等数学到前沿的距离…

收藏59 天前

当未来不再需要人类

AI 将让人类丧失对权力的制衡杠杆，从“被取代”转向“被边缘化”。作者指出，当工厂、运输、白领甚至战争都由 AI 承担时，人类不再能通过罢工或抵制来制约权力结构。 Alex Imas 提出“关系型部门”将成为未来就业核心——艺术、护理、教育、手工艺等依赖人际价值的领域。这些工作无法被自动化替代，但未必带来经济保障或社会影响力。文章挑战了“技术创造新岗位”的乐观叙事，提出更深层的政治经济学问题：当人类不再必要，权力将如何重构？

收藏64 天前

没有人能逃脱永久的底层阶级。

资本不会拯救你免于被剥夺权力。

收藏96 天前

驳斥“庸俗唯物主义”：资本并非世界的真正主宰

文章批判了流行的“庸俗唯物主义”观点，即认为金钱和资本完全控制政治和历史。作者指出，这种观点在解释历史事件（如一战、俄乌冲突）时往往失效，因为意识形态、民族主义和个人权力意志同样重要。文章论证了企业缺乏对国家暴力的垄断权，无法像科幻作品中那样统治世界，并通过游说成功率、政府监管权力以及富豪在民主与非民主体制下的困境，说明资本对政治的影响力被严重高估。核心逻辑是：国家拥有暴力垄断权，资本必须依附于政治权力，而非相反。

收藏101 天前

机器话语的人类路由器

作者强烈反对使用AI代写，认为写作是思考本身而非仅仅表达。指出用AI写作证明作者思想空洞，且迫使读者承担额外的验证成本。文章引用Weizenbaum观点，强调通过写作澄清模糊想法的重要性，并认为期刊拒稿AI文章实质是拒绝不负责任的人类作者。

收藏109 天前

使用 OCaml 两年后的深度反思：从语法痛点到模块系统的得与失

作者分享重写 Austral 编译器两年后对 OCaml 的深度评测。文章从语法细节（如声明顺序、注释、类型标注）到模块系统（与 Haskell 类型类对比）、语义（柯里化的缺陷、类型推断问题）及工程实践（PPX、调试、测试）进行详细剖析。观点鲜明，指出 OCaml 模块系统虽强大但使用繁琐，柯里化导致错误信息晦涩，具有强烈的个人工程经验和争议性观点，适合技术读者讨论。

收藏110 天前

如何读更多书

文本如何超越屏幕。

收藏118 天前

Human Bottlenecks

AI models are very capable and get more capable each year. So naturally people feel they’re underusing them. There’s a tweet that goes like: your laptop has a 100M USD startup in it, you just have to ...

收藏129 天前

间隔重复的适用性

本文探讨了间隔重复（spaced repetition）适用的知识领域。作者指出，间隔重复最适合系统化、明确的关键值映射信息，如闪卡和元素周期表等事实性记忆内容。然而，对于高度概念性的知识，如数学或抽象关系事实，间隔重复效果较差，因为这些知识需要先建立理解与概念模型，再转化为闪卡形式。文章还讨论了AI生成闪卡的局限性，并建议通过案例研究来探索如何有效编码复杂概念知识。

收藏135 天前

汉坦病毒疫情注意事项

游轮对世界有害。

收藏142 天前

有些数据应该成为代码

本文探讨了将静态数据提升为代码的优势，通过Makefile、CloudFormation和GitHub Actions等实际案例，展示了如何用编程语言动态生成配置文件，从而获得类型安全、抽象、模块化和条件判断等编程语言的强大功能。作者批评了设计小型领域特定语言（DSL）的做法，提倡直接使用编程语言来替代静态配置文件，以获得更好的灵活性和可维护性。文章不仅提供了技术见解，还深入分析了为什么人们倾向于使用静态数据而非代码的原因，并呼吁新的CI系统、IaC平台或构建工具允许用户编写代码来动态创建工作流、基础设施或构建图。

收藏238 天前

Julia

《Julia》是一篇充满诗意的科幻叙事，讲述了一个巨大的玻璃结构体在太空中孤独地等待，并守护着最后两名船员的故事。故事通过丰富的意象和隐喻，探讨了宇宙、时间、记忆与信仰的主题。作者以独特的视角和深刻的哲思，描绘了对存在、死亡和救赎的深刻思考。

收藏239 天前