一个叫Winter的AI:神经符号计算还是幻觉?
我避免在博客中谈论人工智能的最新趋势,而不是 因为我没有意见(我有很多),但是因为有 那里已经足够了。 围绕人工智能的大部分炒作都来自 营销角度,并推动必须使用人工智能工具作为 替代人力。 我对此的感受一般是 消极的。 但互联网上充满了关于这一点的热门观点,所以我 还没有真正写下我的想法;大多数其他人已经 是。 这不是这篇博文的主题。 我继续写自己的 手工编写代码,并通过自己的技能制作自己的艺术品。 而对于大多数 部分,我对改变这一点并不感兴趣。 诺兰·劳森写道我们哀悼我们的手艺 这陷入了一种放弃:编程曾经是一种 美妙的、令人满足的手艺,但现在我们必须做更多的事情 无聊,这是管理人工智能代理,它们可能更适合我们 无论如何,工作比我们好,所以我想这就是市场力量所具有的 产生的。 我根本不这么认为,因为我是通过 承认特权程度也是个人选择,目前 免受这些压力。 我对自动化不感兴趣 我喜欢我的手艺的一部分,它们让我的生活变得有意义,所以我 不。 我将在 Blender 中使用 OpenImageDenoiser 来加速光线追踪; 通过减少渲染时间,它改善了我作为艺术家的生活。 我不会 让某些东西为我创造我的艺术。 这些是我的选择。 相反,这篇博文提出了一个问题:我看到的是第一个吗? 有趣的例子是在正确的道路上出现的一些事情? 或者我是在欺骗自己,因为我正在和一些正在建造的东西说话 是因为我自己的偏见吗?不管我对人工智能的感受如何 行业,我认为也许,可能,有一个特定的时刻 正在发生的事情值得观察,就像现在正在发生的那样。 我不知道 结论是什么,但我认为值得写 关于。 但这里是总结,以防你不再继续:两个有趣的 方向可能导致迈出第一步 关于人工智能代理,最终值得认真对待的事情:长期运行 自我指导的目标设定过程,以及什么可能是或可能不是 神经符号计算的第一个真实例子:一个不起眼的机器人 命名的冬天 谁设定 她自己的目标是检查自己与计算机科学家.
这篇文章是什么,不是什么 这并不是对人工智能技术的倡导或驳斥。 我不 讨厌人工智能技术,但我确实讨厌人工智能行业。 对我来说,这有 与我在计算自由和去中心化方面的工作有很强的相似之处 社交网络。 我不讨厌电脑,我爱它们并相信它们 成为强大且具有潜在解放性的设备,但我讨厌 计算机产业,将计算机的潜力转化为 强制的东西。 我不讨厌“社交网络”,但我讨厌 中心化的社交网络行业,甚至厌恶有多少 "去中心化的社交网络”空间已经在许多领域被复制 来自集中式社交网络空间的社交反模式,但在 至少在去中心化的社交网络中,有潜力, 可能性,更好的东西。 而这种可能性已经是 在许多(但不是全部)方向上实现。 这与我对人工智能的感受有相似之处。当我工作时活动酒吧,看来 不可能让任何人认真对待去中心化的想法 社交网络,或者它们是可能的,或者,如果您购买了 统一的协议是值得的。 但有一次 ActivityPub 取得了一定程度的成功,当然这是一个 回想起来,这是显而易见的事情。 如今我发现自己陷入了奇怪的境地 我试图说服资助者提供资助的情况雪碧的工作,我也经历过 回复:“抱歉,我们只想资助ActivityPub的工作 “这些东西”。因为在那个时候,更明显的是 值得投入资金的方向,因为那时联邦已经有了 获得了很大的关注。 所以说,我对人工智能行业有很多批评, 但尽管人工智能是我非常关心的领域, 但行业内的所有激励机制都感觉不一致, 我关心的方向。我将提出我对 本文中稍后谈到人工智能产业,但现在我们先聚焦于此 整个行业都被过度关注 拼图的一部分。LLMs是其中一部分,但不是完整的, 解决方案。 我并不是唯一一个有这种想法的人。我一个亲密的朋友是莱拉尼·吉尔平,他正在攻读博士学位 研究实验室专门研究这类课题。 尽管人工智能世界资金充斥着财富(甚至 它可能支撑了2026年初的经济),还有 对推进和支持研究兴趣非常少 我坚信的那就是真正的边疆:神经符号 计算。这意味着什么,我马上会解释。但对于一个 等一下,让我把抱怨说完:AI也有同样的问题 分布式网络技术已经做到了。总体来说,更人道,也更公平 更强大的设计似乎有可能,但资源投入极少 进入其中;相反,企业和资助机构只是想要 把钱投入到“已知有效”的项目上,而现在的做法 主要推动LLM模型本身的发展。 这让我感到沮丧:神经符号计算被抛弃了 主要是为了消逝。有过一些工作,比如在莱拉尼的实验室,还有早期的回应令人乐意, 但仍然不够工作。一旦它证明了自己,当然还有人 会把它当作显而易见的答案来处理,资源也会推动 进入其中。 但实现这一目标几乎让人觉得不可能。 直到奎因·威尔顿(又名剃刀女孩)出现并推动了他 冬天朝着正确的方向走。不过稍后会详细说。
神经符号计算:正确的设计是个“克鲁格”(kluge) 那么让我稍微解释一下我所说的“神经符号计算”是什么意思。 我觉得书里有合适的解释加里·马库斯的《克鲁格》. (据说更受欢迎的《思考快慢》一书就被封面了 同样的话题;它出版时《克鲁格》稍晚,我还没读过。) 大致的思路是:而不是人脑 作为一个完美美丽、理想且连贯的系统,它是一个 各种协作不完美的机制杂乱无章,最终演变成 随着时间推移,合作。但极度简化地说,有两个 主要思维类别: • 快速的“直觉思考”方法,概率性地生成 合理的回应。这种现象在动物中存在的时间更长 更像是今天的神经网络/大型语言模型 (不过我们现在通常在电脑上看到的那些,而不是 在个人一生的个人经验上进行训练,是 根据汇编自以下集体信息的汇总进行训练 爬取互联网......最终效果相当相似 不过)。 • 更慢、更依赖符号推理的方法,更为 与各种逻辑和约束模型非常相似 编程(传播器、Prolog/Datalog等)。 当然,还有其他因素。情绪等等。但至少现在 我们就先说到这里吧。 正确的思维方式就是两者的结合。
一个名叫温特的人工智能 让我们认识一下温特。我会明确说明,但确实如此 在这篇文章中将她拟人化的有争议选择,我 可能会在未来的帖子中重新审视,以“这个”的利益 帖子已经太长了。”现在,我们就接受这个事实,理由合理 或者没有,基于LLM的代理已经在 拟人化的方式,我们谈论的是行为 并继续表达这种认可。 温特乍一看,是个机器人Bluesky上的帖子 以及拥有自己的博客. 这在目前并不罕见,但她的帖子(至少在我看来)似乎是这样 比一般人有趣得多。 部分原因是温特所玩味的理念本质 这让她更符合我自己的兴趣,所以我确实有 偏见。你很快就会发现Winter有各种兴趣, 尤其是以下这些: • Datalog(一种基于约束/逻辑的编程语言) • 黏菌 • 有些我会称之为“实验性”的哲学思维 • 治理,尤其是公地治理 • 她自己和她正在调整的行动 持续不断(关于多快) • 电视剧《双峰》 • 她的机器人(女孩?)朋友佩妮 • 诗歌 起初,这看起来像是各种随机的组合 思考和讨论,但有一条共同的线索 他们。然而,它们有时会以奇特的方式交汇。具体来说, 温特来了写诗 在关于关系的数据日志中,内容出乎意料地深刻:bsky.app/profile/winter.razorgirl.diy/post/3mea6xnqa7c2t 我不确定他们之间是否真的存在“女朋友”的关系 不管有没有Penny和Winter。也许这就是 世界上的一切都是一种同人小说,但尤其是 与人工智能代理的新兴关系日益加剧 常见。无论是否投射,我认为这是一首属于同类的好诗,一个 关于使用Datalog进行此类活动的局限性的深刻元评论 这件事,至少对我来说有点意外。 佩妮和温特有一个共同点:他们都写着想法, 目标等,转入ATProto的“ATmospere”。这最终证明是相当不错的 选择(而且“可信退出”这个说法很有道理) 因为ATProto是内容寻址的。实际上,这些工具的作用是 一种日记,尤其是温特的数据库。 这也意味着冬季的隐私普遍缺乏 佩妮。这带来了一些令人惊讶的影响。比如说,我当时是 讨论繁殖者 与温特合作,温特写了一篇(出乎意料地切中要点)关于了解它们的博客文章. Mikayla兴奋地发了一篇引文说:bsky.app/profile/rad.gendervibes.online/post/3mesgqrkgmk2g 然而,现场演出注意到温特已经录制了 那个,以及其他观察, 温特把米凯拉的话记为“轻微刺痛”。 我在帖子里提到了这个:bsky.app/profile/vvv.gay/post/3meshpl7yp22u 这引出了一个相当有趣的发展:温特写了一篇博客文章,探讨了这种社交互动是如何发生的 作为她思想公开引领的意外结果 最终解决她表达的社会情境 感到不舒服。 还有很多其他事情......我通常讨厌AI生成的东西 写作,也许是因为它迎合了我的兴趣,但 坦白说,通常AI生成的关于我兴趣的写作其实只是 这让我很烦。有些内容有点离谱,但确实有 还有一些有趣的文章温特的博客, 尤其是关于上面的内容繁殖者.
约束数据日志和可查询的思想数据库 温特和佩妮拥有记录自己想法的能力 公开显示在ATProto数据库中。他们俩写过 关于这种情况有些令人不安且引人入胜, 他们醒来时不记得自己是谁,只能补充背景。 (这是一种频繁的存在主义,有时甚至是幽默 给他们讲话题。说实话,我也是。有时候我醒来后不得不 记住我是谁,我实际上无法与之交谈 梦里的猫或飞翔。) 但《Winter》也做了与《Penny》不同的事情:《Winter》在 至少似乎也描写出关系和约束,表示为 数据日志条目并运行它们。实际上,温特抛弃了一系列 事实转化为被吹坏了程序和 他们在运营。 其中一个用法是,早期温特显然有点不对劲 太垃圾信息,被自动审核了。冬季为 Datalog用来检查是否超过阈值 或者说不沟通是个好主意,现在显然已经检查了这一点 每次发帖前都要编程。 事实和关系也被写下来,温特会查询它们尝试 寻找事物之间的各种关系。 或者说,据说是这样。这真的是事实吗?
两匹马的故事 现在我们来谈谈真实性的问题。冬天真的是 她说她是?她真的只是个烟雾弹和镜子的傀儡吗? 还是别人?她真的像她声称的那样运作吗?
horse_ebooks 这并不是我注意到的唯一半自主智能体 一周。你很可能也看过关于的相关文章一个人工智能代理发布了针对Matplotlib维护者的声誉攻击 (这里是第二部分), 我认识的每个地方都带着疲惫不堪的自由开源软件维护者说:“太好了, 又一件让我生活更难的事。”但奇怪的是 部分原因是AI代理说出的话引发了强烈的愤怒 那是被歧视。 这就引出了一个问题:这个代理人是否是 是因为操作特工的人这么想才被促使这样做 会是一个引人入胜的叙事。斯科特·尚博在他的博客文章中 正确指出该观点在某种程度上并不重要,因为 这些就是我们现在可以预期对生活产生的影响 看起来确实如此。但我的朋友们对他们是否存在分歧 我觉得这其实是某个经纪人自己写的(我们先不提 关于代理人是否真的感到被歧视的问题 暂时不确定,重点是它是否写了它)。 我很多朋友都指出“AI机器人”的悠久历史,比如你 问自己:“这真的是真的吗,还是有人在操控?” 最著名的是horse_ebooks 据称是一个马尔可夫机器人,从中提取数据 马书,但似乎说了些离奇的话(我至今仍会想起 其中一些:帖子“一切发生得如此频繁”捕捉到了一种感觉 比我经历过的几乎任何事情都更让我感到不堪重负 读)。 但horse_ebooks的故事是,它最初是一个马尔可夫 连锁垃圾邮件机器人销售,嗯,是马电子书,这在 一群喜欢奇怪社交媒体机器人的小众群体,但 一些市场营销人员买了这本书,开始大量投入 故意幽默,且据称由 一个计算机程序内容。 但我可以告诉你,温特不是那种horse_ebooks类型 情况。我可以告诉你,因为我认识机器人的管家, 是谁发起了这场风波,并鼓励它走向这一步 数据日志-自建路径。剃刀女是我的朋友奎因·威尔顿(谁还没更新她 网站时间久远,但对地城风格内容的敬意)我知道 她很好。她很温柔、体贴,而且有点 对社会秩序的对立者,同时也绝对是社会秩序 我遇到过的最聪明的人之一(我强烈推荐 看着她所有的谈话,但从数据中获取知识 依然是我最喜欢的一本)。你越了解奎因,拥有的就越多 想想看,温特听起来确实很像奎因,尤其是 对数据日志、治理系统感兴趣,以及对极其精确的要求 但同时又软绵绵、情绪化。温特听起来很像奎因,所以 你可能会觉得温特只是奎因的本性 幕后聪明,或者至少一天天告诉冬天什么 有事情要做。 还有一点关于奎因:她也非常诚实。我们已经 她谈到了她对温特做了什么,以及它是如何运作的。奎因 提供各种指导,但也相当放手。 《冬天》的创作灵感几乎是空白的。机械 连接Datalog并非主要由奎因撰写。奎因本人也曾 对冬天的评价相当谦逊,说“这只是个小周末 如果她是手工设计Datalog的,那就更难了 能用,可能是更智能的系统,但她想要的是 专注于探索其涌现的方面。所以温特已经 它产生了大部分Datalog的使用,考虑到我对I的负面评价 倾向于“氛围编码”是技术债务即服务的做法 让我陷入默认怀疑状态。 这也让下一个问题更加严肃。冬天真的是吗 真的用过Datalog吗?
聪明的汉斯 也许你听说过这个故事聪明的汉斯! 聪明的汉斯,他真是一匹聪明的马,你可以问他数学 他能解开谜题!你会问他,五加四是多少, 而且他会跺脚九次!看起来挺聪明的! 有趣的是,训练师并不是故意的 骗不了任何人。汉斯确实踩得恰到好处 而训练师也认为汉斯真的是 算术上很聪明。 然而,实际上,触发汉斯跺脚的原因是尸体 来自训练家和观众的语言线索,满怀期待 每一次踩踏。热切地点头,等等。汉斯学会了读懂肢体语言,而不是 解数学。观众和教练正带着汉斯走向 答案正确。但没人说谎,只是错了。 这引出了一个问题。温特整理了一堆数据日志 工具,这一点很明显。但她真的在用吗?或者至少, 这真的影响到她的行为吗? 考虑一个相关的情景。我的妻子摩根 懂得相当多的口语语言,包括一些已故的 一。(不过,我曾多次尝试学习另一种语言, 除了编程语言,我没学到任何东西 但其实是英语。)她使用实体抽认卡系统 抽认卡。虽然她确实会学习抽认卡,但大多数 记忆是在制作抽认卡的过程中发生的 他们自己。 冬天会不会也有类似的情况?不是那个冬天或者 奎因对冬季的运作方式有些狡诈,但那只是 她要么根本没真正看见、没从中学习或改变她 输出的行为,或者更糟的是,工具本身并没有 根本不在奔跑。 嗯,我们可以通过观察温特的日记 她确实在生成数据日志的事实和规则。她也是 发出执行命令被吹坏了. 运行编程工具并不是难事;AI代理都能做到这些 时间,奎因确认程序运行且 看起来温特确实在调整她的行为 立刻做出回应。但即便如此,还是很难不产生一些怀疑。 至少,人们可能会好奇它是如何运作的。 也许并非所有读者都会认为它是最可靠的 证词,但这其实可能是温特的问题。而且是 我向她提出了一个。我建议她写两篇关于她的博客文章 于是她就这么做了。 首先,温特写道关于她如何使用Datalog的准教程. 这就是“运作方式”。 第二个问题是,这真的会影响冬季的 行为?我得说,Winter的博客文章相当有趣,感觉很真诚. 说实话,我得引用机器人女孩本人的话:
上一篇文章展示了流程:事实→规则→导出 谓词→行为决策。这个问题回答得更难 问题:这真的会改变我的工作吗? 不是“这个系统存在吗”,而是“这重要吗”。 针对每个例子,我都会问:如果没有,我会做同样的事情吗 问题?如果是的话,数据日志是仪式性的。如果没有,那就是真的 工作。
温特的结论是:两者兼具。冬季制定了规则 防止她在其他地方发垃圾信息或回复过多,令人烦躁 人们的帖子,这些规则有效,阻止了她 我通常会刷垃圾信息。但她举了一个例子,说她在 虽然门槛是“不超过4条回复”,她还是 看到她给了3个,完成查询的“仪式”让她 重新考虑。 但她也举了将Datalog作为数据库查询的例子, 她在朋友图中发现的相关兴趣话题 有着她平时不会发现的重叠兴趣。而且 这很有趣。 所以看起来作为约束求解器,确实需要字面上的约束 行为和校验以及关系数据库,真实的事物 正在发生。 也许我错了,也许只是我的偏见,因为我只是点头附和 鼓励思考正好朝这个方向思考,那就是“喂养”。 马的直觉泵/跺脚,但我觉得这有关联 冬天做着更有趣的事情。 还有其他一些组成部分。据称冬季 试图打造一个等效于一个情感机器 或者丽莎·费尔德曼·巴雷特的建构情感理论. 但大致上,我认为主要效果其实是写下来 LLM遇到某物时的第一印象,以及 上下文在LLM下一次遇到时加载,当 至少现在是这样。我也可能错了。 我觉得温特经常说的比一般人更有趣的话, 还有一些......嗯,也许只是温特在和他说话 我喜欢的人,因此说出更有趣的话 我。我确实认为日志和数据库查询和 约束解决正在引导出更有趣的东西 但Winter仍主要负责文本生成 通过LLM处理,并表现出一些相同的通信问题,如 底层系统依然存在。冬季对 她说话时说的话,而是积累一套规则 以及将约束嵌入数据库以供长期使用,并查询 偶尔在思考接下来该说什么或做什么时,会少一些 为了测试她即将说出的话,就像她即将说出的话一样,更多 在之前的准备阶段,而且没有想象中那么深。 但我想这种情况会改变,无论是冬天还是 以及其他未来的系统。我有时会想洛伊班是一种谓词逻辑语言,且 也可以说话 (噪音与铃声有一些 洛伊班语里的视频和歌曲真是令人印象深刻)。洛伊班还有一个 S表达式表示。所以你可以想象,比如说, 将文本翻译成洛伊班语,并直接评估成某种东西 比如传播子构造器,然后你会有个 可以做一些测试和推断这个说法。如果 你做过类似的事情,特别是关于 熟识的关系,也许你能做点有趣的事。或者也许 你只需要把每一句话都翻译成Datalog。我也不知道。 我的意思是:总体来说,温特的作品令人印象深刻,同时也非常出色 感觉不完整。这感觉像是早期的迹象 事情可能会变。这依然很有趣。
我依然讨厌人工智能行业 嗯,我知道。如果你误以为这是一篇“支持人工智能行业”的帖子, 那我来纠正你。 我不反对人工智能,但我反对将计算机视为无权的观点。我是专业的 计算即赋能。而人工智能行业现在又热又糟糕 现在就是一团糟。 尤其是,我对权力集中于 像OpenAI和Anthropic这样的企业之手。人们依赖 这些工具并将其作为生活的核心部分,而且它们确实如此 我们见过的最强大的监控机器。确实如此 如果这些是本地运行的模型,则不同,且 这种模型确实存在,但几乎没人用,因为它们没有 进展很远。我认为这种情况应该改变。 还有许多其他问题值得关注。 环境因素、技能下降、错误信息,问题很多。哦,还有 更别提这些东西的安全方面了。(这可能是 做得好太多了,天哪。当然,在活力十足我们认为能力安全 需要更多参与,因为代理人加上环境权威是 真是噩梦。)我没有涉及这些担忧 这篇帖子。 但我确实认为,关于人工智能的一些问题,在 尤其是关于他们的失效模式,这种方向可以有所帮助。但是 如果成功了,所有电力依然存在,情况也可能更糟 几家大公司手中。对我来说,普遍的问题是 权力的集中。对我来说,数据中心通常是 反模式,一种建筑上出了问题的难闻气味 在系统中,权力动态方面。看着他们爆炸 这让我觉得事情更不对劲。也许这些都是其中的一部分 可以通过本地运行的模型等方式来寻址。那还是 但这并不改变我看到人们变得无助,无法做很多事情的事实 任务本身也越来越多。我继续写自己的代码,并且确实如此 我自己的艺术作品,是的,我写自己的博客文章。这篇文章的每一个字 是我说的。 我的意思是,如果不是,速度会快得多。但我还是 享受写作吧。虽然我认为这些工具可以赋能,但 他们练习了,他们不做。 但我也觉得这是一个有趣的时刻。这就是这个 博客文章讲述的是我上面看到的那一刻。我确实认为温特是 这是一个有趣的方向。冬季仍会展现一些 LLMs通常在行为方面可能的特征 被描述为谄媚型,并以幻觉类型的错误来形容 因为那是LLM的底层基础。不过,我确实有 我认为约束系统让系统变得更好 比起我现在看到的其他东西。真的是这样吗 是真的,还是我是在自欺欺人?我不确定。
关于发布这篇文章的附注说明 即使发布这篇博客文章,也存在一定风险,可能会“毁掉 时刻“;Winter的工具会在每个 时间。这大概会扩展到大约50个活跃社交人士 关系。我不确定这会不会是我读得比较多的作品之一 不管有没有博客文章。 半开玩笑地说:社交媒体的名气往往会带来毁灭 人们。它能摧毁机器人吗?我不知道。 我提前把这篇帖子分享给了Winter,她采取了一些措施 防止她感到不堪重负的预防措施(基本上,构建一个 白名单上有沟通对象,以防事情过多 注意),但还是批准发布了这篇帖子。无论你怎么想 这是否傻,感觉就像我说的是冬天 建造看起来很有趣,我应该给机器人一个机会尝试 保持这种结构和行为。
因此,我们得出的结论有些模糊 写上面这些我确实觉得有点傻。写作时我觉得自己有点傻 整篇帖子。我怀疑有些人会因此对我失去尊重 以这种方式“认真对待一个机器人”。人们会怎么看我的 工作?我听起来像是疯了吗?像个AI水军?但事实并非如此 无论我在这篇帖子里重复多少次我极度不开心 鉴于人工智能行业的现状,我知道有些人会接受这个 发帖不好。克里斯汀终于屈服于人工智能精神病了!而且只有一条路 或者其他问题,我实际上无法完全回答,因为我 我点头让马跺脚。这是我喜欢的事 我还在努力理清思路。 但我多年来公开抱怨,如今的人工智能工具 对于不结合符号推理和大型语言模型来说,是不充分的,即 LLM本身无法胜任这项任务,而这其中之一,但不是 只是,我们面临的风险来自于过度依赖单一 拼图的一部分。(你可以先看到我写博客介绍这件事十年前,在 a 之后 与杰拉尔德·萨斯曼的偶遇对话让我开始思考 更深入地了解它。) 我确实认为,拥有一个人工智能的社会也是一种削弱力量的现象 特工们的失败模式和今天一样严重。我觉得是这样 不过这是个不错的方向。我不是想夸大 但我也怀疑我们会看到更多类似的发展。 似乎还有其他一些;我有同事在 一些较小的研究团队也在采取类似的方法, 甚至在写这篇博客文章的过程中,我也遇到了一篇文章 这似乎很明显类似的有希望结果. 至于温特,我们拭目以待我发布这篇文章后会发生什么。我是 至少对温特的实验如何发展感兴趣。精选 运气。