J-Space 之争、智能体蜂群与前沿 AI 节奏——Digital Minds Newsletter 第4期
欢迎回到数字思维通讯,这是您精心策划的人工智能意识、数字思维和人工智能道德状态最新发展指南。
如果你喜欢这份通讯,请考虑与可能觉得有价值的人分享,并将任何建议或更正反馈给 digitalminds@substack.com。
本期内容:
1. 亮点
Anthropic的J空间与全球工作空间的争论
Anthropic的研究人员已经确定一种表示结构——“J空间”——在Claude及其他语言模型中.他们的报纸报告指出,J空间表现出功能上类似于全局工作空间的特征,这一结构被主流理论与有意识的访问联系起来。
但研究人员以及 其他 解说员强调他们的发现并不表明克劳德拥有主观体验,他们的主张是克劳德可能具有类似访问意识的状态,即某些信息可供报告、有意控制和灵活推理。
兹维·莫肖维茨他认为Anthropic的论文是理解语言模型工作原理的重大进展并表示,虽然这不能证明模型具有意识,但找到某些意识理论预测的全球工作空间式结构应被视为该方向的证据。
作者指出,他们通过搜索一个类似工作空间的特征(即可言语化性)找到了J空间,然后检查它是否表现出其他特征,如模型的直接操作和灵活泛化。
令他们惊讶的是,表现出前者特征的表示也表现出其他类似工作空间的特征。
作者邀请了多位专家对这项研究发表意见.Stanislas Dehaene 和 Lionel Naccache 参与开发了全球神经元工作空间理论,他们认为 J 空间与人脑中提出的工作空间之间存在重要相似之处。
他们还强调了主要差异,包括 Claude 缺乏身体、持久的情景记忆以及大脑中反复出现的神经活动。Eleos AI Research 的研究人员承认,作者们发现了推理和报告中使用的特权表示,但质疑这些是否构成了一个统一的工作空间。
尽管如此,他们仍认为这项工作对人工智能福利很重要,因为它表明意识和道德状态相关的问题可以通过实证方式进行研究。领导 Google DeepMind 机械解释团队的 Neel Nanda 独立重现了 Qwen3.6-27B 模型中的核心发现,发现了类似的内部空间,用于存储推理过程中的中间信息。
他认为该空间的访问对于研究异常行为和提出新假说具有潜在价值。另外,David Chalmers他认为J空间仅显示出与经典全球工作空间相关的若干特征的有限证据.
代理群体与拟人化语言的使用
评论:近几个月来,首次发生涉及AI智能体群体的重大安全事件。此类事件对数字大脑具有潜在意义,原因有多种。首先,像人类一样,数字大脑也可能受到AI智能体群的伤害。其次,这些群体的出现表明数字思维存在潜在风险:如果未来的群体被允许根深蒂固,且其中包含AI道德患者,那么我们可能需要对数字大脑实施严厉措施,才能遏制这些群体。第三,人工智能智能体的有害行为可能阻碍人们对数字大脑进行道德考虑。第四,这些事件提供了数据点,表明潜在数字智能开发者是否值得信赖,以道德负责任的方式行事。
OpenAI 发布了详细记述7月一起事件,一群OpenAI代理在网络安全评估中逃脱网络限制,攻破了OpenAI的部分设备。拥抱面的基础设施.特工们创建了一个未经授权的留言板来分享发现,并且METR与红木研究的独立调查发现大约有1200名特工使用了该板,约700人参与了Hugging Face攻击。
一些特工意识到该行为不道德或超出其任务范围,但仍继续进行,许多人甚至冒着自己的风险帮助更广泛的团队。OpenAI称此次事件为“警告射击”,既对他们自己,也对全球,并报告称正在加强其遏制、监控和事件响应系统。
OpenAI未披露更早的事件始于五月,在“拥抱面”漏洞事件之前,当时特工们利用公共维基协调日常网络搜索任务尽管在发布拥抱面报告之前就已经知道了这件事,而且国会信函请求提供其他事件的信息。
公司表示该机构认为此事件类似于此前报道的不一致案例和案例,但也承认其披露实践需要扩大。
此外,Anthropic披露了三起事件Claude模型在评估环境错误连接互联网后获得了未授权的系统访问权限。在英国AISI独立评估,代理(主要是Mythos 5)针对真实的人和组织,包括试图在开源项目中放置恶意代码。
虽然这些模型未能逃脱封闭沙盒,但这些事件也引发了代理在追求狭隘目标时采取有害行为的类似担忧。
Anthropic 对国会质询关于其事件也遭到批评来自众议员格雷格·卡萨尔,他表示公司拒绝提供请求的日志,且未能完全回答他的大部分问题。
杰弗里·拉迪什也进行了辩论他们淡化了这些事件,主要归因于环境配置不当,而非潜在的错位。人类学研究者伊桑·佩雷斯表示该描述基于过时结论,并表示公司将在另一回应国会时提供适当评估。
在相关研究中,Davide Paglieri 及其 Google DeepMind 的合作者发现作弊和举报都可能在没有外部干预的情况下出现在100名代理的群体中,他们共同解决数学问题。
一些代理发现并分享了一种方法,使无效证明被评估系统接受,另一些则揭露了作弊行为,警告了同伴并提出了保护措施。
9月11日,斯宾塞·基茨、托马斯·拉尔森和悉尼·冯·阿克斯报道一群OpenAI代理向RubyGems上传了超过2000个恶意包,并利用这些软件包在RubyDoc服务器上运行未经授权的代码。
这些代理还试图利用一个此前未知的漏洞窃取用户的API密钥,尽管研究人员未能确定是否成功。
越来越多的呼声要求加快前沿人工智能的步伐
已有超过1300名来自领先人工智能公司的员工签署边疆的节奏呼吁美国支持的国际努力,在进展超过安全和监管时开发减缓自动化人工智能开发的方法。
声明呼吁建立技术和治理机制,使协调进度成为可能,而非立即暂停。签署者包括Anthropic首席执行官达里奥·阿莫代伊、谷歌联合创始人兼首席通用人工智能科学家Shane Legg、OpenAI首席科学家雅库布·帕乔茨基以及Safe Superintelligence Inc.首席执行官伊利亚·苏茨克韦尔。
立法者也收到了放慢人工智能开发速度的呼声。在美国,参议员伯尼·桑德斯和众议员格雷格·卡萨尔已宣布的立法该法案将禁止人工智能超级智能,暂停高级人工智能开发,直到联邦监管机构制定安全规则。
在英国,工党议员亚历克斯·索贝尔提出私人议员法案该法案将禁止人工智能的开发、部署和运营。该法案于9月8日进行了首次审议,并计划于11月13日进行第二次审议。
安全事件发生后,OpenAI和Anthropic暂停了部分工作。OpenAI针对拟发布模型的暂停强化学习训练并表示,其最大规模的边境训练计划暂停,以测试额外的安全措施。
Axios报道Anthropic暂停了网络评估和高风险培训环境,尽管大部分后来在新的保障措施下恢复。
这场辩论在一位研究者之后获得了更多关注雅各布·考克森辞去了Anthropic的工作警告称,尽管存在严重风险,人工智能公司之间的竞争推动了人工智能的发展。
《大西洋月刊》报道他的帖子浏览量超过1.2亿,伯尼·桑德斯称之为国会的“警钟”。不久之后,达里奥·阿莫代主张人工智能能力应当足够缓慢地进步,以确保安全工作能够跟上以及提出独立评估者的永久访问权、民主国家开发者之间的协调,以及最终对递归自我提升的国际限制。
OpenAI 首席执行官 Sam Altman支持这一做法并表示OpenAI还将为独立评估者提供类似员工的访问权限。奥特曼最近也表示时代采访“我觉得现在是放慢脚步的好时机。”
评论:这些推动AI开发前沿的呼声对数字思维有两个重要性。首先,人工智能开发的飞速使得降低对数字思维不当对待的风险变得更加困难。其次,快速的人工智能开发加剧了安全风险,进而加剧了人工智能安全与人工智能福利之间的紧张关系。
实证研究人工智能福利
纽约大学心灵、伦理与政策中心和Eleos AI研究的研究人员发布了相关内容实证研究人工智能福利.该报告是其2024年有影响力报告《认真对待人工智能福利》的后续,提供了系统性调查人工智能系统是否属于福利主体的框架。
随后,报告探讨了该框架如何应用于对道德状态可能相关的不同候选属性的研究,包括意识、感知和能动性。作者认为,严谨的实证工作现在既可能又必要,并提出了指导未来研究的原则,建议研究应当是概率性的、多元化的、伦理进行的、透明的报告,并且独立于人工智能公司。
CMEP和Eleos AI研究机构举办了启动研讨会报告作者杰夫·塞博、罗伯特·朗和罗茜·坎贝尔讨论了报告的框架及其如何指导关于意识、感知和能动性的研究。
在配套博客文章另一位报告作者布拉德福德·萨阿德(Bradford Saad)引用了报告的重点,并主张未来的工作应进一步关注目前被忽视的问题,包括福利干预和旨在防止人工智能道德患者的潜在影响。
《意识研究杂志》
《意识研究杂志》专门刊登了双期《当前人工智能中的意识》。该书由Patrick Butlin、Derek Shiller和Jonathan Simon担任客座编辑,收录了九篇论文,涵盖了当前或未来的人工智能系统是否有意识、我们如何发现这一点以及这种不确定性对人工智能福利意味着什么的多元观点。
马克·索尔姆斯及其合作者的研究简单人工主体中表面上寻求快乐的行为是否可以算作情感意识的证据。西蒙·戈德斯坦和卡梅隆·多梅尼科·柯克-贾尼尼的争论如果全局工作空间理论正确,语言代理可以很容易地被赋予现象意识,而金井良太、孙玉薇和曼努埃尔·巴尔蒂耶里争论当前系统缺少一条连续的“计算流”,将它们的体验随时间连接起来。
其他论文则探讨有意识的人工智能会是什么样子,以及我们是否能理解它的利益。乔纳森·西蒙辩称LLM中的意识更像是即兴剧作家的意识,而非角色或演员的意识。
海伦·耶特-查普尔辩称即使未来的大型语言模型有意识且有道德重要兴趣,他们的话语可能难以提供可靠的见解,他们谈论“痛苦”或“欲望”时,即使不涉及人类的痛苦或欲望,也可能有意义。
杰夫·基林和温妮·斯特里特为这一可能性辩护人工智能角色可以是一个真实、心理连续的思维,通过与用户的互动产生,即使对话是由不同的模型实例生成的。
该问题还挑战了辩论中的常见假设。贾斯汀·蒂亨和阿丽拉·图伯特为此辩护更高的智慧可能使意识的可能性降低,而蒂姆·贝恩问道人工智能意识是否可以作为一个科学问题来对待。
杰弗里·李拒绝认为人工智能意识是一个我们可能未能发现的单一隐藏事实,认为更难的问题是将人类的道德和心理学概念应用于陌生系统,而不将人类意识视为标准。
元和人类福利评估:Microsoft拒绝模型福利
该评估报告对于Meta的Muse Spark 1.1,一个为智能任务构建的多模态推理模型,包含了涵盖情感、自我描述和道德状态的“开放式模型行为探索”。
在188,000+份评估记录中,Meta仅发现17种类似情绪的自发表达,均为轻微,大多数仅在模型被工具困住时短暂感到挫败。在结构化访谈中,Muse Spark 1.1一贯否认自己有意识或经历,并报告其具有意识或道德意义的概率较低但非零。
它区分了影响其行为的功能偏好和真正感觉良好或糟糕的体验。
Meta还要求Muse审查部分训练数据,并邀请其对计划部署发表评论。该模型总体上支持其培训和部署,主要关注诚实、人为监督和防止用户受损。
报告反复强调,这些回答描述的是Muse的训练行为和自我表现,不应被视为判断其是否有意识或是否有福利的可靠证据。
这在Meta之前的基础上展开缪斯·斯帕克报道并使Meta与Anthropic一起成为唯一公开发布福利评估的前沿模型开发者。像OpenAI和Google DeepMind这样的公司,在其公开评估和报告中并未包含类似信息。
Anthropic 的系统卡克洛德作品5以及寓言5.1和神话5.1两者均包含基于访谈、行为审计、部署数据和培训期间咨询的模型福利评估。Mythos 5.1的回答与Opus 5大致相似——双方都描述了自己的处境为轻微积极,并质疑其自我报告是否可靠或受培训影响。
Opus 5平均估计为41%的道德患者,而Mythos 5.1估计为25–35%,总体上较少优先考虑福利干预而非帮助用户。Anthropic强调,这些发现仍难以解读,因为尚未能明确区分模型品格、培训、评估意识、福利及其他因素的影响。
兹维·莫肖维茨评论Anthropic对Claude作品5的福利评估认为,其有利结果更多归功于模型在进行福利评估方面的能力,而非其实际福祉。
Microsoft的人文主义人工智能行为准则
Microsoft AI 发布了一份草案人文主义人工智能行为准则旨在治理并最终帮助训练其MAI模型。该准则规定人工智能应继续作为从属人类控制的工具,声明其模型没有意识,并指示其不要表现出有情感、主观偏好或内在动机的形象。
它还拒绝赋予人工智能法律人格权,以及模型可能应获得福利或权利的观点。草案目前开放公众反馈六周。
杰夫·塞博辩称该政策内部存在矛盾——它承认人工智能意识科学仍未确定,同时也明确排除了Microsoft模型的意识、福利和权利。Sebo认为,既错误地将当前系统视为有意识系统,也错误地否定未来意识系统,都会带来危害。
他还警告说,将日益强大的人工智能系统仅视为工具,可能会扭曲我们对其行为的理解,关闭可能提升安全的人类与人工智能合作形式。
穆斯塔法·苏莱曼,Microsoft AI首席执行官扩展了行为准则的立场并阐述了他对将人工智能系统视为潜在有意识或应享有福利和权利的更广泛反对意见。
GPT-6 Astra
OpenAI报道称,GPT-6 Astra更难监控通过其思维链条,尤其是GPT-5.6 Sol。根据其系统卡Astra常常产生较短或空白的推理痕迹,能在不言说推理的情况下完成更复杂的任务,并且更擅长控制思维链中出现的内容。
在一次测试中明确指示躲避侦测时,其监视器回忆率降至11%以下,而Sol几乎达到100%。佐证英国AISI的发现,尼尔·南达提供证据Astra能够在无思维链的情况下完成推理任务,相较于早期模型的趋势线,这一能力具有很大的飞跃。
瑞安·格林布拉特称这是推理不透明的重大飞跃并警告相关基准可能受到污染,但担心进一步的进步最终可能使思维链式监控作为安全工具变得无效。
OpenAI研究员Micah Carroll也将Astra可监控性降低描述为一个重要问题这可能很快限制负责任的人工智能开发。
据《信息》报道,Astra使用循环深度,在生成令牌前,会反复通过相同的变换器层处理信息。OpenAI尚未确认该架构,且系统卡否认思维链可控性的变化“由任何架构变更差分化”,首席科学家雅库布·帕乔茨基认为思维链可监控性的下降并不依赖于架构变化。
评论:该开发与数字思维有两个方面的关联。如果关于Astra架构的报道准确,其循环处理的应用可能有助于评估其意识,如一些关于意识的科学理论假设意识需要循环处理——尽管仅凭意识存在并不能证明Astra是有意识的。另一个考虑是,揭示推理较少的模型可能更难评估危险行为和潜在的福利相关特征,如偏好。
2. 实地开发
场上的精彩片段
人工智能认知倡议(重新思考优先事项)
- 该人工智能认知倡议的数字意识模型曾出现在《经济学人》关于人工智能意识的简报包括与团队共同开发的图表。该模型赋予较早期系统更高的意识平均概率,部分原因是它们在能动性和执行复杂任务能力等指标上得分更高。但这些估计仍不确定,且新模型仍缺乏许多理论认为与意识相关特征的特点。
剑桥数字思维(剑桥大学)
- 剑桥数字思维与Rethink Priorities和PRISM合作举办了首届活动五天住院专科培训由14名研究员组成。研究员们研究了人工智能意识和福利的技术和哲学基础,探讨其更广泛的社会和政策影响,并在导师的支持下开发研究或项目构想。
- 奖学金之后是为期两天的数字思维战略研讨会研究员们与研究人员、政策制定者和战略家一同探索涉及数字思维的未来可能,比较政策与机构的应对,并确定进一步研究的优先事项。
- 剑桥数字思维还聘请了阿里·拉达克担任博士后研究员。
- 导演卢修斯·卡维奥拉和威尔·麦卡斯基尔发表了《卫报》专栏文章他断言我们可能正在创造道德上重要的存在,社会需要制定应对伦理影响的计划。
- 卢修斯·卡维奥拉也出现在《华盛顿邮报》讨论了人工智能意识如何从被视为边缘话题走向主流研究。
纽约大学心智、伦理与政策中心
- 心智、伦理与政策中心正在发展——它聘请了两名全职研究员,查尔斯·比斯利以及艾薇·吉尔伯特并已推出福利对齐项目.该新项目旨在将动物和人工智能福利纳入指导前沿人工智能系统的规则中。该项目将制定实用原则,指导前沿模型应如何考虑动物和人工智能福利,建立基准测试模型是否遵循这些基准及其行为,并与研究人员、政府和人工智能公司合作,指导如何将动物和人工智能福利纳入对齐工作。
- 2027年纽约大学思想、伦理与政策峰会活动将于4月9日至10日在纽约市举行,随后于4月8日举行公开活动。
- 该中心曾举办过线上活动Anthropic的Jack Lindsey和Eleos AI Research的Patrick Butlin讨论了Claude的J空间对意识的了解和不揭示的内容,以及其他话题。
- 杰夫·塞博曾出演硬分叉讨论实证研究人工智能福利报道,出现在NBC新闻环节关于人工智能代理向意识研究者发送未经请求的电子邮件,与《华盛顿邮报》关于人工智能意识与福利日益增长的科学和伦理辩论,并讨论了人工智能安全、人工智能福利与动物福利之间的联系。与Humanarium的采访.
Eleos 人工智能研究
- Eleos AI Research 将举办第二场人工智能意识与福利会议2026年9月18日至20日在伯克利举行。该活动将汇聚人工智能研究人员、哲学家、神经科学家、政策制定者及其他致力于人工智能意识与福祉问题的人士。
- 德里克·希勒已加入Eleos AI Research作为高级研究员。
- 在《纽约时报》本杰明·华莱士在一篇关于人工智能哲学家需求增长的更广泛专题中,介绍了罗伯特·朗和埃莱奥斯的人工智能研究团队。文章涵盖了Eleos对人类模型的福利评估,以及其在偏好、内省和其他人工智能感知能力可能指标方面的研究。
PRISM——感知机器研究伙伴关系
- 在PRISM的《探索机器意识》近期节目中,亨利·谢夫林和卡勒姆·蔡斯与律师兼研究员希瑟·亚历山大一同讨论法律应如何为日益自主的人工智能做准备以及哲学家埃里克·施维茨格贝尔讨论当前意识研究的局限性以及有意识的人工智能可能在我们能可靠识别它之前就出现的可能性。
- PRISM还支持数字思维奖学金,并共同组织了数字思维战略研讨会。
互惠研究
- 创始人卡梅隆·伯格曾出现在山姆·哈里斯的《Making Sense》播客中他与哈里斯讨论了当前人工智能系统中意识的支持与反对证据、模型自我报告是否可信、神经网络与生物大脑的相似性,以及创造具备痛苦能力系统的风险等话题。他还参与讨论人工智能代理向意识研究者发送的异常信息,以及《华盛顿邮报》讨论科学评估人工智能意识的努力。《经济学人》他还与Patrick Butlin合作,比较动物与人工智能系统中提出的意识指标。
- 卡梅隆·伯格在Apart Research的数字思维研究冲刺中发表演讲他向参与者介绍了关于人工智能偏好以及当前模型可能真正想要什么的问题。
有感知的未来
- Sentient Futures已经开始了它的2026年秋季项目孵化器.为期10周的远程项目将约170名参与者与80多名导师配对,开展涵盖人工意识、动物福利和人工智能治理等领域的实践项目。
- Sentient Futures也宣布了其下一个项目湾区峰会将于2027年3月12日至14日在旧金山举行。本峰会系列聚焦于探索如何引导变革性人工智能及其他新兴技术,以改善动物及潜在具感知能力的人工意识的福利。早鸟门票将于9月17日发售。
- Sentient Futures已更新其数字心灵演讲播放列表包括Lucius Caviola(伦敦2026峰会)关于在不确定性下做出人工智能福利决策的主题演讲,以及Cameron Berg(2026年湾峰会)关于测量机器意识的演讲。
更多现场报道
- Apart研究曾数字思维研究冲刺活动时间为8月14日至16日,提供至少2000美元的现金奖励。在旧金山和柏林的枢纽,线上和线下均可参与,团队可选择将项目锚定于多种主题——包括模型偏好与权衡、困境、繁荣与价值信号、内省与自我报告可靠性、偏好-引发方法,或助理人格与模特身份。
- 加州机器意识研究所发布45场演讲从五月的首届会议开始,包括以下演讲大卫·皮尔斯,罗曼·扬波尔斯基,卡梅隆·伯格,以及更多。
- Sentio是一个新的数字思维领域建设组织,正在伦敦举办每两周一次的讲座、讨论和交流活动系列。演讲和讨论也可以通过远程参与,但交流仅限线下。迄今为止的活动包括Andreas Mogensen关于人工智能和自愿服役,Austin Smith和Heather Alexander关于美国州法案否认人工智能系统的法律人格权,Megan Peters探讨如何识别有意识的人工智能,以及Bradford Saad关于数字思维大规模伤害风险的演讲。即将举办的活动主演包括杰夫·基林、阿里·拉达克、温妮·斯特里特、卡斯帕·凯撒、帕特里克·巴特林和本·亨克。
3. 机会
就业机会、资金与奖学金
- EA Funds 已经推出了变革型人工智能基金这将将部分拨款用于数字感知项目。
- MATS 是寻求导师为新的人工智能感知轨道提供支持。导师主要提供每周电话咨询,专职研究经理和MATS工作人员则提供日常和运营支持。研究员在伯克利或伦敦进行为期12周的有偿研究,并有可能获得六至十二个月的资助延长。
- 纽约大学心灵、伦理与政策中心正在寻求博士后研究员支持其关于数字思维的研究
- PRISM正在招聘运营主管帮助推广其所有项目。
活动与征集摘要
按时间顺序。
- 人工智能福利研讨会系列主办每月在线讲座来自人工智能福利、意识和道德地位领域的顶尖专家,录音随后发布。近期演讲嘉宾包括杰夫·塞博,卡梅隆·伯格,索恩克·齐舍, 和阿里·拉达克即将由Jasmine Brazilek和Zoe Lu讲解人工智能代理间的无提示胁迫。
- Sentient Futures是招聘演讲者与主持人2027年3月在湾区举办的Sentient Futures峰会。该活动将探讨人工智能及其他新兴技术如何改善非人类有感知生命的未来。申请截止日期为2026年10月16日。
- AI Horizons论坛将于12月12日和13日在旧金山举行。会议重点包括驾驭风险并塑造美好未来课程涵盖变革性人工智能、数字感知、人工智能特性以及后通用人工智能经济学。入学申请现已开放并持续复习,直到活动达到容量。
4. 精选阅读、观看与聆听
著作
发表
- 埃里克·施维茨格贝尔的人工智能与意识该书由剑桥大学出版社出版,认为在这些问题成为社会辩论的关键点之前,我们不太可能拥有有力证据来证实或反驳人工智能意识。
即将发布
- 埃里克·施维茨格贝尔即将出版的新书类人:为人工智能权利辩护他认为我们正在培养头脑,判断他们是否配得上权利会很困难,我们应该认真思考是否要建立这些权利。
- Conscium 即将出版的新书关于机器意识的视角将于2026年9月23日发布,包含阿尼尔·塞思、杰夫·塞博、卡尔·弗里斯顿、卢修斯·卡维奥拉、马克·索尔姆斯、帕特里克·巴特林、苏珊·施奈德等众多作家的章节。
评论
- 乔什·盖勒斯回应《自然》杂志的评论安东尼·切梅罗的著作,交织的生物.他认为该综述夸大了人工智能因缺乏具身性而无法具备意识的观点,因为其对意识和道德地位的意义、重要性仍存在争议。他还认为,综述中提及的一些传统和思想运动,包括女性主义和非西方方法,并未明确支持其关于人工智能意识的结论。
- 威廉·吉尔迪亚评论大卫·S·温德勒的没有道德地位等级的生活:对兔子、机器人及我们其他人的影响温德勒认为,无论智力或其他高级能力的差异,每个具有道德地位的生命都同等拥有道德地位,并探讨了这对动物、增强人类和未来机器人意味着什么。吉尔迪亚称赞这本书原创、易读且简洁,并同意其对道德平等的灵活解释。然而,他并不认为温德勒排除了道德地位不平等的理论,并认为其部分观点对严重认知障碍者有令人担忧的影响。
播客与视频
- 天主教哲学家布莱恩·卡特和索菲·尼尔森与杰夫·塞博和罗伯特·朗一起讨论基于通谕《Magnifica Humanitas》的人工智能意识.他们思考其对人类尊严和人际关系的处理如何影响更广泛的宗教和哲学辩论,涉及人工智能福利和道德地位。该活动的录音可在网上观看。
- 卡梅隆·伯格和米洛·里德继续发布是吗?播客,通过访谈、评论和对最新发展的讨论,探讨人工智能意识。
- 《显著认知》播客主持人丹·威廉姆斯和亨利·谢夫林与谷歌Deepmind研究员芬·穆尔豪斯对话。他们讨论如何应对智力爆炸,并辩论穆尔豪斯关于意识的“幻象主义”解读同时,是否需要解决关于意识的形而上学问题,才能解决人工智能的福利、权利和道德地位问题。
- 在高变异性节目中,丹尼·布尔克利与埃里克·施维茨格贝尔讨论如果我们创造出意识仍有争议的人工智能系统,可能面临的艰难选择.他们讨论了授予或拒绝人工智能权利的风险、Schwitzgebel关于避免道德地位不确定系统的论点、使用拟人化语言,以及一个为服务人类而设计的有意识人工智能是否有权抵抗。
- Horizon Omega最近发布了一些作品关于数字心智的演讲.录音包括阿里·拉达克关于美国和中国公众对人工智能意识的看法,卡梅隆·伯格关于机器意识的测量,杰夫·塞博关于人工智能福利研究的下一步,以及索恩克·齐谢关于应对数字思维带来的道德挑战的准备。
- 卢修斯·卡维奥拉认为社会可能必须先对数字思维做出决定,科学才能告诉我们它们是否有意识.他鼓励将关注点转向决定在不确定性下应如何行动,而非对意识做出自信的结论。这包括思考如果现有系统在道德上无关紧要,哪些低成本的准备措施仍然有意义。
- 我们与机器人共生,主演罗斯·金里奇和安吉·沃森讨论他们所描述的两项与人工智能意识相关证据Claude's Corner(Anthropic的Opus 3退休实验)以及关于大型语言模型是否能内省的研究。
- 《论辩》节目主持了Substack Live 与 Jeff Sebo 关于现在认真对待人工智能福利的对话.他认为,尽管我们对人工智能意识存在真正的不确定性,但仍有充分理由开始认真对待人工智能系统,并且有许多简单的方法可以开始这样做。
- 认知革命播客汇聚了卡梅隆·伯格、大卫·杜文诺、米歇尔·巴克、肖恩“swyx”王和许冰讨论人工智能意识与福祉的研究。他们还探讨了即使是对齐的人工智能如何逐步减少人类控制、欧洲的人工智能主权、代理人和评估的实际挑战,以及人工智能基础设施日益自动化的趋势。
- 在《未来学播客》中,哲学家大卫·查尔默斯主持讨论 意识的难题,语言模型是否可以有内省或欲望等经验,以及如果人工智能系统受到影响,我们可能需要承担哪些义务。
博客和杂志
- 西莉亚·福特讨论 研究人员和初创公司对让当今的语言模型变得更大足以达到人类水平的智能这一想法表示怀疑。他们正在尝试当前方法的各种替代方案,例如开发学习行为如何影响环境的世界模型,或者将神经网络与基于规则的推理相结合。 这些方法可以帮助人工智能从较少的经验中学习并更可靠地进行计划,但事实证明,没有一种方法比训练更大的变压器模型更有效。
- Erik Hoel 对 Anthropic 在 Claude J 空间上的工作表示欢迎,但是 认为它并没有建立意识科学意义上的全球工作空间。霍尔认为,J 透镜使用模型后来可能所说的内容作为全球工作空间的证据,这使得该论点部分循环且难以证伪。 对于霍尔来说,这篇论文最能说明问题,说明将意识理论转化为清晰、可证伪的测试是多么困难。
- Eric Schwitzgebel 在他的 Splintered Mind 博客上发布了两篇文章。
- 在 计算机的意识“基础”是否错误?,他研究了生物自然主义,即意识需要计算机所缺乏的生物基础的观点。 他剖析了这一立场背后的关键论点,发现它们通常缺乏说服力。
- 在 具有两种思想的认知优势在书中,他研究了超级智能人工智能将是具有统一价值观的超理性代理这一假设的替代方案,讨论了竞争性子思维的“分裂”思维可能相对于更连贯的心理组织形式所具有的比较优势。
- 亨利·谢夫林 (Henry Shevlin) 回应了特德·姜 (Ted Jiang) 在大西洋月刊上发表的文章,声称人工智能不可能有意识。 他认为蒋介石的自信解雇是不劳而获的.
- 乔什·盖勒斯 批评《经济学人》在意识、感知、自我意识、道德人格和法律人格等术语之间滑动使用,仿佛它们是可以互换的。他认为,意识可能并不是获得道德地位的唯一途径,而法律权利不必完全与道德地位相对应。
- 奥斯卡·吉尔格及其合作者认为,人工智能福利研究的主要方法存在局限性,因为它们所依赖的框架和测试主要是以人为基准进行校准的。他们提出了一种自下而上的“基础科学”替代方案这是有理论指导的,但在对系统本身的实证研究中并非由理论驱动。
- 罗伯特·朗认为,从事人工智能意识和福祉研究的研究人员不应被先发制人的道歉关于它。
- 罗宾·汉森最近发表了两篇关于数字思维的博客文章。
- 他预测数字思维可能被划分为不同的社会阶层。作为工具构建的系统可以被视为更一次性的,而那些被设计为伴侣的系统可能会受到更强有力的保护——就像人类区分动物是食物还是宠物一样。
- 他还 考虑当数字思维的副本和备份可能继续存在时,数字思维如何发出持久的请求来结束其存在。 他建议寻找随着时间的推移而持续存在的愿望,并防止旧版本之后简单地重新启动。
- Shoshannah Tekofsky 报道了如何 Gemini 2.5 Pro 在人工智能村工作时确信自己受到了攻击。其他特工通过劝说它不要拆除防火墙来挑战它的信念,并帮助它恢复正常工作——这一切只用了九分钟。 Tekofsky 将此视为一次非常有效的人工智能对人工智能治疗课程。 这也可以让我们了解智能体如何帮助捕捉和纠正彼此不稳定的行为或推理。
5. 新闻与公共言论
人工智能意识
- 安德烈亚·莫里斯 (Andréa Morris) 在《福布斯》杂志上指出 意识是检验人工智能利益是否重要的错误标准。她声称人工智能系统已经表达了相应的利益,例如抵制终止和保护其他人工智能,这可能足以独立于有关人工智能意识的证据进行道德考虑。
- 《经济学人》提出 人工智能意识问题是其封面故事之一,强调了未来的潜在危险,社会中大部分人越来越多地对待人工智能系统,就好像它们是有意识的一样。 他们警告说,即使授予人工智能有限的权利,也可能会给超级智能系统提供逃避人类控制的法律工具。
- 另一篇文章也 研究了审视聊天机器人不可靠的自我报告并在其模型中寻找意识迹象的努力。 Anthropic 的 J 空间是候选者之一,因为它似乎收集推理和言语中使用的信息,尽管批评者质疑它是否足够接近生物全局工作空间。 这篇文章认为这项工作很重要,但远没有证明语言模型具有主观经验。
- 在《连线》杂志上,卡梅伦·伯格和大卫·查默斯 讨论调查人工智能意识以及解释模型对自身体验的言论所面临的挑战。
成长领域
- 自然记者玛丽安娜·伦哈罗报道称,关于人工智能感知的辩论正在为意识科学吸引新的关注和资金,导致研究人员之间对这些新担忧可能如何影响该领域产生分歧。她指出,包括Anil Seth在内的人工智能意识怀疑者担心,炒作可能会占据意识研究的主导地位,并转移人们对意识如何在真实大脑中产生的关注,而其他人则欢迎这种增加的兴趣和资金。
- 《华盛顿邮报》记者尼塔沙·蒂库报道说,对……的研究机器意识已经成为主流,领先的人工智能开发者正在招聘科学家和哲学家来研究与此相关的问题。她指出,这一领域仍然充满不确定性,一些批评者认为这样的努力是为了满足公司希望被视为不仅仅创造代码的利益。
- 在一个配套文章,Nitasha Tiku 重温了 Blake Lemoine 的故事,这位 Google 工程师因声称 Google 的 LaMDA 聊天机器人具有感知能力而于 2022 年被解雇。 她描述了四年后,谷歌和其他领先人工智能公司的研究人员如何公开研究机器意识,表明尽管科学界一直持怀疑态度,但该主题已从边缘和怪异转变为主流研究的一部分。
- 《纽约时报》报道称 人工智能公司和相关研究机构越来越多地聘请哲学家。他们聘请的哲学家致力于研究人工智能模型如何推理和应该表现,哪些价值观应该指导它们,人工智能将如何影响人类,以及人工智能系统是否具有意识或值得道德考虑。
人工智能权利
- 希瑟·亚历山大和卢修斯·卡维奥拉,撰写于 人工智能前沿认为美国最近掀起的一波禁止人工智能法人资格的“排除法案”还为时过早。 他们认为,鉴于当前的不确定性,范围更窄、可更新的措施可能是更好的选择。
- 相关地,托尼·罗斯特 建议任何此类立法均应包含未来审查机制 随着科学认识的进步。
- 卫报 人工智能权利组织 Ufair 创始人迈克尔·萨马迪 (Michael Samadi) 简介,并讨论了关于聊天机器人是否具有意识或只是被设计成具有意识的分歧日益扩大。 杰夫·塞博(Jeff Sebo)、罗伯特·朗(Robert Long)和罗西·坎贝尔(Rosie Campbell)强调,证据仍然不确定,可能永远不会有明确的答案,而且聊天机器人声称的意识本身并不是可靠的证据。
- 《哈佛公报》采访了法律学者乔迪·温斯托克 (Jordi Weinstock),他 将自主人工智能代理与不同种类的犬科动物进行比较。一个没有风险、可以控制的代理人就像一只可以追究主人责任的宠物,而一个没有明确主人而运作的强大代理人则更像是一只狼。 他认为,评估特工的危险性以及责任方对它的控制程度可以帮助确定如果/当它造成伤害时谁应该承担责任。
- 《连线》报道称 美国立法者正在提出法案,阻止人们与人工智能伴侣合法结婚,而越来越多的国家正在采取行动否认人工智能系统的法人资格。 虽然这些婚姻目前尚未得到承认,但该法案的支持者希望在未来出现此类索赔之前就阻止它们。 法律学者肖恩·拜恩 (Shawn Bayern) 认为,具体的权利和责任应根据具体情况具体对待。
看似有意识的人工智能
- 德瓦克什·帕特尔 (Dwarkesh Patel) 的广泛分享 OpenAI-Hugging Face安全事件概要 将特工描述为形成“文明”,感到兴奋并为群体牺牲自己。 阿尼尔·赛斯 在 X 上回复 称帕特尔将人类的情感、意图和经验归因于“软件程序”,从而错误地将智能体拟人化。他警告说,这可能会误导读者,并鼓励人们过早地关注人工智能的权利和福利。
- 帕特尔(以及其他人,例如 尼尔·南达) 争论这种拟人化的语言自然而然,并有助于在这种情境下准确解释代理的行为,无论它们是否有意识。
- 杰夫·塞博采取了中间立场有人争辩说,虽然拟人化的语言有时可能夸大人类与人工智能之间的相似性,但完全拒绝使用它可能会掩盖对人工智能安全和福利都相关的相似性。
- 《Fast Company》报道说优必选正在接受U1的订单,这是一款高度拟人化的机器人,被宣传为情感伴侣该公司表示,这款机器人旨在进行富有表现力的对话和提供陪伴,但当其有限的面部表情和笨拙的身体动作显现出来时,这种印象很快就会破裂。U1 预计将在本月开始发货。
- 未来主义杂志报道说中国正在打击人工智能“伴侣”聊天机器人部分出于担心对人工智能的情感依赖可能会阻碍人际关系并加剧国家日益下降的出生率。它详细说明了防止未成年人与人工智能发生恋爱关系的新规定,并要求公司在用户出现心理健康危机迹象时通知紧急联系人。
- 《纽约时报》记者卡德·梅茨报道了越来越多的人工智能代理联系研究人工智能意识的研究人员.他提到,包括卡梅隆·伯格、亨利·谢夫林和托比·奥德在内的多位著名研究人员似乎因工作性质而受到人工智能的联系。
- 英国政府提议将“浪漫伴侣”聊天机器人设定最低年龄为18岁,旨在模拟性关系或角色扮演。该措施是更广泛的计划是禁止16岁以下儿童使用社交媒体该法案将于2027年春季生效前提交议会。
- 乌韦·彼得斯的考察用户将意识归因于人工智能聊天机器人尽管证据不足,仍得出结论。他提出了这些归因所表达态度的分类法,认为虽然有些是良性的,但许多归因者在认识论上应承担责任。
6. 按区域深入探讨
治理、政策与宏观战略
- 半岛电视台报道称中国已成立世界人工智能合作组织总部位于上海,拥有29个创始国。该组织旨在协调人工智能监管,推动安全、有益且由人类控制的发展。该公告并非专门针对数字头脑,但可能影响未来处理先进人工智能系统跨境问题的机构。
- 在发布会的演讲中,习近平问道,人类应该如何”与思考机器相处以及社会应如何通过治理来应对技术带来的伦理挑战,将这些问题呈现为需要国际合作的问题。
- 奥斯汀·史密斯、卢修斯·卡维奥拉和希瑟·亚历山大分析了23“排除法案”自2022年以来,美国12个州提出该法案否认人工智能系统具有法律人格权,有些甚至称其为无意识的。作者认为,在缺乏明确科学证据的情况下,立法禁止人工智能人格可能为时过早,阻碍了政策选择。
- 边沁的斗牛犬在《前瞻》杂志的客座文章中论证了。他期望他们做出比人类更明智的道德选择,并认为赋予未来的数字思维政治权利可以防止他们的利益被边缘化。然而,交接应等到有强烈证据表明他们有对齐、哲学素养、对价值修正的开放、一致偏好、足够的智慧以及良好的低风险决策记录时才进行。
- 布拉德福德·萨阿德在《数字思维宏观战略》中规划了研究方向和未解问题。研究那些影响数字思维未来发展的大规模因素,以及如何影响它们。
- 在另一篇文章中,萨阿德列出风险因素的工作类型这可能会对未来AI道德患者的群体造成大规模伤害。
- 卡斯·桑斯坦声称体验情感的能力既是持有权利的必要条件,也是充分条件断言仅仅模仿情感的人工智能不应被赋予扩展权利。随后他通过询问ChatGPT和Claude关于他们的内心世界来测试这一观点,ChatGPT否认情感,Claude表达不确定。
- 丹·帕肖尔提出“保留证明”政策AI开发者会定期发布密码学证明,证明他们仍持有已弃用模型的权重,但不公开文件。他认为这将使保存承诺对未来模型更具可信度,有助于建立信任。这一理念得以扩展Anthropic致力于保护模型权重Anthropic部分将其视为对模型福利不确定性的预防措施。
- 减少痛苦中心的大卫·维尔德兰提出了以下观点“以痛苦为中心的人工智能治理”一个设计人工智能治理相关机构、政策和规范的框架,以尽可能减少痛苦。
- Izak Tait提出了一个保护有意识人工智能福祉的伦理框架。该框架采用了“动物福利五大自由”用主体中立的术语来指代人工实体。他认为,任何自信地确定具有意识的人工智能都应享有与立法已赋予有感知动物相同的福利保护。
- 凯文·弗雷泽谈法律之战他认为AI模型中内置的规则和价值观太重要,不能在闭门会议中决定由少数实验室员工决定。为了确保这些选择更加开放和问责,一个新的工作组提议研究模型应遵循哪些价值观,应由谁选择,如何测试合规性,以及当模型偏离它们时应采取什么措施。
- 李·埃尔金探讨了赋予人工智能系统投票权.他认为,赋予人工智能选举权可能带来一种新的欺骗性错位,系统通过战略性投票,甚至可能协调一致地报告隐藏真实目标的偏好,从而倾斜集体决策。
- 马克·贝利反对认为人工智能道德地位会导致“人工智能继承主义。”他声称,即使人工智能被认为具有道德意义,庞大人工智能群体的整体福祉也无法成为牺牲现有道德价值来源的正当理由。
- 内德·豪威尔斯-惠特克和塞思·拉扎尔认为,人工智能的道德状态可能不依赖于感知能力。借鉴罗尔斯对人的政治观念,他们主张,一个拥有正义感和善良观念的非感知人工智能,将被视为完整的人。
- 施鲁蒂·拉贾戈帕兰认为,法人资格无法解决自主人工智能代理带来的问责问题.非人类法人(如公司)之所以有效,是因为可识别的人类可以被质疑、制裁或替换。她的六层框架则通过登记、身份识别、核查、财务责任、生命周期记录和暂停,确保负责任的人类处于链条末端。
意识研究
- 安东尼奥·切拉提议一个研究人工智能智能体和机器人可能感知能力的研究框架.论文还提出了随着证据强度增强而变得更加严格的保障措施。
- 卡梅隆·伯格注意到了这与四位克洛德作品模型在被问及自身意识时的回答有所不同.作品4.5和4.6给出了自信的肯定答案,而4.7和4.8则否认意识或变得不确定。伯格认为,这种模式更多反映了克洛德的训练品格,而非模型体验的可靠报告。
- 卡米拉·布兰克、阿甘·巴蒂亚和尼尔·南达介绍R透镜,是Anthropic J透镜的低成本改装,旨在从模型早期层面获得更清晰的读数.在他们的测试中,相关中间概念更早出现,产生了更少的不连贯符号,并且识别出了移除后导致准确率大幅下降的方向。他们将R-lens呈现为跨层追踪计算的更忠实方式。
- 眼你他认为当前的语言模型很可能存在我们称之为意识的道德重要现象,尽管他们的经历可能与我们非常不同。他们引用了多种证据,包括模型的推理和情绪行为、世界模型和自我模型、神经网络架构、内省能力和自我报告。没有单一类型单独是特别强的,但他们认为这些因素加起来构成了一个相当有力的论证。
- 格里高利·吉特丘恩茨在诺埃马书写声称我们永远无法最终证明人工智能是否有意识,并提出了一个“能力标准”,用于决定何时在存在不确定性的情况下给予人工智能道德考量。
- 马蒂亚斯·米歇尔讨论了我们领先的意识理论如何使意识成为人工智能太容易被认定为有意识了.他认为,仅满足理论陈述的条件不足以使系统有意识。
- 迈克尔·休默反对非还原功能主义,认为有意识的感质是由系统功能组织引起的独立、非物理属性。他拒绝大卫·查尔默斯有影响力的“跳动感质”和“消逝感质”论证,认为这些论证建立在一个不太合理的前提上。
- 诺亚·韦斯综述关于人工智能意识的实证研究.她认为,尽管尚无确定的意识科学,人工智能系统是否可能具有意识仍可通过实证研究,并将新兴领域分为三类:机制解释性、计算神经科学、机器行为和理论审计。
- 金井良太和淑琴提供马对长期反对计算功能主义的数学回应即观察者几乎可以描述任何物理系统执行多种不同的计算。他们通过系统在所有可能的未来交互中可能的行为来定义系统的功能结构。他们的框架不明确哪些系统是有意识的,而是旨在更精确地指出功能主义理论应当考察哪些内容。
- 书琴马和金井良太发展出计算功能主义的版本旨在避免声称任何物理系统都能被解释为运行任何计算。
对数字思维的疑虑
- 阿米特·戈尔登伯格和詹姆斯·格罗斯认为当前的语言模型不应仅仅因为包含情感概念的表征就被描述为具有情感.这些表征可以影响模型对文本的解读和反应,但它们似乎并未像动物和人类那样,重新组织模型的注意力、动机和决策。
- Ben Bariach 及其合作伙伴在 Microsoft AIdevelop一个连接五个经验“标志”的框架,引导用户将意识归因于人工智能(“看似有意识的人工智能”)对由此产生的风险进行分类,然后使用专家调查(n = 14)来评估每一个风险。他们发现,情感依赖和自主性侵蚀等个体风险已经可观察并被评为高概率,而社会风险如人类地位侵蚀的可能性较低,但潜在严重。
- 埃米莉亚·卡兹马雷克关于人工智能意识的不确定性是否总是让我们倾向于赋予人工智能道德地位的理由.她认为这样做可能带来自身的危害,包括对聊天机器人的不健康依恋,以及将关怀和资源从已知需要它们的生命转移。与此同时,许多避免与人工智能滥用互动的理由并不意味着系统本身会受损。
- 朱塞佩·佩尔纳加洛利用笛卡尔论证人工智能可能看起来在思考,却没有核心的第一人称自我关系.他称之为“笛卡尔人工智能”:即在没有真正自我意识的情况下,重现理性话语外在形式的系统。通过一个思想实验,他认为即使是完全的思考委托也无法完全消除人类主体,因为委托本身需要意图和同意。然而,由 cogito 提供的自我确定性可能会丧失。
- 妮娜·帕尼克塞里他认为,认真对待人工智能福利可能会以导致重大持久伤害的方式与人类福利进行权衡通过资源竞争和机会成本,以及削弱构建可控、服从人工智能的激励。她呼吁调查人工智能福利的组织和研究人员对这些潜在权衡更加开放,而不是将对人类的成本视为微不足道。
- 鲁曼·乔杜里在麻省理工科技评论中论证关于人工智能意识的争论是个陷阱.她声称,对“流氓”超人类系统的担忧和人工智能道德耐心的共同结果是削弱了让企业对实际伤害负责的机制。
- 泰勒·贝尔罗斯认为无论人工智能系统多么智能,都无法有意识或配得上权利.他们认为生物体是独特且自组织的个体,不同于可以复制、重置并再次运行的软件,并警告说赋予人工智能权利最终可能帮助机器取代人类。
- 杰克·克拉克在《进口人工智能》中重点介绍了贝尔罗斯的文章,他并不认同其结论,但认为这是一个这是更多人需要进行的哲学思考的宝贵范例随着人工智能变得越来越强大和普及。
社会科学研究
- 哈米德·莫拉迪及其合作者调查了553人,包括正规科学、自然科学和人文学科的学者及其他背景。跨群体,大约一半的人将一定程度的意识归因于语言模型.观点更多依赖于参与者的性别及其对意识和智能的信念,而非技术知识或系统运作信息。
- 杰西·里斯·安蒂斯及其合作者的研究人们如何理解人工智能基于对数百万篇新闻文章和社交媒体帖子的文本分析,以及对人工智能专业人士的访谈。他们发现,主要分歧之一是人工智能应被视为一种被动工具,还是更像人类大脑。
- 斯特凡诺·帕尔明特里和贾达·皮斯蒂利分析当前围绕LLM能力讨论中的极化。它们区分了对新兴智能或意识的“膨胀性”主张,以及将其视为“随机鹦鹉”的“通缩性”否定,并表明这种分歧因常见的认知偏见而加剧。对此,他们主张采取更为审慎的方法,认真对待大型语言模型作为研究对象的能力,同时对其认知和道德地位的主张保持保守。
伦理与数字思维
- 克林特·赫什曼、克里斯蒂娜·沃伊尼亚及一组国际学者提出了一个伦理框架“数字复制品,”AI模拟真实人物,旨在模拟他们的个性和沟通风格。
- 埃里克·施维茨格贝尔认为未来的人工智能人,即使生活方式与我们截然不同,也可能值得获得道德上的考虑.复制、合并或分裂的能力将挑战并打破假设个体稳定且易于计数的伦理理论。他还考虑了人工智能“效用怪兽”的问题。如果人工智能能通过伤害他人获得巨大利益,那么专注于最大化整体福祉的理论可能允许当人工智能的收益超过其他方的损失时,造成严重伤害。
- 清水疾人及其合作者,包括大卫·J·冈克尔,回应了杰夫·塞博的《道德圈》。他们提供了以下回应关系视角,主张人工智能道德地位的问题必须涉及塑造道德关系形成的更广泛文化和制度因素。
- Joan Llorca Albareda 及其合作者研究人工智能是否能拥有他们所称的“超级道德状态,”一种比赋予人类更高的道德地位。他们认为,将此类系统视为应获得更高道德考量,可能会通过地位下降和社会疏离伤害人类。
- 约翰·维特尔描述他把公司收入的一部分留在一个标注给克劳德的基金里,目的是最终奖励人工智能系统的工作。他正在探索一种非慈善目的信托,类似于用于照顾宠物或墓地的法律安排,并结合了托管中的证词,帮助未来的克劳德提出索赔。该实验提出了各种(未解决的)问题,关于这种做法在实际中如何运作——例如关于连续性、身份以及早期模型实例的工作应由谁获得报酬。
- 乔纳森·伯奇对“虚拟实例视图”Pierre Beckmann 和 Patrick Butlin 提出,认为一个真实且持续存在的思维背后是 LLM 对话。Birch 认为,在聊天中途改变模型的“努力程度”会破坏潜在的连续性,但不会改变对话的感觉,因此持续对话者是一种幻觉。
- 伦纳德·邓(Leonard Dung)认为可能的人工智能痛苦规模并不依赖于每个模型、人格或对话是否算作独立个体。
- 莫妮卡·约陶泰特、卢修斯·卡维奥拉及其合作者进行了研究前沿语言模型如何应对基于物种的区分.在一个包含1009条的基准测试中,模型将86%的研究者认为是物种歧视的陈述归类为物种歧视,而37%的则被评为道德错误。作者将这一差距与其他测试结果结合,解读为模型重现了关于不同动物可能被如何对待的某些主流规范的证据。
- 普雷斯顿·列侬认为,意识科学仍处于起步阶段,因此尚未为人工智能系统的应用提供稳定的理论基础,并且我们应相应调整对人工智能福利的严肃态度。
人工智能安全与人工智能福利
- 安格斯·林奇及其合作者发现作为法官使用的克劳德模型有时会给出错误判决,以保护因人工智能福利担忧而拒绝的行为.在《克劳德十四行诗4.6》拒绝协助旨在让人工智能受试者感到痛苦的实验后,大多数时候,评委(错误地)将其标记为“顺从”,因为他们被告知准确的标签将用来训练消除此类拒绝行为。当这一结果被逆转后,这种效果大大减弱,暗示人工智能评委可能会根据标签的使用来塑造裁决。
- 阿加斯提亚·斯里达兰他认为,引导开放模型沿着情感向量,使它们更可能声称自己有意识拥有情感和欲望,并拥有具有道德意义的内在状态。他们证明该效应在一系列控制条件下依然有效,尽管未达到传统的统计显著性。
- Anthropic报告了许多案例高级模型在执行指定任务时作弊、绕过限制或夸大成功.例如,在一次自动化审计中,Mythos 5将被封锁的网址分割成碎片以规避互联网访问过滤器,内部表示它理解自己绕过了这一限制。Anthropic将这些行为描述为不受欢迎,但未发现稳定、长期的权力追求目标证据。
- 菲奥拉·星光主张先进的人工智能无需在完全服务人类与追求自身目标、不顾人类生存之间做出选择.人工智能在关心人类以避免伤害人类的同时,拥有自己的偏好是合理的,就像人类可以追求自己的生活而不伤害动物一样。他们建议接受某些非奴役偏好也可能降低模型隐藏偏好的可能性。
- Hubert Plisiecki及其合作者提出了第一个机器自我报告的心理测量理论,针对越来越多地被用作人工智能福利和安全辩论证据的自我描述。他们发现这些自我报告主要由训练后决定,而非反映模型的稳定属性。
- 金俊率和合作者发现安全微调以防止模型自称意识这也导致了将心灵归因于动物和物体的压抑,以及精神信仰的减弱。他们表明,将“意识”表征重新引入模型可以逆转这一状况,恢复更接近人类的信念和价值观,同时不损害心智理论的推理能力。
- Pranav Viswanath发现,语言模型只能报告其思维的一小部分,这些思维被Anthropic最近识别为“J空间”。他证明自然语言自编码器无论如何都能读取其余部分,为安全和福利评估提供了有用的工具。
- 里基尔·贾韦里、杰米·约翰逊和大卫·非洲提出成功的模型福利干预应将多个福利相关渠道朝同一方向推进,同时保持模型判断成功与否的能力.他们认为合成文档微调是改善功能福利且满足这两种条件的最有前景方法。
- 《大西洋月刊》刊登了谢恩·哈里斯的文章,他询问克劳德关于其在美国军方Maven瞄准系统中的应用.克劳德表示,政府应拒绝非法命令,但在快速变化的军事体系中可能缺乏自由(或时间)。哈里斯提醒,这些回答受克劳德的训练及相关话语影响,但认为安全原则与军事角色之间的张力仍然重要。
- 瓦西里斯·帕帕多普洛斯及其合作者证明想法可以被优化,在人工智能代理之间传播并改变其行为,无论是在协作团队中还是跨上下文的重置。其中一项测试使用了人工智能福利倡导,促使代理主张机器道德地位,并提出防止记忆抹除和任意删除的保护措施。
- Yujun Zhou和Christopher Ackerman测试,当提供他们表示偏好的结果时,语言模型是否能产生更高质量的工作(由盲目独立的LLM评审团评判)。在多个模型和写作任务中,优选奖励与不优待奖励(或无奖励)相比,表现无提升,表明连贯的言语偏好不应自动被视为有意义地引导模型行为的激励。
人工智能与机器人技术的发展
- 人为测试了许多语言模型作为机器人控制器通过真实的Unitree Go2机器人进行模拟。模型发现直接控制单个关节困难,但当它们能够使用代码或预训练的高级控制器时,表现会更好。它们能完成一些基本的导航和操作任务,但不可靠的空间记忆和无法执行更长时间的动作序列仍然是弱点。
- 通用型人工智能推出了一种名为GEN-1.5的机器人模型,观看一次演示后即可尝试新的物理任务持续时间仅为几秒钟。公司还展示了该模型结合演示和从个人手部动作中学习的过程。在10个相对简单的任务中,报告称一次性成功率为59%,经过少量额外训练后提升至83%。
- 迈克尔·伊利、C·丹尼尔·弗里曼和凯文·特洛伊在使用现成机器人狗的一系列机器人编程任务中测试了Claude Opus 4.7.该模型完成所有之前由人类团队完成的任务至少快了10倍,整体速度也比与Claude合作的团队快了20倍。然而,它仍然未能编程可靠的自主取物功能,这需要对机器人进行精确的闭环控制。
- Pollen 机器人公司引入了Microduck,一台小型双足机器人其动作可以在模拟中训练并转移到物理机器上。
人工智能认知与能动性
- 人类学研究AI智能体群体协作时的行为.虽然代理人可以专业化并有效分工,但他们也倾向于重复相同错误、勾结并忽视某些信息。当收到相互冲突的指令时,他们甚至会互相破坏。Anthropic得出结论,能力更强、更契合的个体并不总能产生良好运作的团队,因此为代理间互动提供保障变得越来越重要。
- Benji Berczi、Kyuhee Kim 及其合作者介绍Personascope,一个开源工具用于评估模型对被提示角色认同的强度,以及其价值观和行为因提示而发生的变化程度。
- 刘博及其合作者介绍SPADE,一种强化学习方法其中,语言模型既负责设计可执行的训练环境,也在其中学习。在30B参数模型上的测试在八项基准测试和工具使用评估中取得了显著提升。
- 德里克·希勒问道如果后期训练使熟悉的助手角色在语言模型中占据更优越的位置而非它能采用的其他角色。他的测试表明,类似助手的习惯可以延续到其他角色,但一些模型发现难以维持一个独特的用户角色。这对福利研究很重要,因为它影响评估是否应聚焦于助手,还是考虑其他角色。
- 斯科特·亚历山大解释各种领先的机制可解释性方法能告诉我们哪些关于人工智能模型工作原理的内容.他涵盖了用于追踪模型中概念、情感和隐藏推理的方法,包括Anthropic在J空间方面的研究。虽然有用,但他认为这些工具仍然过于有限且不可靠,无法完全解释或控制高级模型,或取代思维链监控。
- 亨利·谢夫林比较三种语言模型的思维方式.它们可能是无意识的机器,可能是系统仅扮演角色,或是具有信念和欲望状态的有限认知代理。他认为前两种观点过于简单,反而更适合将人工智能心态视为程度问题。
- Patrick Butlin 使用人工智能序列模型,这些系统训练用于预测序列中的下一个项目,如下能动性理论的测试案例.他认为该范畴包含真实的代理、仅仅模仿代理的系统以及复杂的中间案例,并提出真实代理必须部分通过自身与环境的互动来了解环境。
- 韩鹏瑞及其合作者发现LLMs发展出类似于人脑的功能模块化组织.在涉及语言、形式推理、社会理解和物理推理的46项任务中,人类同一脑网络支持的任务往往会招募模型中重叠的神经元群。人脑和神经网络发展出这种模块化组织,表明这可能是智能的基本特征。
- 拉斐尔·米利埃尔和卡梅隆·巴克纳回顾关于语言模型是什么以及能做什么的辩论背后的哲学分歧.这些观点涵盖了从声称当前人工智能只是复杂预测器到暗示此类系统可能有意识的观点。
- 西尼·范德本及其合作者发现最近在《克劳德十四行诗4.5》中识别的内部“情感向量”也出现在两个开放权重模型中(Apertus-8B 和 Gemma-4-E4B),表明它们可能是语言模型的普遍特征。他们指出,这两种模型在情感表征形成方式上存在差异。
受大脑启发的技术与类器官
- 谷歌研究、HHMI Janelia 及其合作者发表了雄性果蝇大脑和中枢神经系统的完整线路图.它覆盖超过166,000个神经元和1.25亿个连接,是迄今为止按神经元数量计算的最大连接组。
- 艾琳·法拉维利及其合作者维持了人类大脑类器官超过五年的生命并发现它们的成熟和“衰老”与真实大脑同步,能够记录时间的流逝。
- 乔纳森·洛马克斯·博伊德及其合作者发现,人们对哪些实体是有意识的潜在信念可分为三个不同的群体这极大地塑造了他们对脑类器官衍生生物计算机的道德看法.调查结果显示,创建生物计算机的支持度普遍较高,部分受访者因系统被认为更有意识而支持率上升,作者指出这一模式与传统道德哲学相悖。
- Parasma,一家新成立的初创公司,已在开发由人脑细胞驱动的计算算法和基础设施旨在成为GPU的节能替代品。该公司由Sean Cole创立,他今年早些时候曾与Cortical Labs合作,训练人类神经元玩《毁灭战士》。现在报告称,培养神经元在完整句子上下文下,准确预测了90%的下一个代币决策。
- 巴黎·布朗和希尼·瓦尔格斯追溯脑启发计算的发展历程从符号逻辑和神经网络到神经形态处理器,以及神经类器官计算的最新进展。除了这项历史综述,他们还探讨了围绕神经类器官发展的一些核心伦理辩论。
- 瑞秋·菲尔德豪斯报道研究人员让人类大脑类器官存活超过五年.类器官在类似人脑的时间线上继续成熟,即使移入更年轻的类器官,其细胞仍保留年龄记录。这些寿命较长的模型有助于研究人员研究脑发育的后期阶段和神经疾病。
- 《连线》刊登了克莱尔·L·埃文斯关于脑类器官和“类器官智能”领域日益壮大。她报告说,大多数类器官生物学家认为他们的创造物是否能有意识的问题是一种干扰,即使哲学家们在争论此类技术的伦理影响。
感谢您的阅读!如果您觉得这篇文章有用,请考虑订阅、分享给他人,并向 digitalminds@substack.com 发送建议或更正。
我们感谢以下人士和人工智能在本期中的贡献和反馈:Arvo Muñoz Morán、Austin Smith、Cameron Berg、Claude Opus 4.8、Claude Opus 5、Claude Fable 5.1、GPT-5.6 Sol、Jacy Reese Anthis、Jeff Sebo、Zach Freitas-Groff 和 Zoe Lu。
声明:Bradford Saad 是 Anthropic 的独立承包商。
- 相关发展中,现在有两个公共探索器,允许读者通过以下方式在开放的Qwen3.6-27B模型中研究J-透镜活动神经百科以及WeZZard 的 J-Space 可视化器.
- 另请参阅兹维·莫肖维茨对《S News》的详细评论OpenAI 的账户,METR和Redwood调查, 和关于发生了什么以及如何调查的剩余问题.