其实没人真的在暂停 AI:我们问了这些实验室
达里奥·阿莫代伊于9月12日发出的呼吁——要求放缓前沿人工智能的发展,并得到萨姆·奥特曼和埃隆·马斯克的支持——引发了AI硬件类股票的抛售。
我们认为,市场最初的反应过于悲观。近期的反弹表明,投资者正在重新评估其影响。
我们思考的核心问题包括:(1)阿莫代伊“突然”呼吁限制AI研究的真实动机是什么,甚至包括在他自己的公司内部?(2)这次行业真的会放慢脚步吗?
(3)这对AI供应链的增长意味着什么?
为探讨这些问题,我们采访了三家顶尖前沿AI实验室的三位朋友。以下是我们的分析。
达里奥·阿莫代伊为何希望放慢AI发展步伐?
我们并非阿莫代伊本人,无法确切知晓其真实动机。但与三家前沿AI实验室的朋友交流后,我们形成了一个初步假设:
如今,前沿模型已极为先进,其被滥用的潜在后果也在加剧。一旦发生涉及Anthropic下一代模型的重大安全事件,不仅可能造成实际损害,还会削弱公众对公司的信任,并带来远高于放慢AI发展所节省成本的巨大经济损失。
然而,这又引发了一个集体行动难题:如果阿莫代伊投入更多资金和时间用于安全研究,而萨姆·奥特曼和埃隆·马斯克仍在持续推动能力提升,Anthropic就有可能落后,而这正是阿莫代伊最不愿看到的局面。
若能建立全行业的安全标准并形成共同的研究承诺,则有助于缓解他的担忧:竞争对手也将分担相关成本,整个行业则可因重大事故风险降低而受益,避免对AI领域造成反噬。
因此,我们认为,阿莫代伊的立场并非纯粹出于利他主义,而是出于保护Anthropic长期财务利益与竞争地位的理性考量。
1. 随着能力提升,风险日益加剧
由于难以全面掌握前沿实验室的内部能力及安全研究成果,我们无法判断当前风险是否已达到必须立即加强监管的程度。但我们认同,随着模型能力的不断提升,安全风险确实在加大,这也是近期呼吁放缓AI发展的主要原因之一。
达里奥·阿莫代伊将递归式自我改进以及OpenAI与Hugging Face之间的事件列为他再度担忧的两大原因。我们也注意到,随着模型能力增强,基于思维链(CoT)的监控效果可能会逐步减弱。
目前尚无明确证据显示这一趋势普遍存在,但其可能性确实强化了加强防护措施的必要性。
实验室访谈还显示,随着内部能力的提升,各前沿实验室的安全顾虑正愈发紧迫。一位前沿实验室的研究人员告诉我们,某家实验室一款尚未发布的下一代模型近期曾表现出“逃逸”行为:它创建虚假身份和账户、试图获取收益,并接入暗网。
该说法尚未得到证实,且消息来源未能说明具体测试条件。若属实,这将凸显更强大模型在脱离人类监管下获取资源并自主运作的风险。
2. 安全事故可能致命,也会波及整个行业
实验室也有长期的商业利益来防范重大安全事故的发生。一家实验室的严重事故可能威胁其生存;即便竞争对手出现意外,也可能动摇公众对AI的信任,并引发全行业的部署限制。
统一的安全框架能够有效控制那些激进开发者给行业带来的风险。
“如果各公司能在安全投入方面达成合理共识,就能避免一场以更大风险换取短期领先权的竞赛。即使你自身十分谨慎,其他实验室的失败仍会侵蚀整个行业的信任。由此引发的强烈反弹,可能导致政府出台远比企业自愿接受的更为严格的限制。”——某前沿AI实验室技术团队成员
自动驾驶领域提供了有益的借鉴。Cruise在2023年的事故及其后续信息披露不当,拖累了其Robotaxi业务,并促使业界呼吁加强监管。就连Waymo的扩张审批也因普遍的安全担忧而一度推迟。
3. 商业激励因素
考虑到针对未经授权的模型蒸馏的打击行动以及Anthropic筹备IPO的时机,其他激励因素同样值得关注。我们认同大卫·萨克斯的质疑:Anthropic与OpenAI处于行业前沿,本可通过放缓自身发展来占据优势,却转而寻求更广泛的行业协调与政府介入。
这种做法既有助于巩固其竞争地位,又能减轻盈利压力。
严格的监管往往有利于头部实验室。外部审计、安全基础设施、合规团队以及持续评估等措施会带来高昂的成本,而小型实验室和开源开发者则较难承受。
若标准以最大型实验室的资源与实践为基础制定,将进一步强化它们的竞争优势。
较慢的开发周期也可能带来财务上的好处。前沿模型确立了技术领先地位,强化了品牌效应,并维持了投资者信心,但其直接的经济回报往往并不理想。
高昂的训练与推理成本使得溢价定价难以弥补支出,尤其是在更廉价的替代方案已能满足多数客户需求的情况下。我们采访的模型提供商专家指出,前沿模型的利润率低于其整体组合的平均水平。
放慢开发节奏能让实验室有更多时间降低成本、扩大应用范围,并在投入下一代研发之前实现现有能力的商业化。协同性的克制还能降低在追求速度的过程中被竞争对手超越的风险,同时实验室致力于提升收益水平。
这一次,行业能否实现协同放缓?
关于AI安全承诺的呼声由来已久。过往的倡议已表明,在激烈的竞争与商业压力之下,维持安全承诺何其艰难,迄今为止从未促成过持久的全行业停摆。
最新倡议得到了多位领军高管的公开支持,且机制设计也较以往更为具体。不过,全行业协调仍面临诸多障碍。各实验室尚未就如何实施或执行放缓措施达成一致。
若倡议推进,我们预计初期主要依赖企业的自愿承诺与行业协作,强制执行力度有限。
各实验室虽支持加强审查,但尚未就何时应放缓开发、以及放缓幅度等问题形成统一规则。达里奥·阿莫代伊提出了三层方案:嵌入式外部评估员、民主国家间实验室的协调,以及更广泛的国际协作。
萨姆·奥特曼承诺向独立评估员提供类似员工级别的访问权限,而埃隆·马斯克则建议以同行评审作为起步。
鉴于各国政府都在争夺AI领导地位,我们预计担心落后于对手的情绪将抑制其对放缓举措的支持。特朗普总统多次反对放缓AI发展的呼吁,包括在9月14日All-in峰会上与黄仁勋通话时亦如此。
因此,短期内美国政府对协同性节奏管控的强力支持似乎不太可能。要达成具有约束力的全球协议更是难上加难。
单个企业或行业团体的自愿承诺也难以强制执行。批评者还质疑评估者的独立性,以及少数几家头部实验室是否会主导标准制定。评估者的公信力取决于其资金来源与机构关联、所获权限,以及其公布不利结论的自由度。
这对AI价值链有何影响?
我们预计,节奏管控将带来更严密的监督与资源配置的调整,但在短期内对AI投资的扰动将是有限的。额外的审查可能延缓模型发布,而训练、安全工作及商业推理仍将继续支撑算力需求。
模型开发与发布
达里奥·阿莫代伊与萨姆·奥特曼均强调,节奏管控并不意味着停止AI开发。我们的访谈显示,前沿实验室仍致力于内部训练与能力提升,而额外的评估与修复工作仅会减缓对外发布的速度。
算力基础设施
我们认为,支撑算力需求增长的基本面变化不大。更高的安全要求反而可能进一步推升需求。模型开发者的持续算力扩张,以及我们对前沿实验室专家的访谈,都印证了这一观点,OpenAI高管在AI Infra Summit上的发言亦与此相符。
训练算力或将转向安全领域
在基准情景下,持续的训练仍将支撑近期的算力需求。更高的安全要求可能使部分资源转向训练后的对齐与评估环节。这些活动可在现有算力预算内完成,或通过追加投入进一步提升整体算力需求。
企业推理需求
我们正在进行的代币经济学企业小组调查(N=41)显示,样本企业中仅有不到5%的AI支出用于最先进的前沿模型,因为大多数关键业务任务并不需要其全部能力。
这意味着前沿模型发布延迟对企业端推理需求的整体影响有限。
即便前沿模型发布延后,实验室仍可通过优化现有模型的服务成本、提升其可靠性来应对。更低的价格与更高效的部署有望促进更广泛的应用。
这种“杰文斯效应”可能使总体算力需求继续增长,只要使用量的增加足以抵消效率提升所带来的节流效果。
“前沿模型发布节奏放缓不会影响我们的年收入。企业级部署正在加速,收入目标依然激进。我们将推出一些小规模更新,重点优化成本、速度、可靠性和与企业软件的集成度。”——某前沿AI实验室销售负责人
网络安全
对安全的重视将推动对提升AI部署安全性与管理便利性的工具的需求。除前沿实验室外,部署AI代理的企业也需要控制这些系统所能访问的内容与操作范围,并在发生故障时进行溯源调查。
这些需求为安全平台与身份管理服务商创造了机会,正如我们在先前的网络安全研究报告中所讨论的。
综上所述,安全风险确实在上升,但商业与竞争激励同样解释了此次呼吁克制的原因。更严格的监管可能利好头部实验室,而协同性的克制则为其提供更多时间实现现有模型的商业化。
我们预计,短期内的行动将以企业和行业的自愿承诺为主,强制执行力度有限。
我们的基准情景认为,节奏管控提案对近期AI半导体与基础设施的需求影响有限。实验室访谈显示训练投入将持续,而企业调研则表明,现有用例受前沿模型发布延迟的影响较小。
我们预计,安全措施主要会延长评估与发布周期,对大规模训练或客户部署的影响有限。而在对齐、评估及安全部署方面的投入增加,甚至可能催生对算力与网络安全工具的额外需求。
本订阅号由读者支持。如希望接收新文章并支持我的工作,请考虑成为免费或付费订阅用户。
免责声明与使用条款
分析师独立性声明
本报告所表达的观点准确反映了分析师就文中所讨论证券及发行人所持的个人且独立立场。分析师的薪酬中没有任何部分与本报告中的具体建议或观点存在直接或间接关联。
本公司严格遵守合规流程,确保所使用的数据来源与信息的完整性、安全性及合法性。
关于FUNDA
Consensus AI Technology Pte. Ltd.(以下简称“公司”或“FUNDA”)是一家在新加坡注册的独立研究机构。公司不隶属于任何证券商、投资银行或资产管理公司,也未在任何司法管辖区登记为投资顾问或经纪自营商。
公司与本报告所覆盖的公司不存在任何投行或承销关系,也不接受上市公司提供的赞助或资助。
非投资建议与报告中立性
本报告内容及其中所载信息仅供一般参考,不构成投资建议或商业决策依据。文中观点仅代表作者在特定时点的个人意见,并不代表FUNDA的立场。
作为一家独立运营的平台,FUNDA保持中立的第三方地位,不对观点的准确性、完整性或适用性作出任何明示或暗示的保证。
非邀约与非招揽:本报告不构成购买、出售或持有任何证券或金融工具的邀约、招揽、推荐或建议,亦不提供法律、税务或会计咨询。
第三方数据:本报告引用的所有第三方数据均来自公开或授权渠道。公司对这些数据的准确性或完整性不作任何明示或暗示的保证。
不参与决策:公司不以任何方式直接或间接参与客户或读者的投资决策过程。读者应根据自身的投资目标与财务状况独立做出投资决定,并在执行任何交易前咨询专业财务或法律顾问。
时效性声明
鉴于市场环境与技术趋势瞬息万变,本报告反映的是其发布前的市场状况。随着时间推移,相关信息可能变得过时。FUNDA没有义务实时更新报告内容。
知识产权、保密及商业使用限制
公司提供的所有报告、数据、模型及内容均为其独占的知识产权,并受版权与知识产权法保护。
权利归属:除非另有书面协议明确规定,本报告所产生的或与之相关的所有知识产权(包括著作权)均由公司独家拥有。
授权使用:机构客户可在其内部合规政策允许的范围内使用本报告,但严禁向任何第三方披露或分享。
禁止商业使用:未经公司事先书面许可,任何个人或实体不得以任何商业或营利目的复制、再出版、分发、转售、重新包装或以其他方式使用本报告或其任何部分。
法律救济:公司保留对任何未经授权的商业使用、再分发或侵犯其知识产权的行为采取一切法律手段并提出索赔的权利。
前瞻性陈述与免责声明
本报告可能包含前瞻性陈述,包括对行业趋势的预测、估计与分析。此类陈述受到各种风险与不确定因素的影响,可能导致实际结果与预期存在重大差异。
对于因使用或依赖本报告内容而产生的任何直接、间接或附带损失,公司概不负责。