为日本AI安全研究融资辩护
引言与摘要;简而言之
我是埃萨·科斯基宁,担任志愿导演AI安全东京.
认识地位:由相关方估算;我运营着其中一个讨论的组织。数字背后的模型是公开的,我会在帖子中编辑更正。
最近我花了大约120小时调查日本人工智能安全组织和独立研究人员的财务信息和资助申请。我对结果有些失望,想与全世界分享我的发现总结。
我估计日本面临约210万美元的紧迫资金缺口,雇佣人工智能安全研究人员的成本大约是美国的1.8-2.3倍,总体上存在许多被忽视的影响力机会。
(源代码电子表格;日元以1个月平均值平滑波动换算。)
预计2027年,日本AI安全组织可以雇佣~35名研究人员和~10名员工,且边际效果较佳。然而,尽管有大量兴趣和需求,这些组织的资金不足以实现这一目标。
如果你想帮忙,请留言、与朋友分享这篇帖子,或者私自给我发信,esakoskin2@gmail.com。
日本人工智能安全概述
我不指望LW读者熟悉日本的AI安全,而且最近情况有所变化,所以简单介绍一下可能会有帮助。
日本的人工智能安全会议始于2018年,但在2023年1月东京人工智能安全组织成立后变得更加规律和有序。此后,多个组织纷纷成立,专注于教育、治理和研究。
按规模顺序,并简要总结他们近期的做法和挑战:
- 日本AISIhttps://aisi.go.jp/
- ~30名员工,最新预算5600万美元预算补充(2025财年)
- 方法:全球协调、最佳实践文档、评估
- 挑战:复杂的激励结构,优先事项冲突(详见下文)
- 柴叶人工智能实验室https://shiba-ai.jp
- ~35名研究人员,但~零预算
- 方法:技术人工智能安全研究;在ICML和ICLR上发表
- 挑战:可以雇佣全职研究人员,但资金不足
- 独立技术研究
- ~25名研究人员,但~零预算
- 方法:基础性或实用的人工智能安全研究与治理工作
- 挑战:有人因为资金不足而退出该领域
- AI安全东京https://aisafety.tokyo/about
- 6名董事会成员,但~零预算
- 方法:每月学习研讨会、治理工作和会议
- 挑战:想扩大运营和规模,但资金不足
- AI对齐网络https://www.aialign.net/
- 6名董事会成员,但~零预算
- 方法:每月举办小组讲座,提高研究人员意识
- 挑战:想扩大运营和规模,但资金不足
- AGI中心https://agi-hub.ai/en
- 4名董事会成员,每月1250美元,1名员工
- 方法:公众意识建设,x风险话语
- 挑战:想聘用其他董事会成员,但资金不足
- TARA 东京https://www.taraprogram.org/
- 3名兼职助教,~0.5全职资助
- 方法:在日本运行ARENA课程
- 挑战:公众意识低,缺乏讲英语的学生团体
- 其他团体
- 总计~25名兼职志愿者,~零预算
- 方法:学生分会、黑客马拉松、翻译、BlueDot 主持、治理工作、公众意识提升、各种活动
- 挑战:想扩大活动规模,但营销太耗时;社区分散,英语和日语水平参差不齐
如果你看看上面提到的当前挑战,有一个共同的主题:日本的人工智能安全组织往往缺乏资金。大多数团队由志愿者运营,其中许多人希望能全职从事人工智能安全工作。
然而,必须依靠志愿者运营,导致运营瓶颈带来持续的压力,大多数组织因时间不足不得不放弃有前景的机会。
尽管如此,日本在过去一年中举办了80场与人工智能安全相关的活动,运行了ARENA课程,并吸引了许多新人才进入该领域。自2023年以来,我们还举办了年度国际会议:
- 2023:日本对齐会议(JAC)由Conjture和Araya主办
- 2024–2025:技术人工智能安全大会(TAIS)由AI安全东京主办
- 2026:真是如此由牛津马丁人工智能治理倡议和Noeon研究中心主办
2026年的搬迁是双面性的:东京诞生的会议足够好,以至于Noeon Research能够在牛津推介,而东京则没有足够的资金支持生态系统来维持它。
这正是本文所讨论的失败模式之一。
日本最大的机会
目前,社区面临四个主要瓶颈,每一个都是一个被忽视的影响力机会:
1. 资金:过去两年,我们日本投入大量精力,建立了一个扩大该领域的人才管道,并让更多人参与更有价值的研究。然而,我们没有足够的资金支付薪资,只能在业余时间做志愿者的工作。
显而易见的答案是人们申请更多资助。为何未能实现这一目标以及可以采取的措施将在以下章节详细说明。
2. 留任率:很多人从海外来到日本,做独立的人工智能安全研究6个月后发现无法获得资金,最终离开这个领域。我的个人联系人中大约有十几个这样的人。我和这里大约三分之一的人工智能安全社区进行了讨论,所以我预计实际人数会是2到4倍。
这可能非常有害:有些人已经参加过MATS/ARENA,参加过奖学金项目,或者完成了像SPAR或TARA这样的高质量项目。失去他们的才华和知识是巨大的沉没成本,也是浪费的机会。
这也让整个社区成员感到沮丧。
日本作为一个国家很有吸引力,我认为我们有潜力成为亚洲最大的人工智能安全中心。我和许多业内人士交谈过,他们更愿意在这里生活和工作,而不是美国或伦敦,只要资金获得的路径更清晰、更现实就好了。
3. 意识:对于政治家和公众来说,人工智能风险——尤其是存在性风险——几乎闻所未闻。日本政治家对人工智能了解不足,且很少对相关问题提出反对。许多决策者愿意学习更多,但缺乏足够的日语资料。
总体而言,日本文化倾向于重视安全和谨慎使用技术,尽管他们也乐观且关注机器意识。我认为这些方面之间的矛盾可以通过相对较小的努力解决,支持人工智能安全。
4. 日本 AISI:他们预算庞大,却难以让有才华的人能够充分利用这些预算。因此,除了行业合作伙伴之外,没有人能利用这笔预算。原因很复杂,所以我专门写了一节来讲解。
为什么人们没有获得资金支持?
当被问及为何人们的资助申请会落空,或者是什么阻止他们一开始就申请时,我们听到了各种原因。以下是最常见的五种,按显著程度排序:
- 太耗时:最终从西方机构获得资助可能需要50到200小时的努力。对于独立研究者来说,分散工作数月可能过于繁琐。
- 可能性似乎太低:为了知道是否有人感兴趣,必须提交10+份申请的前景太令人生畏,所以人们根本不会申请。这一点也得到了社区中申请资助者的失望。
- 对资助机会不熟悉:很多人只知道系数捐赠和长期资助。有些人甚至不知道外国资助的存在,有时是因为知识不足,也可能是文化或语言障碍。
- 研究或行动计划不够完善或不够清晰:这有时适用于从志愿者转为全职岗位的人,他们仍有许多未知因素,且没有足够时间调查。
- 结构性管辖障碍:某些个人因签证、税务或银行原因,法律或实际无法合法或实际获得外国资助,且没有日本实体作为中介。
过去几年,大多数成功的科研资助每次只覆盖6到12个月的开支。一些独立研究者认为,与在传统公司或高薪初创公司工作相比,缺乏工作保障显得过于严苛。
今年,我身边的人提交了大约20到25份资助申请,只有少量关于活动场地费用的申请通过。
结果,人们最终只能做兼职志愿者,耗尽个人经济,或者离开这个领域。这些都不适合发展一个充满活力和高效的社区。
计划是什么?
设立一个用于再授予的非牟利组织可能是有效的解决方案。原因如下:
- 与其让每个组织和个人单独申请大量资助,不如通过一个实体代表社区处理国外资助申请,减少时间。
- 例如,如果20人各提交了五份不同的申请,总申请数将是100件。然而,如果每个人都只申请一次再拨基金,而该基金代表社区提交了五份申请,那么总申请数将是25件。(即申请总数而非。)
- 外国资助者也受益:在这个例子中,每个机构将获得一份高质量的申请,而不是由已经按时受限的个人提交的20份。
- 日本的资助申请可以更容易由当地机构审核,这些机构已经了解这些组织、目标以及他们对人工智能安全的关注程度。我们也可以激励人们制定关于人工智能安全的改进理论。
- 这有助于协调旨在营造一个让人们轻松学习人工智能安全、进入实地并进行有用研究的环境的项目。这也将与正在东京建立实体枢纽的工作相连接。
- 如果再资助机构有额外资金,可能让来自海外的研究人员能够留在该领域,而不是永远失去他们。
这个想法是为2027年获得足够的资金支付日本组织现有潜在员工的工资,然后建立一个缓冲区,用来保障工作安全并促进进一步增长。
我们已经有人负责准备这些设置的文书工作。下一步是实际获得资金承诺,以弥补资金缺口(210万美元)。我认为最现实的路径大致分为两类:
- 通知外国资助方这一问题,以便在资金不再紧张时(例如传闻中的Anthropic首次公开募股后)让日本成为焦点。
- 想办法从日本AISI获得资金支持:他们的预算过于充裕,专注于x风险的团体根本拿不到任何资金。
第一种方法,在我所能的范围内,已在本帖中进行了说明。第二种方法尝试过但未成功;详情请见下一节。
日本AISI怎么回事?
一个常见的问题是:日本AISI有5600万美元的资金,而其他组织几乎没有资金。这是怎么回事?
答案,和往常一样,事情比看起来更复杂。
- 日本AISI的授权来自国际音标,隶属于贸易部(目标),由内阁办公室的人工智能战略总部.然而,高层政治家对人工智能了解甚少。本质上,日本AISI的手被绑住了,因为METI和IPA的目标是找到一个有利于进一步投资AI能力开发的环境。
- 日本AISI的许多领导人仍在大型科技公司担任高管。这在日本政府机构中很常见,但导致领导层在有效运营组织方面资源有限。此外,激励机制也可能存在冲突,因为他们的主要隶属于雇主,而非日本AISI。
- 由于日本AISI的公开承诺和报告要求,在支付或建立合作伙伴关系方面存在较大的开销。这自然使他们对较小的资助或合同产生了偏见。
- 日本AISI的大部分员工通过传统政府渠道招聘。这导致他们中许多人对人工智能安全缺乏了解和兴趣。
- 即使真正有才华的人加入,他们也面临各种官僚挑战,难以完成有用的工作。
关于日本AISI组织结构的更多细节
这是他们的组织结构图,首先是与内阁办公室的关系,然后是日本AISI内部的组织结构图。内阁办公室由首相领导,包含多个机构和部委。
文业省与数字厅合作指导IPA,其使命是广泛提升日本的IT能力。
对于人工智能来说,实际上意味着(除其他方面外)减少超大规模企业和前沿实验室在日本开展业务和建模培训的摩擦。
在日本AISI内部,有多个团队和委员会,每个团队由一名经理领导,成员为1至10名研究/工作人员。日本AISI团队与其他机构之间有大量沟通。
每个团队负责制作~年度报告,发布在日本AISI官网.
更多背景和资料来源:
J-AISI2024年2月14日启动其秘书处设在国际金融局内部,隶属于METI和数字局。截至2026年4月,该机构拥有包括同时任命在内的31名员工,短期目标为60人,首相指示目标是建立一个约200人的英国规模研究所;其资金从2024财年补充预算的38亿日元(~240万美元)增长至2025财年补充预算的88亿日元(~5600万美元)。
该2025年12月 AI基本计划立即将员工人数翻倍,秘书处的大部分成员来自公司和部委。
已出版的成果包括评估和红队指南、数据质量指南、NIST人工智能多元矩阵人行横道、开源评估工具,以及一个与Anthropic的合作备忘录;它没有发布任何前沿模型评估,也没有开展任何资助项目。
外部安全研发资金流入NEDO委托项目以及GENIAC 计算补贴这些法律是为公司和财团而非非营利组织设计的。更广泛的法律框架是:人工智能推广法案2025年5月28日通过无处罚条款.
鉴于以上种种,难怪日本AISI的主要业务涵盖:
- 举办国际讨论并促进人工智能安全框架的开发。
- 创建标准和最佳实践的框架和文档。
- 收集和总结人工智能安全新闻信息。
- 做了有限的研究和模型评估。
- 政府与产业之间的沟通。
虽然这些通常是值得研究的好事,但它们对我的AI安全结果模型几乎没有任何改变。
与日本AISI的人士以及与他们关系良好的人交谈后,似乎他们很难为日本人工智能安全社区的非营利部门提供资金。不仅开销是个难题,许多员工也被繁琐的工作压得喘不过气,没有时间专注于更大的局面。
因此,我对通过他们获得资金的机会持悲观态度。不过,这是我们正在积极探索的方向,如果双方都有足够人力,情况会有很大改善。与此同时,我们的合作主要限于共同举办活动。
说服日本AISI或内阁办公室需要大量努力和一对一的人脉拓展。我认识的人都不想做志愿者,但我们有人愿意做,如果他们有报酬。
详细分解与数据
我制作了一个详细的电子表格,列出了每个组织2026-2027年度最知名的财务状况、潜在员工人数和资金缺口。该表格由多位了解社区不同领域的人进一步完善——非常感谢所有帮助我的人!
你可以在这里查看:
https://docs.google.com/spreadsheets/d/1EZBlPASzwtE3MvWeA9YxHTdCQkykk6LUANacDSLGBqs/edit?usp=sharing
总体来看,不包括日本AISI,我们的估算如下:
- 日本的有效资金缺口约为210万美元。
- 填补该职位可能导致2027年在职全职员工人数从2.5人增加到45人。
- 2027年以后,随着更多资金支持,我预计这些组织每年至少能增长25%。
如果未能达到210万美元或遇到意外成本,我会先削减这两项研究资助。这是因为我们可以通过多样化的方法组合,更有效地利用日本独特的机遇,而不是通过更大的研究赌注,从而削弱其他组织的影响力。
我们对解决所有运营瓶颈的最低要求估计是42.6万美元。不过,我预计如果只达到最低要求,我们可能会采取不同的计划,原因有三:
- 这将是对2027年以后未来资金的负面信号。我们可以得出结论,这种方法长期成功的可能性很低。
- 尽管瓶颈是首要任务,但42.6万美元情景的边际效益预计低于210万美元情景。
- 设立再资助机构和管理资助申请的管理成本相对固定。在210万美元的情景中,这些成本不到总金额的2%,但在42.6万美元的情景中,成本更接近6%。
目前的计划在2027年150万至320万美元的资金区间中似乎最为有效。
薪资比较
日本中年研究员的平均薪资约为650万日元,约合每年4万美元。就业(税务、保险、会计等)的平均管理费用接近50%,使总就业成本达到每人6万美元。
浏览80,000小时和其他地方的职位,似乎入门级研究职位的当前薪资区间大约在80-11万美元之间。即使是这个较低的区间,基本薪资也高出2.0-2.8倍。
然而,美国的雇主管理费用较低,平均为30%。因此,就业总成本为10.5-14万美元,至少比日本高出1.8-2.3倍。
此外,日本的生活成本通常比美国或英国便宜得多,尽管薪资较低,但生活依然舒适。
想帮忙吗?
总的来说,210万美元对于让~10个组织从长期的运营瓶颈转变为发挥最佳表现来说,似乎并不算一笔高。我预计通过它,我们能至少提升日本的影响力一个数量级,同时让该领域增加40名甚至更多的专业人士。
如果你是资助方或能帮我们联系的人,请把这篇帖子分享给相关的朋友,或者在 esakoskin2@gmail.com 给我留言。我很乐意解决这个问题,帮助日本走上舞台!
日元便宜,我们的人也很投入。让我们好好利用它。
- 不过,我承认他们在亚洲及国际人工智能安全治理领域中,成功确立了日本作为中立方的地位。他们的一些工作有可能为未来更强健的美中合作铺平道路。
- 我所说的有效资金缺口,是指每个组织当前预期预算与其理想、最有效影响情景之间的差距。
- 在我的组织影响力模型中,边际效能在最初几名员工中有所提升,随后开始出现收益递减。这主要是因为组织存在的运营开销不会直接转化为影响,但这种开销也不会根据员工数量线性增长。更大的团队也可以更专注于某些领域。