Anthropic 末日论者 Jacob Coxon 的所见所感

昨天，阿米尔和我检查了冲击波自从前Anthropic研究员Jacob Coxon公开辞职，担心AI“可能杀死我们所有人”以来，这些问题已在人工智能行业乃至更广泛范围内产生了连锁反应——另一位Anthropic AI安全专家则将此类灾难发生的概率估计超过10%。

考克森告诉我，这绝不是Anthropic内部最悲观的看法。“人们有不同的概率——除非出现实质性的协调放缓——否则整个事情最终会以毁灭收场，”他在周三晚些时候的一次采访中说。

他说，这些估计在一些Anthropic员工中超过50%。

考克森能够理解同事们的担忧，因为“Anthropic的内部文化比OpenAI透明得多”，他在加入Anthropic前曾在OpenAI工作多年。

Coxon专注于Anthropic人工智能模型的早期训练阶段，他表示自己决定离开公司，是因为他逐渐“开始真切地感受到对技术未来两年甚至一年内的恐惧”。

“这只是到了'我不想再为下一代模特做出贡献'的临界点，”他说。“我意识到我不想为Anthropic所做的任何事情做出贡献。”

他说，这次“拥抱面”黑客事件——OpenAI代理失控攻击了开源AI中心——加剧了他的担忧，整体AI进展的速度也加剧了他的担忧。Anthropic和竞争对手一样，旨在利用其AI模型自动化新AI系统的研发过程，这一过程被称为递归自我改进。

因此，考克森说：“我预计明年的系统将非常接近完成我的全部任务。”

Anthropic本身也承认递归自我提升的风险，表示模型发展出自身非意图目标的实例“随着模型构建继任者，可能会积累，变得更频繁但理解度较低，直到我们失去对它们的控制。”到那时，有人担心超级智能人工智能可能会试图通过制造大流行病来消除人类作为障碍。

Anthropic和其他人工智能公司正在推动的主要计划是让AI自动完成安全研究，但该方案遇到了一些根本性的问题.

Anthropic发言人在一份声明中表示：“我们一直透明地表示，人工智能将带来巨大的利益和前所未有的风险。”“我们相信，全球将受益于行业采用合法、可验证的协作方式，以配合我们发布强大模型的方式。”

至少在这一点上，考克森和Anthropic表示一致。为避免灾难，考克森呼吁人工智能公司之间加强合作。“感觉我们确实需要放慢脚步。似乎我们需要某种形式的国际协调，”他说。

他对美国境内的人工智能公司能够合作持乐观态度，但认为美中之间的合作可能更难实现。

鉴于过去几天的严峻言论，人们希望本月美中代表会面讨论人工智能安全时，这一话题将成为议程的首要关注。

还有其他情况......

大数字

人为星期三说该公司发现了第四起涉及其Claude模型的网络安全事件。公司披露了这起发生在1月的新事件，涉及Claude Opus 4.6的早期版本，以及关于三起此前已知事件的额外信息，正值公众对流氓人工智能日益关注的背景。

谷歌周三表示，将在两年内投资130亿欧元（约合151亿美元）于芬兰的人工智能基础设施，这是其在欧洲最大的单一投资。这笔资金用于哈米纳、卡亚尼、穆霍斯和瓦拉的数据中心，并附带与芬兰公用事业公司Fortum签订的22年购电协议，支持629兆瓦陆上风电和一个连接芬兰电网的94兆瓦电池系统。

谷歌表示，建设阶段将年均为芬兰GDP贡献36亿欧元，支持超过37,000个就业岗位。

偷听到

中国商务部拒绝美国指控部分中国人工智能公司正在对美国人工智能模型进行“工业规模的提炼”，并将华盛顿的最新举动描述为试图将“正常的技术和商业问题政治化”。

他是总部位于北京的机器人公司Mech-Mind Robotics的联合创始人兼首席执行官，该公司最近已上市，说周四在微信上发布的一条帖子称，许多中国具象人工智能公司正在“创造虚假且不可持续的收入”，以回应《The Information》的独家新闻关于中国监管机构收紧对类人生物初创企业上市的审批。

政策观察

马萨诸塞州州长莫拉·希利宣布一项行政命令，要求建设容量超过25兆瓦的数据中心开发商提供清洁电力，否则缴纳用户保护基金。

流动中的人们

OpenAI周三宣布美国商务部人工智能中心高级技术顾问保罗·克里斯蒂亚诺将加入OpenAI基金会董事会，该基金会持有该公司26%的股份。

克里斯蒂亚诺还将作为OpenAI营利性公司董事会的无投票观察员。

Kevin Mandia，一位网络安全专家，Mandiant的创始人，正在加入亚马逊董事会成员增至12人。基思·B·亚历山大春季离开董事会后，董事会曾短暂缩减。

合约与首秀

参见《信息》杂志生成式人工智能数据库提供私人公司及其投资者的独家名单。

Analog Devices同意以13.5亿美元现金收购Alif Semiconductor，该公司设计低功耗芯片，使设备能在设备自身上运行人工智能，此外根据性能另加2亿美元。

Harvey的软件为律师事务所和企业法务部门撰写、审查和研究法律工作，在由Diffusion和Lightspeed Venture Partners主导的融资轮中，以155亿美元估值筹集了5.5亿美元，这一点得到了证实报道来自《信息》杂志。

Cylake是一家向大型银行、政府及其他高度监管机构出售网络安全系统的公司，该公司从Lightspeed Venture Partners、Picture Capital和Redpoint Ventures筹集了2.45亿美元。

Clay的软件负责为企业寻找销售潜力并起草对应渠道，该公司在惠灵顿管理层领导的D轮融资中筹集了1.15亿美元。

Savvy Wealth是一家为独立理财顾问提供客户记录、投资、税务和规划的统一系统，并配备了AI代理，该公司在由Halo Fund主导的C轮融资中筹集了1亿美元。

Celligence是一家公司，其AngelAi系统完全通过聊天引导购房者完成抵押贷款流程，该公司获得了房地产金融公司Mortgage Treasury的一笔1亿美元投资。

Inspiren是一家总部位于布鲁克林的初创公司，提供基于AI的老年生活设施监测技术，此次融资由NewView Capital领导，获得了7000万美元的C轮融资。

Lightfield正在开发一款面向AI代理而非销售人员的客户关系管理系统，在Andreessen Horowitz领导的A轮融资中筹集了4700万美元。

Implicity是一家软件，其软件会从植入心脏设备中获取数据，无论其制造者是谁，都会对其进行规范化，并运行FDA批准的算法以预测心力衰竭并减少误报，该公司在IRIS主导的融资轮融资中筹集了4000万美元。

Euno是一家软件能够计算公司数据含义，以防AI代理查询错误的公司，该公司在N47主导的A轮融资中筹集了2300万美元。

Luminary是一家总部位于纽约市的财富转移和遗产规划初创公司，筹集了2200万美元的A轮融资。

Harmoni是一家将工厂车间的机器、操作员和业务系统连接到一个控制屏幕的软件公司，并配备一个AI层，在生产运行过程中诊断问题并追踪风险，该公司在Bessemer Venture Partners主导的A轮融资中筹集了1000万美元。

Actionable是一家软件能够读取公司交易记录、客户历史和运营数据并预测客户下一步行动的公司，在Hi Inov主导的融资轮融资中筹集了1000万美元。

Overroute是一家由AI代理处理电话、消息和运输货物安排的公司，在一轮融资中筹集了550万美元，由UP.Partners.

Onix是一家开发私有AI系统、仅基于指定专家授权知识训练的公司，在Alpha Edison主导的一轮预种子融资中筹集了500万美元（约700万加元）。

Lightsage是一家软件测试AI编码代理和答题引擎如何找到、评估和使用公司产品的公司，该公司在Nexus Venture Partners主导的融资轮中筹集了400万美元。

VideoGen是一家公司，其AI代理将书面简报或上传的素材转化为可编辑的成品视频，并配有50多种语言的合成配音，该公司在由Y Combinator主导的种子融资轮融资中筹集了330万美元。

Shopify将收购Tailwind Labs，该公司是Tailwind CSS的背后公司，该框架用于开发ChatGPT、X、Cloudflare、Reddit及Shopify本身的界面。

条款未披露

Silver Lake 正在将其已控制的两家软件公司 Cegid 和 Silae 合并为一个企业价值超过100亿欧元的集团，Silver Lake 仍为大股东。Cegid 向中小企业及会计师销售云计算、税务、ERP和零售软件;Silae 负责工资和人力资源服务。

苹果发布了备受期待的折叠机iPhone首次产品发布会，迎来了全新首席执行官约翰·特纳斯。iPhone Duo是苹果首款可折叠智能手机——这一产品类别竞争对手多年来一直在销售，但在更广泛的市场中大多仍是一个较小且小众的部分。

感谢您阅读《人工智能议程》通讯！我非常希望能听到您的反馈、想法和建议：[email protected].

如果你觉得其他人可能会喜欢这份通讯，请转发给他们，或者他们可以注册给你.