构建全自动 AGI 实验室：Core Automation 的 Jerry Tworek 与 Rohan Anil

杰里·特沃雷克曾担任OpenAI的首席推理专家，坚信通过扩大强化学习的规模，才能迈向通用人工智能。罗汉·阿尼尔共同领导了Gemini的预训练工作，并打造了Shampoo优化器。

如今，他们携手在Core Automation展开合作，基于一个逆向思维：Transformer已经将我们带到了它所能达到的极限，而推动更智能系统发展的瓶颈已不再是规模——而是架构本身。

缺失的能力在于持续学习：能够在测试时进行自适应调整的模型，而Transformer却无法做到这一点。在情境中学习的速度往往很慢（Codex在运行约20分钟后就需要进行压缩），而微调则容易导致灾难性的遗忘。

罗汉认为，预训练与强化学习应当实现端到端的优化，而且Transformer在计算上往往效率低下。他们详细阐述了为何各大实验室在深陷编码代理竞赛、不愿追逐替代方案的原因，以及为何打造全球最自动化实验室的起点，正是从自动化内核生成开始——这一领域正是前沿模型仍难以超越高水准人类的唯一地方。

由索尼娅·黄和帕特·格雷迪主持，红杉资本