OpenAI 2016年的World of Bits与十年后的Astra

2016年在OpenAI的那些美好时光：一个智能体盯着屏幕像素，移动鼠标，在美联航网站上订了一张机票。我们在OpenAI Universe里把它称为“比特世界”。

十年之后，Astra在同一片“宇宙”中重获新生。连命名都堪称“天文学级”的严谨😆

Universe当时或许是人工智能基础设施领域最雄心勃勃的项目，但我们始终没能找到破解之道。一个对“提交”按钮毫无先验认知的策略，只能靠反复试错来重新“发明”整个互联网的视觉语言。

事后看来，在一堆Pascal Titan X显卡上，用手工设计的、针对单个任务的“匠人式”奖励函数从零开始训练强化学习，注定难有作为。

要真正解决计算机使用这一问题，正确的路径其实是先“煮沸整片海洋”——在你能找到的各类通用任务上不断攀登高峰——然后再回过头来聚焦于屏幕像素与键盘输入。

换句话说，就是做一个“专业化的通才”。

经验教训：比所有人快一步，你是开拓者；快三步，你是先知；快五步，你成了殉道者。

恭喜GPT‑6！那张美联航的机票终于被稳稳地订好了，这一次再也不会出错了。当年那个实习生的我，此刻正笑得合不拢嘴。