Skild AI 借力 NVIDIA Physical AI 实现单视频教机器人新任务

生产车间、仓库和生产线很少保持不变——任务在变化，布局会调整，新产品不断涌现，而大多数机器人若不经过大量重新编程，便难以适应这些变化。

Skild AI推出的全新S1机器人基础模型旨在解决这一问题，它能够从一段视频演示中学习此前未见过的、具有较长时序跨度的任务。该模型于上周发布，以视频作为输入，无需更新权重或进行特定任务的后训练，即可理解并执行任务——这种技术被称为“上下文学习”。

Skild基于NVIDIA的AI基础设施构建了S1并开展了相关研究，这是双方更广泛合作的一部分，涵盖合成数据生成、模型训练、仿真以及真实物理环境中的AI部署。

两家公司正携手推动可适应的机器人智能从实验室走向工厂及其他动态运行环境。

“通过经验而非预编程来学习，是机器人领域发生的根本性变革，”Skild AI联合创始人兼首席执行官Deepak Pathak表示，“NVIDIA Isaac Lab和NVIDIA Cosmos技术帮助Skild为其机器人创造了规模化、多样化的经验，使其能够在多种场景和不同本体上实现学习。”

此次发布正值该公司在首次商业化部署仅10个月后，年收入已达到$1亿美元的水平。在此期间，Skild已与超过60家合作伙伴建立了部署合作关系，业务覆盖制造、物流、检测、安防、食品加工等多个领域。

仅凭一段视频学会新工作

大多数工业机器人都是为固定任务而设计的，因此每推出一种新产品、引入一项新工艺或调整一次布局，都需要更多的数据、重新训练和验证。

S1采用了不同的方法：操作员录制一段所需任务的视频，并将其作为提示提供给模型。模型会解析视频中展示的意图、对象及操作顺序，然后将其映射为面前机器人的动作——无需重新训练——而且往往还能完成其预训练数据集中未曾涵盖的任务。

S1能够执行长达10分钟的陌生任务，包括植物移栽、煎饼制作、手冲咖啡以及套件组装等。这些任务可能包含数十个操作步骤，要求机器人将此前未执行过的技能按序列组合起来。

在一项植物移栽测试中，Skild AI团队仅用11分钟就完成了从录制演示到在硬件上实现自主执行的全过程。该模型还能够在物体位置发生变化时作出调整，在出现错误时自行恢复，并将未被显式编程的技能按序列组合起来。

在Skild针对全新多步骤任务的测试中，其S1机器人在每个步骤上的成功率约为66%，而同类AI系统的成功率仅为9%，提升了逾七倍。Skild还估算，向机器人展示一段简短视频的效果，大致相当于提供约380个实操训练样本；若由人工收集这些样本，则可能需要50至100小时。

从科研到工厂作业

S1打破了为应对新情况而不断重新训练机器人的循环，允许操作员直接演示新任务，而无需为每次变更都准备新的数据集或开展新的训练。

在客户协议允许的情况下，Skild商业部署中积累的经验可用于优化更通用的模型，从而加速未来的部署进程。

这项工作已在工厂现场展开。Skild、NVIDIA与富士康正在双臂机械手上部署Skild Brain系统，用于高精度装配NVIDIA Blackwell系列设备。

在一个演示的工作流程中，机器人安装母排和限位块，拧紧16颗螺钉，并能在多步骤任务中适应各种干扰。这项工作需要精确的运动控制、接触感知、序列跟踪，以及在实际场景偏离计划时的恢复能力。

贯穿开发周期的NVIDIA技术

NVIDIA加速计算为Skild提供了足够的算力，使其能够利用仿真、人工视频、远程操控，以及在许可范围内的部署数据来训练其共享的机器人大脑。

NVIDIA Cosmos开放世界基础模型有助于丰富训练数据，并将视频转化为结构化描述；Cosmos Curator则能大规模地对数据进行标注、筛选和整理。

Skild广泛使用NVIDIA的开源仿真框架，在机器人投入实际部署前对其进行训练与验证。NVIDIA Omniverse库和NVIDIA Isaac Sim框架提供了基于物理的虚拟环境，可用于生成数据、测试边缘案例并验证行为。

Skild还借助Isaac Lab这一开放的模块化机器人学习框架，进一步强化其机器人大脑的各项技能。Isaac Lab基于Newton物理引擎，帮助Skild的工程师准确建模各类物理参数，如力、接触、碰撞和压力，并缩小仿真与现实之间的差距。

Skild与NVIDIA还在联合开发新的GPU加速仿真求解器，能够快速且精确地模拟机器人如何与固体物体发生物理接触、抓取和操作。这些求解器不久将作为Newton的一部分向所有开发者开放。

随着模型逐步进入生产阶段，NVIDIA Nsight工具可帮助工程师在训练过程中定位性能瓶颈，而NVIDIA TensorRT软件开发套件则对推理过程进行优化，使机器人在物理世界中能够迅速响应。

这些技术共同打通了数据、仿真、训练与部署各环节，而非将其视为相互独立的系统。

阅读Skild AI的S1研究，并探索NVIDIA Isaac机器人平台。