200个任务、1700万帧!大晓ACE-Data-0把真实家庭场景变成物理智能「数据引擎」




近日,基于全球首创的具身模型信息密度定律与以人为中心的环境式数据采集方案2.0,并依托环境式采集引擎ACE,大晓机器人联合南洋理工大学 S-Lab 重磅开源 L5 级多模态具身物理智能数据集 ACE-Data-0。通过对真实物理交互、长程任务过程与多模态因果信号的高保真采集和高精度标注,ACE-Data-0 为全球具身模型提供面向泛化、反思与进化的高质量数据底座,推动通用物理智能加速跨越实验验证,走向规模化产业落地。
具身数据的价值不在于规模堆叠,而在于能否高密度记录那些真正改变行动结果的信息;在这一定律下,L1-L2 级数据仅能支撑基础预训练,L3-L4 级数据止步于已知任务的拟合;ACE-Data-0 数据集已迈入 L5 级,深度融入接触压力、自然出现的犹豫与恢复过程,以及真实家庭场景中的开放行为变量,通过桌面尺度与房间尺度两套互补采集系统,将真实家庭环境转化为可持续记录、统一标定和精准同步的具身数据采集场景,让日常生活中的真实交互直接成为机器人学习物理世界的数据来源。
具体而言,ACE-Data-0 包含 150 小时数据、1700 万帧视频、200 个任务类别、50 名参与者、2 个真实家庭场景和 7.5 万个交互片段,覆盖原子级人—物交互、长时序家庭场景活动链及人与场景交互。数据同步采集第一人称视频、多视角第三人称视频、全身与手部运动、物体六自由度轨迹、多通道音频与触觉信号,并将全部模态对齐至同一时间线和空间坐标系,完整保留人类感知、行动、接触与环境变化的连续过程。
基于 ACE-Data-0,大晓进一步构建了从底层信号、场景组成要素到具身交互理解的三级评测基准,系统检验模型在接触感知、人体与物体状态恢复、手—物交互理解等关键环节的真实能力。ACE-Data-0 因此不只是一批家庭场景活动视频,更是一套面向模仿学习、世界模型、视觉—语言—动作模型(VLA)、机器人策略学习及人类示范向机器人迁移的具身数据基础设施,为通用物理智能走进真实世界提供更完整、更可扩展的数据底座。
机器看见了动作,却没有看见完整的物理过程
过去几年,视觉语言模型、VLA 和世界模型快速发展,但机器人真正进入物理世界后,仍然面对一个基础问题:应该从什么数据中学习人类的行动能力?打开橱柜、倒水、叠衣服等日常行为,同时涉及视觉、全身运动、手部操作、物体状态、声音、触觉和任务规划。普通视频可以记录发生了什么,却难以准确呈现接触何时发生、力度如何变化、物体怎样运动,以及当前动作与前后任务之间的关系。
现有第一人称视频通常缺少精确的人体、手部和物体状态;动作捕捉数据又多来自理想化实验室,容易缺少自然遮挡、第一人称视角、音频和触觉。大量数据还停留在持续数秒的抓取、放置等单步动作,难以描述真实家庭场景任务中的长期依赖。因此,ACE-Data-0 不再把活动切割成孤立短片,而是连续记录感知、行动、接触和状态变化,让不同模态共同描述同一个物理过程。其重点可以概括为:完整感知、长时序任务、多模态同步。
从桌面到房间:两套系统覆盖精细操作与长程活动
精细手部操作与房间尺度活动,对采集系统提出了截然不同的要求。指尖接触、抓握变化和物体细微运动,需要近距离密集传感器;人在厨房、客厅和卧室之间移动,则需要大范围覆盖、全局视角和统一空间坐标。为兼顾两类需求,大晓将环境式采集引擎ACE设计为桌面尺度与房间尺度两套互补配置,并基于两套系统构建ACE-Data-0。
桌面尺度系统面向精细化手—物交互,在操作区域周围布置多视角摄像机、光学动作捕捉和触觉设备,重点记录抓取、倾倒、擦拭、切割、折叠等任务中的手部姿态、物体轨迹和接触变化。房间尺度系统覆盖厨房、餐厅、客厅、卧室等完整家居空间,通过广基线摄像机和全空间动作捕捉,持续记录参与者的全身运动、跨区域移动,以及发生在场景不同位置的连续交互。
两套配置共享统一的数据采集、同步、标定、质检和标注流程:桌面尺度回答“手与物体如何精细交互”,房间尺度回答“人如何在完整环境中移动、规划并完成任务”。采集过程中,参与者佩戴第一人称设备,系统同步记录四路鱼眼视频、IMU、头戴设备位姿、全身运动和手部关节状态;多视角外部摄像机则补足第一人称视角中容易被遮挡的身体和环境信息。
每个活动时刻均由多个视角同步观察,并与可度量的人体、手部和物体状态对应,使自然行为与高精度物理监督得以同时保留。此外,ACE-Data-0 还记录物体运动、全手掌触觉压力和多通道音频。视觉描述外部变化,运动数据还原人体与物体轨迹,音频记录碰撞和设备状态,触觉则提供接触、压力与滑动信息。不同模态共同构成对同一次真实交互的完整观察。
不是一堆数据流:把所有信号锁定在同一时空
多模态数据真正的难点,不是设备够不够多,而是不同设备产生的数据能否准确对应。摄像机、动作捕捉系统、触觉手套和音频设备通常拥有独立…