少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠

王淏楠读过五个大学,读着觉得没意思就换。他做过 Agent,赶在 2025 年初那波 Agent 爆发的最早期;后来放弃更丰厚的 package 去做多模态,在腾讯混元负责多模态 RL infra,主导开源了 UniRL;最近又换了个方向,去具身智能公司做基模预训练。Agent、多模态、强化学习、具身,这四条线他几乎都踩过一遍,而且每次都是在别人往一个方向挤的时候,他往另一个方向走。

这期 42 章经,曲凯把他请来,沿着他的经历把这三段路重新走了一遍。聊的内容包括:为什么 Agent 最热的时候他反而走了、国内 RL 和海外的真实差距在哪、视频生成现在到底发展到什么程度、MiniMax H3 是什么水平、Astra 为什么让具身圈子震动、以及在这个时间点入局具身到底算不算「49 年加入国军」。

淏楠自己的答案很明确:他兴奋。他觉得 Astra 让他第一次感觉到具身这件事真的能做成,泛化能力这么强,而这才只是开始。下面按时间线把这场对话里值得留下的东西整理出来。

从混元到具身:他现在的角色 0:20

节目开头,淏楠先交代了自己的位置。在混元,他是后训练团队下的 infra 负责人,做的是全部多模态的 RL infra,也就是 UniRL,这是他在混元最主力推进的工作。现在他到了一家具身公司,负责整个基模团队,具体是预训练负责人,后训练目前还以研究为导向,叫预研。

他提到一个细节:各家具身的模型训练情况差不多,都还是以预训练为主,因为这个圈子还没有到能真正做很好的「真 RL」的阶段。

曲凯说,42 章经之前很少聊具身,因为觉得大家做的都差不多,聊不出差异性。这次请淏楠来,正好可以把从多模态到具身这个过程讲清楚。

Agent 最热的时候,他为什么走了 2:02

2025 年 2、3 月,Agent 大爆发。淏楠当时在 MiroMind,也就是戴季峰老师那家公司,是最早一批做 Agent 的人,从 7 月一直干到 2026 年二三月份。他做的是纯 language agent:搜网页、看新闻、读网页、写报告,搜得很好,报告也写得很好。

他毕业时拿到的 offer,package 比较高的基本都是 Agent 方向。当时另一个重要事件是「龙虾」,行业刚爆发,大家都想做。但他后来没继续做 Agent。原因他讲得很直接:

如果做 Agent,大概率是以造数据为主干一整年。

他在 MiroMind 主要参与 mid-training 和 SFT,在 mid-training 组做 web search 的数据构造。当时大家对 Agent 的数据长什么样、应该怎么造、MCP 应该是什么,都没有特别清晰的认知,整个团队在摸索。他觉得这件事对个人的积累和成长不够有利,也不够有趣。

后来好大哥庞天宇拉他去腾讯,说做图片视频生成,也就是 diffusion 生成。他问自己做什么,对方说要不要做 RL infra。2025 年底 RL infra 很火,翁佳艺在 Why Not 上讲过这个问题,翁佳艺是 CAI Lab 的早期员工,干了一年之后去了 OpenAI,淏楠私下也跟他聊过,觉得确实重要。于是他选了这条对自己成长「看起来没帮助」的路,去了混元多模态做 RL infra。

曲凯追问:多模态不也一样要搞很多数据吗?淏楠的区分在于,他更看重的是 infra 这一层的积累,以及在 language 上已经探索过一段时间的 RL 问题,能不能迁移到多模态上。

国内 RL 和海外的差距,卡在哪 6:13

曲凯听到一种说法:国内讲 RL 讲了很久,做的人也很多,但和海外的差距还是蛮明显的。淏楠的回答是:工程实践、infra 层面的代差其实没有那么大。最大的 gap 还是卡。

他的拆解是,代差的短板并不主要来自 infra,短板也不在于「这套东西我没写出来」,问题出在训练上的各个环节:数据、你能坚持投入多少卡、能训多久。卡少,实验就少,积累和经验就跑得慢,整体就慢。

他还给了一个很实际的对比:同样租一个月的云,要在一个月内把分数往上推,SFT 效率最高,暴力往上刷的能力最强。这也解释了为什么很多团队在提点这件事上更依赖 SFT。

这段 infra 经历对他个人是很大的积累。他描述混元的这套东西是一个闭环:组里有 infra、有 algorithm、有 reward。RL 尤其图片视频这类任务,需要训一个非常好的 reward,三者绑在一起形成闭环,再结合组内研发的算法,往主线上推,希望 diffusion 这块都往上面用。

Agent 和多模态,其实是围城 7:45

两个方向都做过之后,淏楠最深的感受是「围城」。做 Agent 的哥们觉得自己天天洗数据,没劲;做 video 的觉得 video 不体现智力;做 GUI 的年初一度觉得快黄了,怀疑是不是都要被 computer use anything 取代。

但他认为两个圈子都有有意思的事可以做。差别在于公司重不重视:有的公司视频生成做得非常好,有的公司完全不打算做。而 Agent 从现在的角度看,确实是交互的主线。

从个人职业发展角度,他给了一个很实在的判断:在大主线上,优点是公司做得不好你可以换下一家,但你还在主线上。这是现在做 Agent 的人天然享有的好处。做多模态的体验会更有趣一些,review 数据的时候看视频,比一条条读爬出来的 trace、写规则去筛,过程上更有意思。缺点是,如果这家公司不做这个方向,可能就没有很好的发展空间了。

多模态本身又分理解和生成两块。理解这块站在现在的时间点就是 GUI,腾讯有沃克巴迪,GPT 的电脑使用能力也非常强,做理解的同学们今年又觉得不错了。生成这块,后半年纯是搞 world model,再往后有一波人去做具身,淏楠自己就在这波里。

大厂做不了具身,多模态只有两条变现路 11:32

曲凯问,世界模型在国内基本等同具身,那从多模态到具身这个选择是怎么做出来的。淏楠先讲了大厂为什么做不了具身:具身不太赚钱,跟大厂的主线业务比起来,它更像车或者手机行业,产业链非常长,大厂对产业链的控制能力弱,利润率天然没那么高,不像软件那么暴利。

他的结论是,真要做具身,就得去具身厂做,扎根基层,看看素材怎么弄,真的上手去摇操摇两条。在大厂,尤其越大的大厂,部门划分非常细,你干了别人的事,别人会觉得你 overstep。

多模态最后看下来只有两条能继续推进、或者说变现的途径。一条是以 diffusion 这条路接着做视频生成;另一条是生成 action,action 也是用 diffusion 模型。从技术角度讲,两者的迁移能力很强,逻辑非常相近,用原来的 codebase 就能试一把。做 world action model 最早起航的那波人,早期很多都有 diffusion 的经验。

淏楠给了一个很顺的理解框架:具身的 action 也是一种模态。以前是视频和音频一起生成,现在是视频和 action 一起生成,本质上还是在做一个多模态模型,所以转过去很丝滑,周围不少同学也是这样转的。

至于为什么不继续做视频生成,他的回答是:2025 年做了一整年 language RL,年底到 2026 年初一直在想,视频生成里有没有那个「R1 时刻」。年初他们认为是有的,做了半年发现不行,并不存在比较 efficient 的 scaling law。

Seedance 为什么好,视频生成到了几分 14:11

曲凯问,那 Seedance 为什么做得这么好。淏楠认为跟他们的数据质量非常有关系。他这里指的更多是后训练,也就是 test time 的 scaling law。training 的 scaling law 大家都 follow 曲线的 k 值,跟模型结构更相关,堆数据是能往前推的,只是他们认为 training 的 scaling law 不够 efficient。

他补充,据他所知字节的后训练是 work 了的,但好多家都还没 RL work。即便 work 了,最重要的能力来源还是前面预训练那部分。

这也带出他对多模态竞争格局的判断:确实更看巨头效应。infra 其实便宜,弄十来个有经验的同学,两个月就能推到相对 reasonable 的水平,而且 infra 圈子开源做得比较好。但 data 没人开源,纯看自己的积累,走不了捷径,要不就花钱,要不就有产品帮你做数据回流和积累。最后看下来,得在有产品的地方做这件事才能做成。这个方向更吃资本、更吃大团队、更吃公司,一波比较厉害的人很难自己干起来。他们尝试过,完全没成。

曲凯提到自己在 B 站刷到的 AI 短剧,觉得已经几乎达到 Netflix 的水平。淏楠说能力没有到头,做成电影的水平没什么问题。但他提醒,这里面加了很多专业的人为因素,这跟各家要推出自己的 studio 很相关。人在创作中需要参与,但参与方式不是像以前那样很辛苦地做很多事,更多是用自己的 taste 去影响导向。

这也是为什么他认为视频里做 harness、好好做 Agent 非常有必要。coding 有公认的最优解,又快又好又整洁又好读;影片不一样,很多时候希望自己施加影响。目前这个圈子还停留在搞视频、玩视频的哥们会用这些工具,还不够便捷。模型能力要提升,交互模式也没有一套产品能成熟地把电影质感让大家用得上。他提到小红书那个编辑页面就好很多。未来一定得有一款 harness,或者交互式的中间层,套在电影质感的模型上边,把能力最大化,也让用户最方便地操作。

给现在的生成模型打分,他的答案是:如果满分 100 分,现在大概 60 分,还在半山腰。操作起来还非常麻烦,context 管理也不好,空间很大。

抽卡会不会长期存在?他认为抽卡的概念会变。现在的抽卡是有些 clip 质量很差、形变蛋疼;未来的抽卡是偏好问题,你和我的 taste 不一样,对什么算好影片的看法不一样,所以要选。抽卡一定存在,但存在的意义从这个时代到下一个时代会不同。就像以前线下拍摄,某一段咔掉了,或者拍好几段最后给导演选一段。

实时互动与 H3 的真实水平 21:37

曲凯提到 MiniMax H3 出来后,有人拿它做实时互动模型,在外网有点火。淏楠的评价是:H3 的模型能力大概是 Seedance 2.0 的水平,还是会生成不少废 clip,让它 propose 三段,可能不太行。2.5 更好,精细控制能力更强。

他特别提到 2.5 的可控性:能加很多 reference image、reference video,可以插很多 storyboard,比如一个人物的正面背面、发饰,一张图里包含好多张小图,代表这个人在某种情况下的物料,还有整体故事线的截图。2.5 能放很多图,按照你给的图生成视频,控制能力非常好,H3 不具备。他认为这是字节非常强的优势,能插很多 video、audio、图片,这件事不简单,因为要商品化,模型能支持这些,产品才能更好地被使用。

关于实时互动,曲凯给了一个分类:伪实时互动和真实时互动。伪实时是生成速度快于消费速度,还是你打完它生成,只是足够快;真实时是能真的跟你的对话做反应。淏楠认可这个分法,说大家应该都在第一条路线上,而第一条现在也没有很成熟。

崩的主要是一致性。加速有很多 trick:scheduler 的降噪技术、infra 层面的跳层、蒸馏,还有宋阳他们做的 consistency 那套一步生成。但这些技术整体上更容易让结果崩,常见的就是镜头转回来之后给你换了张脸,细节变了,看起来有点像盗梦空间,有点诡异。所以目前大家还是保质量优先于保 real time。

对真 real time,淏楠说 somehow 有一点点悲观:模型越做越大,为了 consistency 更好,堆更多能力的同时 size 也在变大,天然就更慢。曲凯接了一句很有意思的类比:现在大家先保质量、先保实用,但可能某天会出现一个视频领域的 Java,舍弃很多东西,换来更快、成本更低。淏楠说这个时间点很难预测,因为现在攻坚的还是能力,还在 60 分,没到能力溢出的阶段。

他自己用过 H3,还训过它的后训练,体感上没有那么容易,还是很慢。生成速度如果真的非常快,做 RL 也会方便很多,不然升个视频等半天,揉完一圈再去做,差得还挺远。

第二条路更像 video world model,给定 action 往下生成。最早是 Google 发过 demo,最近有些结果很像塞尔达,在地图上瞎闲逛跑图,视频质量还不太行。有人在做,但这个圈子最近有点不太火。

世界模型做迷茫了,具身的两条路线 27:45

曲凯说世界模型最近又被骂,好多哥们做得有点迷茫,不知道这东西做了 for what。淏楠补充了另一波冲击:Astra 这种白膜加上更小的地球去做渲染,比起吹一个巨大的模型仿真整个世界、再让你在世界里逛,看起来更 promising。

他还提了一个让圈子很受刺激的事实:李飞飞把公司卖了。大家会想,如果真能做好整个世界的仿真、做好那么好的交互,站在圈子最前沿的人如果看到了,为什么要卖?她肯定不缺钱。这件事给大家做迷茫了。

曲凯的判断是:如果连实时生成都还远,世界模型就更远。淏楠同意,说 WSD 这东西公司是觉得没做成的,这事在公司里发生过。但他也理解市场情绪的起伏:做 research 的同学可能一直都知道短期内做不出来,只是市场情绪把大家架在那了,觉得马上要做出来。而且很少有人想过,做出来之后能干啥。

不少厂商做过 video world model,很多小厂也做过,讲的故事是为了具身。后来大家发现,要做具身,为什么不直接做具身呢?具身没有必要一定走这条路。他拿两家公司举例:李飞飞的 World Labs 和乐坤的某家公司,都叫 world model,做的东西不一样。

他的理解是:你没有必要理解了整个世界之后再去做 action。乐坤那套就不是这样,不需要把草、叶子、树叶、光线都建模得很好再往下推进。理解当前,action 一步,再理解下一个,再往下做,就够了。最开始大家觉得 3D 那条路能打通 real to sim to real,慢慢好像有点变味了。

那正确的具身路线是什么?他分了两波人。第一波想做巨大的模型,在 Astra 也就是 GPT 那代模型出来之前,很多人在做,希望出一个非常大的模型,国内国外都有。国内真正花钱做这个的是几个大厂的组,说我家有这么大的视频生成模型、这么好的大模型,能不能调一下做具身,这很像 Astra 他们的逻辑。Astra 出来之后,尤其初创公司基本不做这条路了,因为没有技术积累,没有基因,也没有卡和钱。

他算了一笔账:具身公司现在最高的估值大概两百亿人民币,融到两百亿,账上可能一共五六十亿,不到十亿美金,跟真正搞模型的没法比。所以很多公司选择拥抱 Astra。具身公司讲道理应该做的,是最后变成两个系统,上面套一个,底下再套一个。

Astra 为什么震动了具身圈 32:22

曲凯问,GPT 发了那么多模型都没人讨论它跟具身的关系,为什么 Astra 出来以后具身圈子比较震动。淏楠先解释了具身需要什么样的模型。

具身本质上需要一个能看懂世界、然后给自己的硬件下指令的模型。不管夹爪还是灵巧手,核心是最后输出一个低维 vector,可能二十多维,每一维都有准确的意义,表示关节角之类,是有物理意义的,而不是大模型同学常规理解的 4096 维 latent。输入是 video,可能多个角度,video token 之后 latent 进来,transformer diffusion 降噪,出来一个小 vector。这是一个高维到低维的 input output 结构。

以前让 language model 输出这种 vector 很怪:左边一个方括号,第一个数逗号,第二个数逗号,括号完。让 GPT 自回归生成一串数字,再解析成电机转角去操作,怎么想怎么怪,试了也不 work。模型的 next token prediction 给你输出 0.96 逗号,对模型来说有点变态,而且之前完全做不到。

Astra 震动的原因有两点。第一,它有非常好的三维理解能力,能按照指令真的输出一段序列,这段序列真的有物理意义,真的能操控。第二,这波是真的训了具身数据,之前即便有也非常少。

他还讲了一个 OpenAI 内部的细节:做具身的团队是有人、也收了很多数据的,但真正做具身的团队有点不知道怎么做。后来发现,他们做的数据、能力提升,最后是喂给 VLM、帮助 VLM 提升,而 VLM 的能力主要提升又来自 LM。相当于所有数据最后都回滚到主线的大模型上。大模型这条线往具身做的人也有点不知道怎么搞,最后发现堆到主线里反而最 work。这跟它弄 3D 的 Blender 软件一样,最后也是这么推过去的。

曲凯试着总结:一部分是理解看到的画面和视频,另一部分是有具身数据,把理解转化成电机 vector。淏楠认可,并补了一句:当你家主线模型很强的时候,你会发现原来那种更 robot learning 的做法,不如直接往大模型里堆。

还有一个让他觉得很强的点:每家本体和设备参数都不一样,Astra 并不是靠精确的标定,而是动一个关节之后看视觉效果,猜出变量的变化对应哪个关节、带来什么效果。它输出一段,看一段视频,能把自己输出的影响和视觉挂钩,在多轮交互里看明白这个关系,所以能动得非常好。

那 reward 是什么?曲凯问是不是设定「拿到苹果」这种目标。淏楠认为 reward 是从其他领域迁移过来的,不觉得是真的对着具身吹的 reward。它应该是在其他 Blender 任务里,看到渲染、操作一下、视觉上的 3D 效果怎么变,形成了关系,这套逻辑可以迁移。

真机数据和仿真数据,各自的价值 37:27

数据分两条线:实体的 ego-centric 真机数据,和虚拟仿真数据,比如 3D、游戏。淏楠说这看对谁而言。对大模型厂商,仿真数据很有价值,是一个很好的 environment,像个 game。对具身厂商不是,具身厂商最后 care 的是东西能不能做成、能不能操控他家机器,所以要用 exactly 他的机型去采各种 trace,不管成功还是失败,失败的加个 DAgger 让人接管继续成功。

曲凯追问:如果仿真已经足够好,还能继续 post training 针对性地调,真机数据的价值是不是会下降。淏楠没有这种感觉。他举了个很具体的例子:抓这个动作,两个手指也能捏起来,但你想要的真正的抓,是五个手指非常贴合在瓶子上把瓶子抓起来。如果全是仿真环境,最后可能拿中指和食指给你捏起来了,不符合你想要的效果。

所以仿真环境的 gap 还不太能让它真的成功,除非仿真做得非常好,那就又回到 real to sim to real。如果 simulation 环境真的做得屌得不行,整个具身的发展路线就要重新考虑,那条路确实能 scaling up,具身厂商和大模型厂商应该都会走。但目前 simulation 非常难做,物理的摩擦系数这些都非常难,World Labs 那条路径技术上真不简单。

大脑会变成大模型厂商的竞争吗 40:12

曲凯提了一个观察:具身公司的 PR 文章里,基本都在讲自己做大脑做小脑,估值才足够高。但按现在的发展路径,大脑没钱没卡做,大多数人也没有真的怎么做,Astra 又已经这么强,后面大脑是不是就变成 LM 的竞争了?国内是 DeepSeek、Kimi、Seed 这些,海外是 GPT 和 Claude。那国内初创的具身公司是不是就不用管大脑,做好小脑和实际交付的部分就好。

淏楠分几层回答。第一,很多公司讲大脑是为了估值,或者说对估值非常有益。第二,当年戴娜那套 system 0、system 1、system 2 的划分,那个 blog 是在 Astra 出来之前画的。现在他觉得可能不要 0 了,0 和 1 是一个,2 是那个最大的模型。发展趋势确实是 system 2 直接从一个本体、加一个贼大、language thinking 能力非常强的大脑,两个组合去推进。

然后是卡。他的说法很直接:具身厂商的卡是远远不够的,可能后边得加俩 0,跟大模型厂商差两个数量级。大模型是五六家在分卡,具身是上百家在分,而且还得是 LM 剩下的。

这个时间点入局,是不是 49 年入国军 41:59

曲凯把问题摆得很清楚:具身估值已经非常高,2025 年就觉得有泡沫,结果 2026 年更上一层楼;Astra 出来又对整个具身的大脑故事有很大影响。你在这个点加入,没考虑过这些问题吗?

淏楠说好多人问过他。他的回答是:视频那块不是没机会,可以加入初创,也可以在大厂做。但这跟个人偏好有关系。他觉得视频生成不是硬核生产力,更多是 for 精神享受。他想在这个行业里从事几十年、十几二十年,希望做更能影响大家、更生产力方向的东西。所以他最后想做 physical AI,把 AI 带到物理世界,以各种形式进入生活,只有到 physical 领域才能改变大家的生活。他非常坚定做这个方向。

曲凯追问:如果纯短期利益驱动,最理想的选择是什么?淏楠答得很干脆:当年就做 Agent 了。当时 TikTok 给了一个相当可观的 package,在今年的美国,做的是套在北美 TikTok 视频上面的一套 Agent。他说那个 offer 确实香。

曲凯又问 AI for Science。淏楠说这个事他相对了解,后来看是两波人在玩。一波是搞 science 的哥们搞 AI,他老板的 PhD 是 MIT 物理系的,很 solid 地解 PDE、解 ODE,拿 AI 解这些,很有价值,比如 WiFi 信号覆盖,大场景里有遮挡,怎么布最好,是个很好的优化问题,流体力学也可以解。另一波是最近跟 AI 的哥们搞的,拿 AI 帮助化学做实验。但化学还是需要一个实验工厂去做湿实验,而非纯干实验。这跟具身线下的素材很像,素材也是工厂。所以第二条路可能还是需要有一个具身这样的能力在,才能做这个事。他不是说 AI for Science 不好,但在他认知里,要不然是第一波的人在做了,要不然第二波还有点早。夹爪做得比较简单也可能能行,但具身做好了也能帮助他们做得更好。

三条线的现状与机会 45:24

节目最后,曲凯让淏楠分别总结三条线。

Agent:智力水平完全 OK,核心是怎么让大家更好用,现在主线推进的 GUI、CUI 都是这件事。开发的场景还是不够多,比如 game 这块大家开发得就少。下一个爆点是什么,他想不到,可能得看 Astra 下一波爆点是什么。他提到一个体感:很多人慢慢会觉得 coding 能力每次都在变强,体验好一点,但已经很难准确说出从哪个点提升更好,因为大部分情况下已经超过 AI 研发人的平均水平。所以未来还是在各种场景里做得更好,场景 cover 得还不够全。

多模态:他悲观一点,图片没什么可做的了,主要做视频,把视频可控性和视频里的 harness 交互做得更好。他挺确定未来半年会有更好的交互 studio 或者 harness 产生,让更多人使用。模型这块是大厂的竞争,据他了解,没有什么初创再重头 pre-train 自己的 video model,这不现实,视频挺贵的。早年搞过视频的肯定爬过 YouTube,现在反爬机制非常难,一爬就封号,各个平台都在防止你投他们家视频。所以要不就看看有视频积累的那几家还能做一做,小厂做不了。

具身:玩法不一样,大厂有大厂的玩法,做上面那一套;小厂要有壁垒,要有自己的硬件,不然怎么跟大厂做差异化。硬件就是谁的硬件做得更好,谁能把硬件和 system 1 绑定得更好,这是 coding 的逻辑。上面再套一个 system 2,这是他认为小厂的核心壁垒,要不然就变成制造业了。小厂的逻辑是做 coding,自己的产品绑定自己 train 的 7B 到 16B 小模型,调得更好,对接外边的大模型,把这一套跑通,尽快做实际交付。估值这么高,想让它更高,只能真的做出东西、真的有场景。

他举了酒店的例子:叠被子这件事真的可以做,因为酒店的地是平的,可以用轮式而非双足。酒店是既不是纯标准化、也不是非标化的场景,某种程度上固定,但乱的程度又不太一样。这类场景能做成,成本降下来,替代一波酒店的整理工作,是可以做一做的。

Astra 算不算具身的 GPT-3 时刻 48:55

曲凯问,具身圈一直在等那个 GPT-3 时刻,Astra 算吗。淏楠说,确实有点算,它真的挺强,甚至可能替代部分素材员。

他描述了一套数据管线的逻辑。假设你的模型在某个场景成功率只有 50% 到 60%,在这个没训过的场景里泛化到 50% 已经非常不错。让它去操作,出问题了,及时让 GPT 接管,GPT 实时读视频,说这个要接管了,把后面的操作 route 给 GPT,GPT 做完后面的操作。这条遥操数据非常有价值,被留存下来。你拿这些数据迭代,训自己家的 7B、8B 模型,把成功率从 60 拉到 80,再让它去没人的情况下遥操,再出问题,再 route 给 GPT。GPT 都接管不了了,再让一个素材员盯着,不是一个人盯一个,而是及时接管。这样形成一套优秀的数据管线:随着成功率提高,GPT 调用量变少,人的负担也减小,scaling up 的逻辑才真的成型。

所以 Astra 甚至能摸出素材。实际跑的时候,大部分情况能成功,实在成功不了,GPT 上来帮你操作一把。他认为让 GPT 直接操作机械转角不划算,太慢、太废。最后可能是一个大模型管着,类似 speculative decoding:小模型先 draft 一遍,大模型 approve 或者不 approve。具身里就是小模型先一顿操作,快废了,我接管,这条接管数据叫 error recovery,是数据里非常有价值的,失败了怎么回来,再回流,形成真正能转起来的管线。因为具身很难家用,你很难回流这些数据,不像 GPT 用一用就回流了。把 GPT 在这个 loop 里当成非常重要的一环,是能推进具身实际应用的。

曲凯问,Astra 的具身这块未来会不会被其他模型蒸馏出来,变成开源。淏楠说,刚才聊的其实已经是一种蒸馏。蒸馏分两种:硬蒸馏是真的让它揉出 trace,一如 language 里的蒸馏,但具身里蒸不了,成本过高,没必要;软蒸馏就是刚才讲的那套,机器人操作一半失败了,它接管之后生成的 trace,你还是用的,量小很多,而且能带回到正常轨迹里,自己的模型还能继续操作,相当于只争这一两步,成本能 cover,数据很有价值。这种软蒸馏大概率不是大厂在做,是具身厂在做,因为具身厂好布设备,好在素材里布这个东西。

最后曲凯做了个总结:具身在国内从 2023 年到现在三年多,故事变了好几波,估值都很高,Astra 出来以后大家又拉到同一起跑线,有好有坏,但解锁了非常多新的可做的事情。未来几年估值和市场怎么变不知道,但从具身本身的发展来讲,会解锁各种新的可能性。

淏楠的回答是兴奋。Astra 对整个行业的意义,是让他第一次感觉到:这东西真的能做成,真的能做,泛化能力这么强,而且这还不是 3.5。他觉得这是一个非常重要的节点。

把这场对话听完,能带走的判断大概有这么几条。做方向选择时,短期 package 和长期积累经常是两条路,淏楠每次选了后者,理由是「有趣」和「能影响生活」,这两个标准不一定对每个人都有用,但至少自洽。多模态生成这条线,infra 便宜、数据昂贵,竞争会向有产品、有数据回流的巨头集中,创业公司的机会在交互层和 harness,不在重头训模型。具身这条线,Astra 抹平了各家在大脑上的部分积累,小厂真正的壁垒在硬件、在小模型和自家产品的绑定、在能真的做出东西并产生数据的场景,比如酒店整理这类地面平整、半标准化的环境。至于现在入局是不是 49 年加入国军,淏楠的答案已经写在脸上:他认为是 GPT-3 时刻的前夜,而不是终局。


网页版: · 原节目:在小宇宙收听 · 精读由 AI 基于节目转写整理。

参与讨论