模型的数据要变天了?

这段时间“反蒸馏”话题甚嚣尘上,但我觉得这恰恰把一个行业推到了转折点,数据行业。

过去几年,大模型数据工作的主流形态是劳动密集型。画框、打标签、做清洗,交付物是标注本身。这个模式正在被淘汰,原因有两个。

一是需求升级了。新一代的数据工作要求深度任务洞察,能拆解完成任务的流程,能构造 sandbox,能定义 reward,甚至要懂算法、能跑初步的强化学习来验证这批数据可不可学。交付物从"标注"变成了三件套,环境、验证器、专家轨迹。

二是供给自动化了。头部大模型公司已经开始全自动构造环境,有的公司自动构造的环境数量超过了手工构造。这意味着通用的手工环境会被迅速商品化,只卖人力的数据公司会被自动化吃掉。

评判一个环境好不好,标准也彻底变了。它能否稳定地产生学习信号。难度要落在模型能力的边缘,太简单没有梯度,太难全是零奖励;奖励不能被 hack,模型找不到捷径;场景要覆盖长尾,而不是在常见任务上反复刷。这已经是算法工程师的工作内容,标注员的技能树完全覆盖不了。

中国的机会在哪。产业链成熟,人才多,这是底子。缺口在于国内多数数据公司还是劳动密集型,没有完成技术密集的升级。这个缺口恰好就是窗口,做一批中国的 Mercor,瞄准极高质量的长程复杂任务,覆盖多样的长尾场景。

路径至少有两条。数据公司引入 RL 人才,学会构造环境、定义 reward、跑基础 RL;或者现有的 RL 公司、Agent 公司转型做环境构造。两种路径往上长,可能长出一种新的商业模式,环境即服务,按环境、按验证器、按有效学习信号计价。这个计价方式的含义值得咀嚼,卖的不是工时,是学习信号本身的有效性。

人的价值在哪里上移。做自动生成器覆盖不到的真实业务长尾,做评判自动环境质量的工作(相当于环境的环境),提供真实世界的私有场景和行业 know-how。这三件事都依赖洞察而非人力,护城河也在这里。

数据行业这一轮洗牌,和当年软件外包行业的升级是同构的。从卖人头到卖产品再到卖服务,每一次升级都淘汰一批公司,也成就一批公司。这次轮到数据行业,而且时间窗口不会太长,自动化构造环境的速度比所有人预期的都快。

$智谱(02513)$

@今日话题 @雪球创作者中心 #雪星球计划#




雪球是一个投资者的社交网络,聪明的投资者都在这里。
点击下载雪球手机客户端 http://xueqiu.com/xz]]>

参与讨论