儿童学语言胜过AI——而我们仍不知其所以然

据我们所知，人们至少已经相互交流了10万年。在这段时间里，世上只有一件事能完美流利地学习人类语言：一个人类孩子。

现在有两个人了。

ChatGPT发布仅四年后，许多人现在理所当然地认为可以用手机或电脑自然地交流。像Claude、DeepSeek和OpenAI的GPT模型这样的大型语言模型，足够流利且灵活，可以令人信服地伪装成人类。但如果你看一眼计算幕后，就有个陷阱：教计算机使用人类语言仍然需要非人类的数据量。LLM轻松能处理的单词数量是人们掌握母语过程中的十万倍——而且远远超过孩子们一岁生日时能听到的语言，那时他们通常开始掌握语言。

斯坦福大学认知科学家迈克尔·C·弗兰克谈到大型语言模型时说：“最近的进展令人惊叹。”但我们仍然需要烧毁一片森林，挖掘所有人类知识的总和，才能在一年内重现我们客厅里发生的这一里程碑。”

这种孩子和机器之间的巨大差距被称为数据效率差距。这也为认知科学家提出了一个诱人的问题，也为人工智能模型的设计者带来了挑战：孩子们怎么还能超越那些语言最复杂的机器？

寻找答案对人工智能研究和认知科学都具有重要意义。在过去十年里，语言模型大多是通过变大而变得更好。Meta两年前发布的开放权级LLM Llama 3.1，迅速被吞噬15万亿代币（类似单词的语言片段）在预训练中——这是训练模型的主要步骤，在模型尚未针对特定任务（如聊天机器人）进行微调之前完成。乔治城大学认知科学家兼语言学家Ethan Gotlieb Wilcox表示，前沿模型可能对10倍的数据进行预训练。但可训练的互联网资源有限，最终——也许早在2030年代——这片易于获取的数据源可能会枯竭。

孩子们证明了用更少的资源也能学到更多。少得多。一个在语言丰富的家庭长大的未成年少女，可能听过接近一亿字的内容。再加上识字率，到20岁时字数可能达到3亿字。

这种规模差异只能用类比来表达。威尔考克斯说：“克劳德见识过一整座城市一代人将经历多少语言。”如果你把训练现代大型语言模型的所有词都打印出来，你可以堆出一个能超过国际空间站的词汇堆。而人类的1亿字，则仅有20米。而我们能用的远远少于此。

通过逆向工程孩子们的学习方式，科学家希望能够创建更高效的数据效率AI模型，这些模型可能适用于从有效视频训练AI到为少数语言群体打造聊天机器人等各方面。在机器学习模型中检验人类学习的假设，也能解决关于语言和儿童思维发育的长期问题。我们是天生就有语言本能吗？还是说，即使是原则上，孩子也能纯粹通过经验学会语言？我们处理语言的方式是生理上的一种怪癖，还是至少部分反映了语言使用和学习的普遍限制？

基本要素

我们大多数人意识到语言难，只有在童年后尝试学习新语言时才会有。过去完成时，卷曲rs和鼻化元音、属格、短语动词、语法阳性表和阴性勺子——许多是成年语言学习者语言折磨的工具。不过，学习母语通常并不难。幼儿通常在听到大约1000万字，或者在上限3000万字后，开始产出语法正确的句子。

“这简直是奇迹，”弗兰克说。“如果你用三千万字训练GPT-2，你得到一个无意义生成器;你不会有孩子。”

宝宝到底是怎么做到的，真是个谜。研究人员对孩子在不同发展阶段学习内容及语言使用情况了解甚多，但仍有许多未知。也许最令人难忘的问题是，为什么婴儿还能学会语言。人类语言的句法——将单词组合成句子的规则——包含递归的嵌套结构，使我们能够用有限的词汇和词汇片段表达几乎无限的想法。这似乎是婴儿应该遇到的问题。它们只是在无底语言海洋的浅水中溅水。然而，不知怎的，这就足够了。从一滴水，他们推断出深度。

麻省理工学院语言学家诺姆·乔姆斯基在20世纪50年代提出的一个解决方案是，婴儿天生就具备语法知识。乔姆斯基是在回应心理学家B.F.斯金纳倡导的另一种观点，即语言习得完全是环境因素。斯金纳认为语言是通过条件反射和强化学会的，就像狗学会坐下或摇晃以获得零食一样。乔姆斯基反驳说“刺激的贫乏”——即语言，尤其是句法，过于复杂，儿童接触语言过于“贫乏”，无法完全通过经验学习。加州大学欧文分校的语言学家兼认知科学家理查德·富特雷尔说：“他的标志性论点本质上是：语言不能仅凭统计学来学习。”相反，乔姆斯基认为语言基于一套逻辑规则，并认为儿童需要先天了解这些规则，才能从零散的言语中推断出语言的语法。

“这简直是奇迹......如果你用三千万字训练GPT-2，你得到的是一个无意义生成器;你不会有孩子。”迈克尔·C·弗兰克，斯坦福大学认知科学家

乔姆斯基的语言观在美国语言学界以生成语法的名义主导了数十年。它对20世纪50至60年代的计算机科学产生了重大影响，当时人工智能正处于首次繁荣期，语言学与自然语言处理之间的界限在大量军事资金中逐渐模糊;五角大楼希望拥有能够理解英语并翻译俄语的计算机。

尽管简单神经网络早期取得了成功，能够识别和重现统计模式，但美国的人工智能研究者大多采用了受乔姆斯基理论影响的基于规则的框架。他们试图通过明确将规则编码到程序中来教计算机语言——可以减少沉浸式体验，多做语法课。这种方法属于更广泛的趋势——符号人工智能，持续了数十年。它也在很大程度上未能生成真正能够大规模处理人类语言的模型。在1970年代开始的“人工智能寒冬”中，自然语言处理的兴趣逐渐冷却。

事后，神经网络开始重新流行起来。但直到2010年代，随着计算机硬件变得廉价且功能强大，互联网日益普及，他们的性能才开始引起关注。到了2018年和2019年，基于新架构——变换器——并训练数十亿代币的BERT和GPT-2模型，向内部人士明确表示，从海量数据中学习是可行的。2022年，随着OpenAI聊天机器人ChatGPT的突破性成功，大家都明白了这一点。

大型语言模型不是大脑。它们是强大的统计学习者——天真的模式学习机器，没有任何融入人类皮层的进化生物学特性。换句话说，它们正是二十年前生成语言学家会想到的那种无法学习语言。然而他们却在这里，写出可信的十四行诗，通过语法测试。

加州大学伯克利分校的发展心理学家艾莉森·戈普尼克说：“无论你对人工智能多么怀疑，大家真正印象深刻的是：这些东西会学习语法。”我没想到会是这样。而且我觉得大多数人没想到，仅凭大量语言样本的统计数据就能理解语法。”

但如果从一个小比如语言样本——比如儿童大小的？有可能做出一个婴儿比例的模型，不仅仅是一个无意义的生成器吗？

婴儿语

加州大学圣地亚哥分校的语言学家兼数据科学家Alex Warstadt回忆起BERT和GPT-2发布前的那些年，是一个令人振奋的时期。2019年，他还是纽约大学语言学博士生，眼睁睁看着自己的领域发生变化。语言模型能够通过翻阅文本学习英语，这一事实本身就挑战了当时盛行的乔姆斯基思想。但许多语言学家仍然怀疑大型语言模型能否告诉我们人类如何习得语言的任何信息。

“我总是在某个特定问题上遇到反对。那就是模型数据集的规模，“沃斯塔特说。“从未有过人类训练语言模型时，我们会对它们印象深刻。”

但沃斯塔特看到了大型语言模型的潜力：科学模型不必完美才能有信息量，而大型语言模型显然是对人类语言使用的强大模拟。通过构建关于儿童如何通过模型学习的假设，并衡量他们的表现——他们距离缩小数据差距的距离——科学家们是否能够验证他们的想法？2022年8月，Warstadt发布了一则推特讨论串他提出了神经网络可以成为有用的语言习得模型的论点。经过与人工智能研究员Leshem Choshen的评论交流，Warstadt提出了BabyLM的想法，这是一项由Warstadt、Choshen及其他几位研究人员组织的年度竞赛，旨在用小型数据集训练模型。

那是四年前的事了。此后，BabyLM增加了工作坊并激发了衍生作品，包括用中文训练的婴儿模型竞赛.主要活动挑战研究人员在一个“发展上合理”的语料库上训练语言模型，语料库仅有1亿词（对于幼儿尺度的1000万词），这些语料来自故事书、对话、电影字幕、简单英语维基百科、普通维基百科以及针对儿童的实际语音记录。乔治城大学的组织者之一威尔考克斯表示，这些模型的评估基于心理学家对人类使用的语法基准。

其中一种任务是向受试者——无论是人类还是机器——展示句子，并观察他们对语法不符特征的困惑或惊讶。例如，一个测试可能会比较这些句子柜子钥匙是在桌面上以及柜子钥匙是放在桌子上。“当人类看到'是'时，他们会说：什么？那不应该是'是'，“威尔考克斯说。对人类来说，这种惊讶可以通过追踪眼动来衡量。对于语言模型，研究人员使用一种称为surprisal的指标，评估模型预测句子或句子部分的可能性有多低。

比赛已经挑战了一些假设，比如课程学习的有效性.课程学习从简单的训练数据开始，逐步进入更复杂的输入——有点像从婴儿语开始，随着时间推移变得更复杂。沃斯塔特说，这也是第一轮BabyLM中最受欢迎的方法。但效果并不像预期的那么好。

“这种吸引力真的很难抗拒，你知道的。“[课程学习]似乎确实与我们认为人类学习的方式非常契合，”波士顿大学计算机科学家、BabyLM组织者之一亚伦·穆勒说。“但看起来这些变形金刚其实不需要把数据按那样排序才能有效学习。”

或许有些讽刺意味，最好的BabyLM模型根本不是受婴儿启发的。2024年的冠军GPT-BERT是一个变换器，部分训练用于预测序列中的下一个令牌，类似现代大型语言模型，部分则像BERT一样，一种“掩蔽语言模型”，用疯狂填词游戏式的方式填补令牌序列中的空白。令人印象深刻的是，当GPT-BERT预训练约1亿字时，它在BabyLM基准测试中表现超过了Meta的Llama 2 70B——一个预训练量约为该数值的1.5万倍的LLM。

不过，BabyLM模型还不如大型语言模型。许多软件根本无法生成文本，甚至 GPT-BERT 在现代商业模型面前显得笨拙。总的来说，虽然她们是“婴儿”大小，但这些模特的学习方式并不像婴儿。孩子们不是那些“体验”世界的唯一“文字”的无形计算机程序。他们通过感官——尤其是视觉和听觉——来感知世界。一些研究人员认为，为了缩小数据差距，机器需要开始通过儿童的眼睛和耳朵来学习。

感受这一切

大约15年前，迈克尔·弗兰克在斯坦福大学创办实验室时，科学家们并不真正了解婴儿如何体验世界。发展心理学家刚刚开始通过头戴摄像头窥见婴儿的生活。

“早期研究得出的见解是，孩子们的体验与我们想象的截然不同，”弗兰克说。“它更聚焦：他们有短小的手臂，所以物体就在他们面前。他们住在一片膝盖的森林里。”

弗兰克很兴奋用头脑摄像头视频训练机器学习模型，以检验关于儿童如何学习语言的假说，但他需要更多数据。于是他和四位同事招募了三个婴儿——都是心理学家母亲的孩子，他们知道自己将要面对什么——戴上头盔摄像头进行科学研究。该项目名为SAYCam记录每个孩子在六个月到两岁半之间每周两个小时的生活。

“[家属]愿意公开那段视频，这至关重要，”弗兰克说。“所以我们发布了它，人们开始用它训练模型。”

其中一位是普林斯顿大学的认知科学家兼人工智能研究员布伦登·莱克。2024年，当他在纽约大学工作时，他和同事们展示了模型基于61小时的原始SAYCam数据训练，学会识别物体并将其与词语关联起来.发展心理学中的许多理论认为，儿童需要一定的偏见，帮助他们挑出原始感官体验中的特定部分，并将其与语言片段联系起来。例如，莱克说，婴儿们认为像“鞋”这样新词指的是整个物体，而不是其中一部分（比如鞋带）。但莱克团队构建的模型能够学会识别视频中的物体，并将其与文字联系起来，没有任何偏见。“事实证明，你可以用远少于多种理论所建议的量，真正开始语言学习，”莱克说。不过，他补充道：“我们训练结束后，不会让两岁的孩子离开。”

但也许并不奇怪，这些模型无法通过用几十小时的短暂快照拼凑出来的视频，复制出孩子般的能力。这些不足可能只是说明缺乏现实数据。毕竟，婴儿不可能全天候戴头顶摄像头;像SAYCam及其继任者BabyView这样的努力，每周最多只录得几个小时。因此，研究人员只能在处理单个孩子生活中的极小片段，或使用大量来自多个孩子的影像数据集之间做出选择。无论如何，模型的训练数据仍远不及儿童的真实体验。

这种情况可能会改变。普林斯顿大学的神经科学家兼心理学家Uri Hasson过去五年致力于记录17个儿童生命中前1000天的项目.参与的家庭在家中每个生活区（除卧室和浴室外）都布设了摄像头和麦克风，几乎每天录制12小时。所得数据集，首次在最近的预印本中描述哈森表示，如果没有新的人工智能转录和视频分析工具，这种规模根本无法实现。“这是我们第一次有发言权，”他说。“这才刚刚开始。”

缺少的成分

到目前为止，视频训练模型证明很困难。虽然基于文本的模型在吸收大量训练数据集后能完全流利，但用儿童视频训练的多模态模型远非如此。例如，Lake的模型学会了简单的单词，比如“球”和“猫”。Warstadt表示，用视觉数据补充文本的尝试对BabyLM参与者来说并未奏效。戈普尼克认为问题可能在于孩子们不会只是坐着看着世界流逝。“孩子们正在积极探索，这意味着他们在主动选择自己的数据，”她说。“孩子们总是在不断尝试新事物。”也许这就是缺失的成分。

戈普尼克团队的研究——包括研究小学生探索一款受Minecraft启发的游戏——表明看似儿童游戏的过程实际上是学习因果关系的有效方法。孩子们寻求体验并采取行动，最大化他们的“赋权”，即对世界产生可预见影响的能力。

哈佛发展认知科学家伊丽莎白·博纳维茨说，与模型不同，孩子们意识到自己不知道的事情，并有动力去弥补知识空白。她说，儿童的社交生活也有助于他们学习。她的研究表明当孩子们知道有成年人在试图教他们什么时，他们会有不同的解读方式.博纳维茨说：“孩子们不仅仅是在根据他们听到的证据进行推理。”“他们在推理老师，关于老师的知识，以及为什么老师要告诉他们这些信息。”

这与模型学习的方式非常不同：被动且孤立地学习。也许如果模型能被设计成寻找信息来填补自身盲点，尝试语言，观察其他语言使用者如何反应他们的咿呀学语，并推理某种模拟的社交世界，他们会学得更好。去年的BabyLM实际上让模特们通过与其他模特互动学习。但社会模型并未优于标准模型。

在领先的行业实验室中，Meta似乎最热衷于从儿童身上汲取灵感——特别是在视频训练模型方面。两位Meta研究人员参与了BabyLM的多模态分支，Meta科学家们——以及包括Frank在内的学术研究人员——最近宣布了在婴儿头戴摄像头视频上训练模型的基准与挑战.弗兰克还说，一家名为“拍打飞机”的隐形人工智能初创公司对他的研究产生了兴趣。Meta、Google DeepMind、OpenAI和Flapping Airplanes均未同意接受采访。

Gopnik说，目前边境实验室还没到争相向孩子们借用把戏的阶段。她认为下一代人工智能——无论替代变压器是什么——将从发展心理学中汲取教训。

也许最吸引人缩小数据差距的理由，是它能帮助我们更好地了解自己。

穆勒说，总体来说，机器学习社区对模仿大脑的兴趣不大，更注重打造一个能正常运行的东西。但他认为，人们对数据效率差距的认识和兴趣正在增长。一个例子是Q Labs于2026年3月推出的NanoGPT Slowrun基准测试。穆勒说：“他们的目标与BabyLM非常相似。”“但他们放弃了学习人类语言的动机，真正专注于数据效率。”

Warstadt希望缩小数据差距的一个原因是实现人工智能民主化，使大学及其他没有超大规模资源的机构能够训练出优秀的模型，并在人工智能研究中保持相关性。奥斯陆大学的机器学习研究员、GPT-BERT的设计师之一David Samuel有着更个人化的理由去研究这个问题。他是捷克人，在挪威工作，捷克语和挪威语用于培训大型语言模型的数据远少于英语。塞缪尔说，像萨米语这样的少数族裔语言可能只有数千万个代币可用——这大约相当于一个幼儿的暴露规模。“问题是，”他说，“我们如何开发出与英语模型同样具备小规模语言能力的语言模型？”

但也许最吸引人缩小数据差距的理由，是它能帮助我们更好地了解自己。

博纳维茨表示，她最初对大型语言模型能否揭示认知相关信息持怀疑态度。毕竟，LLM和大脑是非常不同的。大脑是具象化的。我们的神经元不是整齐的代码行，而是活细胞。我们的大脑会随着学习和年龄增长而成长和变化——大型语言模型（LLM）预训练一次，绝不再训练。但博纳维茨说，尽管这两种体系差异很大，“我其实是在修正我的信念。”她被研究模型的想法所吸引，比如比较心理学家研究动物的心智，以揭示我们自己的思维。

像Warstadt、Frank、Wilcox、Lake和Hasson这样的研究人员已经把语言模型当作一种语言实验老鼠，虽然不完美，但对真实人类语言使用者来说是有用的替代品——尤其是针对那些更关乎学习、语言和信息处理的问题，而非我们大脑或生物学本身的问题。当模型能用我们认为不可能的语言做事时，这挑战了旧有的假设。研究人员还可以将语言学习的假设构建到模型中——比如，通过模拟不同程度的双语能力或者剥夺模型接触某些语法形式的机会——并以一种现实儿童无法做到的方式检验这些假设。富特雷尔将此事比作教外星人语言，然后打开它的大脑看看发生了什么。

虽然其他动物会交流，但只有人类会交流。现在，既不是动物也不是人类，也有会说话的东西。即使模型和思维差异巨大，LLM也为比较研究打开了可能性。“在过去十万年，或者说人类语言存在的时间里，人类是宇宙中唯一使用语言的实体。现在又有了另一种语言实体，“沃斯塔特说。“终于有了模特;不是指语言模型，而是模式有机体。”

伊莉丝·卡茨是一位常驻奥地利的科学作家。