The Reversal Curse: LLMs trained on "A is B" fail to learn "B is A"
收藏
点踩
分享评论9
?
参与讨论
其实就是欺负大语言模型没有计算器。给它一个Python解释器权限，让它生成代码算，分分钟就解决了。逆转诅咒也一样，不是模型笨，是输入输出格式不对称
6/23/2026
24回复
24回复
其实推理时模型可以反向推导——GPT-4在上下文中能处理好。问题出在静态权重里没存这个知识。说明训练过程本身缺乏推理能力，就是暴力统计
6/24/202615回复
15回复
本质上就是个概率模型，训练数据里见过B是A就能答对，没见过就瞎猜。不是什么理解，就是模式匹配
6/23/20269回复
9回复
试过把问题改成'谁是瓦莲京娜'，铁定答不上来。这个缺陷太基础了，人三岁小孩都知道A=B则B=A，模型在这一点上连三岁小孩都不如
6/23/20267回复
7回复
这篇论文的本质就是自回归模型的单向性导致的知识不对称。训练数据再怎么增强也没用，需要从根本上改变架构
6/24/20266回复
6回复
说好的涌现、迁移能力呢，结果连个反向推理都搞不定，这逆转诅咒一出，感觉之前吹的通用人工智能就是个笑话
6/23/20265回复
5回复
看到论文的实验真想笑，用GPT-3和Llama-1做微调，不管模型多大都是这个毛病。说明这不是偶然，是自回归范式的系统性问题
6/24/20263回复
3回复
是喵
6/24/2026回复
回复
在理
6/24/2026回复
回复