大型语言模型并不总是需要可读的语言

arXiv：2606.19857v1 发布类型：新
摘要：大型语言模型（LLMs）通常会以人类可读的自然语言为输入并进行交互，即便其目标读者其实是另一款模型。本文探讨了是否可以在紧凑且非标准的文本形式中编码语义信息——这些形式在牺牲人类可读性的同时，仍能被LLMs有效恢复。我们把这一类以模型为中心的文本表示方式称为“BabelTele”，在此并不将其视为一种固定协议，而是将其作为一种实证性的探索，用以考察LLMs生成和解释此类表示的能力。通过可读性诊断、模型似然度测量、人类问卷调查以及下游任务评估，我们发现，BabelTele能够在大幅偏离普通自然语言的同时，依然为经过指令调优的LLMs保留核心语义。作为一项与任务无关的表征范式，BabelTele具有极高的信息密度，即使文本量被压缩至原始长度的27.9%，仍能保持99.5%的语义忠实度。我们进一步评估了其在跨模型迁移、代理记忆以及多智能体通信等场景下的语义鲁棒性。研究结果表明，BabelTele能够在降低上下文开销的同时，总体上维持可靠的下游性能；不过，其有效性取决于压缩器与阅读器的组合以及具体任务设置。这些发现表明，人类可读性、自然语言的典型性以及模型端的语义可恢复性可以部分分离，为未来LLM系统的研究开辟了一条通往原生模型表征的道路。