从 Token 水印到 AMR 语义水印:大语言模型如何在普通文字里藏下水印

从 Token 水印到 AMR 语义水印

一张纸币可以有水印,因为纸张内部可以留下特殊结构。数码照片也可以加水印,因为图像包含大量像素,可以在不明显影响观感的情况下修改其中一部分。

纯文本看起来没有这么多空间。

假设你收到一句话:

The committee approved the proposal after a lengthy discussion.

把它复制进记事本,去掉字体、颜色和网页格式以后,留下的只是字符。除了零宽字符、特殊 Unicode 符号之类的办法,似乎没有什么地方可以藏信息。

近年的大语言模型水印研究采用了另一种思路:不修改文本文件本身,而是在语言模型生成文字时,有意改变某些词出现的概率。

这样产生的水印不依赖字体或文件格式,而存在于文本的统计规律中。

一些更新的研究又进一步尝试把水印放到句子的语义结构中,而不是具体的 token 上。

这两条路线分别可以用 KGW 一类 token 水印和 SWAN 一类 AMR 语义水印来说明。

有一点需要贯穿全文:

水印检测是在检查某种预先定义的水印信号,并不是通用的“AI 文本鉴定”。

如果一段文本没有检测出某种水印,不能据此判断它一定由人类撰写。一个没有使用这套水印机制的语言模型,也不会因此被检测出来。

语言模型生成下一个 Token 时发生了什么

假设语言模型已经生成:

The sunset was ...

下一个词可能是:

  • beautiful
  • stunning
  • gorgeous
  • spectacular
  • breathtaking

简化来说,语言模型每生成一个 token,都会先给词表中的候选 token 计算一个分数,再把这些分数转换成概率,然后选择下一个 token。

这里的 token 不一定是完整单词,也可能是词的一部分、标点或其他字符组合。

生成过程中有时只有很少几个合理选择。

例如:

The capital of France is ...

Paris 的概率可能远高于其他候选词。

有时则有很多合理选择:

It was a ___ afternoon.

这里可以填入 pleasantquietwarmlovely 等很多词。

后面这种情况给文本水印留下了空间:如果几个候选 token 都很合理,可以稍微提高其中一部分 token 的概率,而不必明显改变句子的意思。

2023 年,John Kirchenbauer 等人提出的 A Watermark for Large Language Models 系统研究了这种方法。[1]

把词表临时分成“绿色”和“红色”

假设一个简化的词表只有:

apple
dog
house
blue
water
happy
car
pizza
...

在生成下一个 token 时,水印算法把词表伪随机地分成两个集合:

  • green list
  • red list

例如某一步得到:

Green:
apple
house
water

Red:
dog
car
pizza

一种很直接的办法是禁止模型选择 red list 中的 token。

这样水印信号很强,但容易损害文本质量。

如果模型面对:

The capital of France is ...

Paris 正好被划入 red list,强制禁止它显然不合适。

因此更实用的 soft watermark 不禁止红色 token,只给绿色 token 的 logit 增加一个偏置:

$
l'_i=
\begin{cases}
l_i+\delta, & i\in G
l_i, & i\notin G
\end{cases}
$

其中:

  • $l_i$ 是原始 logit;
  • $G$ 是当前 green list;
  • $\delta$ 控制绿色 token 得到多大的额外偏置。

假设 beautifulstunning 原本都比较合理,而 stunning 正好属于 green list,那么加上 $\delta$ 后,模型选择 stunning 的概率会上升。

如果某个答案本身已经占据很高概率,一个有限的 $\delta$ 通常不会轻易改变结果。

因此,这类水印比较适合生成选择较多的文本。选择越少,水印可以利用的空间通常也越小。

Green List 不是固定词表

如果 beautiful 永远属于 green list,攻击者收集大量文本后就可能发现模型异常偏爱某些词。

KGW 一类方法不会这样设计。

当前位置的 green list 会根据前面的 token 重新计算。

可以简化为:

前文 token
    ↓
Hash / PRF
    ↓
伪随机状态
    ↓
当前 Green List

因此,同一个 token 在不同上下文里可能有不同身份。

apple 在一个位置可以是绿色,在另一个位置也可以是红色。

真正的水印规律不是:

这个模型特别爱用 apple。

而是:

在很多由上下文决定的伪随机划分中,模型选择 green token 的频率持续高于随机基线。

这里还需要区分公开和私有方案。

原始 KGW 设计可以采用公开的水印规则,让第三方独立检测。论文也讨论了加入秘密密钥 $K$ 和伪随机函数的 private watermark。后一种情况下,可以把 green list 写成类似:

$
G_t=F_K(x_{t-n},\ldots,x_{t-1})
$

其中:

  • $x_{t-n},\ldots,x_{t-1}$ 是前文;
  • $K$ 是秘密密钥;
  • $F_K$ 根据上下文和密钥产生当前位置的 green list。

使用秘密密钥可以提高攻击者直接推断 green list 的难度,但也意味着普通用户无法仅靠公开算法独立检测。

检测不需要重新运行大语言模型

Token 水印的一个重要优点是检测成本比较低。

生成文本时,需要正常运行大语言模型:

Transformer
+
模型参数
+
逐 token 推理
+
水印偏置

检测时一般不需要再次运行原模型。

检测器主要需要:

  1. 与生成模型一致的 tokenizer;
  2. 水印规则;
  3. green list 的生成方法;
  4. 如果采用私有方案,还需要密钥。

流程可以写成:

文本
 ↓
Tokenizer
 ↓
Token 序列
 ↓
逐位置重建 Green List
 ↓
判断当前 Token 是否属于 Green List
 ↓
计数
 ↓
统计检验

因此,检测工作主要由 tokenization、hash 或伪随机函数以及简单统计计算组成。[1]

这使得水印检测比较适合批量处理文本。如果检测一篇文章也必须重新运行一个大型语言模型,实际部署成本会高得多。

怎样判断 Green Token “多得不正常”

假设每一步有 $25%$ 的词表属于 green list:

$
\gamma=0.25
$

现在有一段包含 200 个 token 的无水印文本。

在理想零假设下,预计绿色 token 数量约为:

$
200\times0.25=50
$

实际出现 46 个、52 个或 55 个,都可能只是正常随机波动。

如果检测器却发现 90 个 green token,就需要进一步判断这种偏差是否可能由随机情况产生。

KGW 使用的一个统计量是:

$
z=
\frac{G-\gamma T}
{\sqrt{T\gamma(1-\gamma)}}
$

其中:

  • $T$ 是参与检测的 token 数;
  • $G$ 是其中属于 green list 的 token 数;
  • $\gamma T$ 是无水印情况下的期望值。

$z$ 越高,说明实际 green token 数与无水印基线相差越大。

KGW 论文曾以 $z>4$ 作为示例阈值。在理想的零假设下,对应的单侧尾概率大约为:

$
3\times10^{-5}
$

论文首页还给出一个示例:随机情况下预计约有 9 个 green token,带水印输出中实际出现了 28 个。[1]

这些数字不能脱离检测假设单独理解。

真实文本存在重复、依赖关系和 tokenizer 等因素。例如,同一个 n-gram 如果反复出现,可能反复触发相同的 green-list 条件。KGW 因此还讨论了避免重复计算相同 n-gram 的检测办法。[1]

所以更准确的结论是:

当检测统计量很高时,这段文本与指定水印方案的“无水印零假设”不太一致。

这并不是对“AI 作者身份”的一般数学证明。

为什么翻译和改写会削弱 Token 水印

An image to describe post

Token 水印依赖具体的 token 序列。

假设带水印的原文是:

The committee approved the proposal.

另一个模型把它改写成:

The proposal received the committee's approval.

人类读者会认为两句话表达的事情基本相同。

但 token 序列已经明显变化。

如果 green list 还依赖前文,那么一个 token 的变化还会影响后面位置的 green-list 计算。

翻译会产生类似效果。

例如:

English
   ↓
中文
   ↓
English

第二个模型在翻译时会重新生成 token。它通常不知道原水印使用的密钥,也不会有意保持原来的 green-token 偏差。

因此:

语义可以大体保留,原来的 token 统计轨迹却可能被破坏。

He 等人在 ACL 2024 的工作中专门研究了文本水印的跨语言一致性,并提出 Cross-lingual Watermark Removal Attack(CWRA)。在他们的实验设置中,KGW 的检测 AUC 可以下降到约 0.61,而随机分类器的 AUC 是 0.5。[4]

这篇论文测试了若干跨语言生成和回译设置,但没有直接验证固定的:

英文 → 中文 → 法文 → 德文 → 英文

链路。

因此,多次跨语言转换“可能继续削弱 token 水印”是根据机制得到的合理推测,不能写成该论文已经直接证明的实验结论。

为了帮助理解,可以构造一个很粗略的玩具模型:

$
p_{\text{after}}
\approx
(1-r)p_w+r\gamma
$

其中:

  • $p_w$ 是原水印文本命中 green list 的概率;
  • $\gamma$ 是无水印基线;
  • $r$ 粗略表示有多少生成选择被重新做了一遍。

当 $r$ 增大时,$p_{\text{after}}$ 会向 $\gamma$ 靠近。

这个式子只能解释方向,不能用来预测实际 KGW detector 的得分。真实系统还会受到上下文改变、tokenizer、文本长度和翻译方式等因素影响。

Token 水印还可能被另一个模型“学进去”

An image to describe post

Token 水印容易受到改写和翻译影响,但在另一种情况下,它可能留下更持久的痕迹。

假设模型 A 在生成时使用 token 水印:

模型 A
   ↓
原始 logits
   ↓
水印器
   ↓
带水印文本

现在有人大量调用 A 的 API,把这些回答作为训练数据,再训练模型 B:

模型 A 的大量输出
      ↓
训练数据
      ↓
模型 B

模型 B 没有安装 A 的水印器,也不知道 A 的秘密密钥。

但 B 在训练时会学习数据中的条件概率。

如果 A 的水印长期让某些上下文下的 green token 略微更常出现,那么这些细小的统计偏差也存在于训练数据中。

B 可能因此学到其中一部分。

可以写成:

A 的解码水印
      ↓
改变输出数据的统计分布
      ↓
B 在这些数据上训练
      ↓
B 的条件概率分布
留下部分相同偏差

研究者把这种现象称为 watermark radioactivity。[8]

“Radioactivity”表示的是统计残留

Sander 等人在 Watermarking Makes Language Models Radioactive 中研究了一个实际问题:

如果模型 B 用模型 A 的带水印输出进行训练,后来能不能从 B 的行为中发现这种训练来源?

实验表明,在一些设置下可以。

论文的一个开放权重实验中,即使带水印文本只占微调数据的约 $5%$,研究者仍然报告了 $p<10^{-5}$ 的统计显著性。[8]

这里的“radioactivity”是一种比喻。

它表示水印引入的微弱统计偏差可能经过训练后留下可检测残余,并不表示任何物理意义上的放射性。

也不应该把它理解成:

某几个神经元里保存了一份水印密钥。

目前这些研究主要证明的是:

训练后的模型 B 在整体输出概率和行为中表现出与原水印相关的统计偏差。

这与定位某个具体权重存储水印,是不同的问题。

检测一篇文本和检测一个模型是两类任务

模型 A 在每一步生成时都会主动增加 green token 的 logit:

$
l'_{\text{green}}

l_{\text{green}}+\delta
$

所以直接水印信号通常比较强。

模型 B 没有执行这个步骤。

它只是通过训练间接吸收了其中一部分统计规律,因此残余通常较弱。

可以粗略表示为:

A 的直接水印:

████████████████████


B 的蒸馏残余:

██░█░░██░░█░░░█░░░░

所以两个问题需要分开。

普通文本水印检测问的是:

这篇文本是否符合 A 的水印规则?

Radioactivity 检测问的是:

B 是否可能在 A 的带水印数据上训练过?

后一个问题通常需要收集更多 B 的输出,并累计微弱的统计信号。

水印也可以被有意蒸馏进模型

Gu 等人在 On the Learnability of Watermarks for Language Models 中进一步研究了:学生模型是否可以通过蒸馏学习教师模型的 decoding watermark。[9]

实验表明,在一定条件下可以。

如果学生模型反复学习经过水印修改的 teacher 输出或概率分布,它后来即使采用普通解码,也可能产生带有相似水印统计特征的文本。

可以把两种情况区分为:

普通解码水印:

模型
 ↓
普通 logits
 ↓
水印解码器
 ↓
水印文本

以及:

水印蒸馏:

学生模型已经学到部分偏差
 ↓
普通解码
 ↓
仍可能产生水印统计信号

因此,水印不一定只能存在于一个外部解码器中。

它也可能通过训练数据,在学生模型所学习的概率分布中留下痕迹。

Radioactivity 可以用于模型来源分析,但并不不可去除

这种现象有一个潜在用途:判断某个模型是否大量使用了另一个模型的 API 输出进行训练。

假设:

模型 A
   ↓
带水印 API 输出
   ↓
被大量收集
   ↓
训练模型 B
   ↓
B 留下弱统计残余

A 的开发者可以使用自己的水印规则,对 B 的大量输出进行统计分析。

这样,水印的用途从:

这篇文本是不是 A 生成的?

扩展到:

B 是否可能使用过大量 A 的输出?

这类用途通常称为 model provenance。

但现有结果还不足以把 radioactivity 看成无法去除的“模型 DNA”。

水印残余会受到很多因素影响:

  • 水印数据占训练集的比例;
  • 总训练数据量;
  • 水印强度;
  • 上下文长度;
  • 训练方法;
  • 后续普通数据微调;
  • 是否在训练前对文本做过改写。

Gu 等人的实验发现,继续在普通文本上微调学生模型会削弱已经学到的水印。[9]

Pan 等人在 ACL 2025 进一步研究了未经授权的知识蒸馏,结果表明,针对性的 paraphrase 和推理阶段的水印中和都可以显著降低继承的信号。[10]

因此,radioactivity 更适合被理解成一种统计示踪信号,而不是永久标记。

为什么研究者开始关注语义水印

到这里,token 水印的特点已经比较清楚。

它有几个明显优点:

  • 可以在模型生成阶段直接加入;
  • 检测速度快;
  • 不需要重新运行原始大语言模型;
  • 对复制粘贴和普通格式变化不敏感。

它也有局限:

  • 大规模 paraphrase 会改变 token 序列;
  • 翻译会重新生成 token;
  • 主动攻击者可以针对水印规则设计改写;
  • 蒸馏后的统计残余也可能被后续训练削弱。

这些问题推动了一类更高层的思路:

如果具体 token 很容易变化,可以把水印放到更稳定的语义表示上。

AMR 是其中一种选择。

An image to describe post

AMR:用图表示“谁对谁做了什么”

考虑:

Alice bought a book.

以及:

A book was purchased by Alice.

表面上,两句话的词汇和句法不同。

但可以粗略表示成:

        buy
       /   \
    buyer  object
      |      |
    Alice   book

这类表示属于 Abstract Meaning Representation(AMR,抽象意义表示)

AMR 使用图来表示句子的部分语义信息。

节点可以表示:

  • 实体;
  • 人物;
  • 动作;
  • 事件;
  • 概念。

边表示它们之间的语义关系,例如:

  • 谁执行某个动作;
  • 动作的对象是什么;
  • 哪个事件导致另一个事件;
  • 某个属性属于什么实体。

AMR 的目标之一,是减少对具体词序和句法形式的依赖。[2]

不过 AMR 不是“完整的人类意义”。

它是一种计算语言学中的结构化语义表示。

两句话在人看来意义接近,也不意味着实际 AMR parser 一定产生完全相同的图。

因此,下面所说的“语义水印”,更准确地说是:

把水印绑定到 AMR 所表示的语义结构上。

SWAN:用秘密 AMR 模板引导生成

2026 年 ACL 的 SWAN 工作采用了这一思路。[6]

SWAN 准备一个 AMR 模板库,论文把它称为 AMR bank。

可以把其中的模板简化成:

      consider
      /      \
   person   proposal

或者:

        cause
       /     \
   event A  event B

这些图只是示意。

真正的 AMR 模板包含更具体的节点和语义关系。

生成文本时,SWAN 会从模板库中选择一个目标模板,并要求语言模型生成一句:

  1. 与现有上下文自然衔接的句子;
  2. AMR 结构尽量接近目标模板的句子。

例如文章正在讨论公共交通,目标 AMR 恰好对应“某个主体考虑某项方案”,模型可能生成:

The council is considering a new transit proposal.

这里约束的不再只是具体使用哪个 token,而是句子的语义关系结构。

用拒绝采样检查候选句

语言模型不一定每次都能生成符合目标 AMR 的句子。

SWAN 因此采用 rejection sampling。

大致流程是:

选择目标 AMR 模板
      ↓
LLM 生成候选句
      ↓
AMR Parser
      ↓
得到候选句的 AMR 图
      ↓
与目标模板比较
      ↓
满足阈值?
  ↓         ↓
接受      再尝试

论文使用 S2MATCH 衡量两个 AMR 图的相似程度。

可以写成:

$
0\leq \mathrm{S2MATCH}\leq1
$

如果:

$
\mathrm{S2MATCH}
(A_{\text{generated}},A_{\text{target}})
\geq
\theta_{\text{accept}}
$

候选句就可以被接受。

实际算法不会无限重试。

如果某个模板多次无法与当前上下文兼容,系统可以换另一个目标模板。论文还为每句话设置了总尝试预算;在实验配置中,每句话最多尝试 50 次。[6]

这反映出语义水印的一个实际限制:

某个水印模板未必适合当前需要表达的内容。

Token 水印通常是在多个表达方式之间稍微调整概率;AMR 水印有时会更直接地限制句子的语义结构,因此需要处理模板和内容之间的兼容性。

SWAN 如何检测水印

检测时,SWAN 不再统计 green token,而是逐句进行 AMR parsing。

流程大致是:

待检测文本
    ↓
分句
    ↓
AMR Parser
    ↓
每句话得到一张 AMR 图
    ↓
与秘密 AMR Bank 中的模板比较
    ↓
统计匹配句子数量

如果普通文本中的一个句子偶然命中秘密模板的概率是:

$
\lambda
$

文章共有 $n$ 句话,实际有 $k$ 句话命中,那么可以使用类似的比例 z-test:

$
z=
\frac{k-\lambda n}
{\sqrt{n\lambda(1-\lambda)}}
$

所以 KGW 和 SWAN 虽然水印载体不同,统计思想很接近。

KGW 检查:

green token 是否异常多?

SWAN 检查:

与秘密 AMR 模板匹配的句子是否异常多?

为什么 AMR 水印更耐普通改写

再看:

The committee approved the proposal.

和:

The proposal received approval from the committee.

Token 序列变化明显。

但两句话的 AMR 可能都包含接近:

       approve
       /     \
 committee  proposal

的结构。

这意味着同义词替换、主动被动转换和部分句法变化不一定会破坏 AMR 水印。

SWAN 论文在 REALNEWS 数据上报告,无改写时 AUC 为 99.1。[6]

在三类 paraphrase 攻击中,论文报告:

攻击方式 SemStamp k-SemStamp SWAN
Pegasus 97.6 97.3 98.1
Parrot 94.8 92.8 97.5
Claude 3.7 改写 84.4 87.6 98.3

从 AUC 看,SWAN 在这些测试中的下降较小。

但如果观察固定低假阳性率下的指标,仍然可以看到一定损失。论文中 SWAN 的 TPR@1% 从约 91.6% 降到 86.0%。[6]

因此比较合适的说法是:

SWAN 在论文测试的 paraphrase 攻击下表现出较强的鲁棒性,但检测性能并没有在所有指标上完全不变。

论文的文本质量评价主要使用自动化模型评分,而不是大规模人工盲评;无水印基线在部分 coherence、fluency 和 diversity 指标上也高于 SWAN。[6]

所以更强的水印鲁棒性仍然有计算和文本质量代价。

改变语义组织方式可能比换同义词更有效

AMR 水印减少了对具体词汇的依赖,但并没有解决所有“保义改写”。

例如:

Alice resigned because Bob rejected her proposal.

可以改成:

Bob rejected Alice's proposal. Alice resigned soon afterward.

两段文字保留了大部分事实。

但原来的一句话变成了两句话。

明确写出的因果关系,也可能变成较弱的时间顺序关系。

对于以单句 AMR 为单位的水印来说,这可能明显改变图结构。

另一个例子是:

Bob sold Alice the car.

和:

Alice bought the car from Bob.

人类通常会认为它们描述的是同一笔交易,但实际 AMR 表示可能围绕 sellbuy 形成不同结构。

因此,更深层的攻击可以包括:

  • 拆句;
  • 合句;
  • 改变事件中心;
  • 把显式因果改成隐式关系;
  • 改变信息顺序;
  • 重组段落;
  • 使用另一组语义关系描述相同事实。

这也是为什么:

对 paraphrase 鲁棒,不等于对所有 meaning-preserving transformation 都鲁棒。

SWAN 论文自己也把多句结构变化和更复杂的语义改写列为后续研究方向。[6]

AMR 水印是否更耐多语言翻译

从机制上看,AMR 水印有可能比 token 水印更适合应对翻译。

例如:

Alice bought a book.

经过其他语言再翻回英文后变成:

A book was purchased by Alice.

具体 token 已经大量变化。

但只要“购买者是 Alice、对象是书”这些关系仍然保存,最终 AMR 就可能与原来的结构接近。

所以可以提出一个合理假设:

如果跨语言翻译保留了 AMR 所表示的关系,那么 AMR 水印可能比 token 水印保存得更好。

目前不能把这个假设写成 SWAN 已经验证的结论。

SWAN 的主要实验对象是英文新闻文本和英文 paraphrase。论文也明确指出,效果依赖 AMR parser 的质量;不同语言和领域并不一定拥有同样成熟的解析工具。[6]

因此:

英文 → 中文 → 法文 → 德文 → 英文

之后 SWAN 的水印还能保存到什么程度,仍然需要直接实验。

AMR 水印的检测和生成成本更高

Token 水印通常只需要在正常 decoding 中修改 logits:

$
l_i\rightarrow l_i+\delta
$

检测时主要是:

Tokenizer
+
Hash / PRF
+
Green Token Count
+
z-score

SWAN 的生成过程更复杂:

生成候选句
 ↓
AMR Parsing
 ↓
图匹配
 ↓
失败则再次生成

SWAN 论文的 1,250 个句子实验中,每个最终接受句平均需要约 17.7 次候选句生成尝试。[6]

其中:

  • 约 42% 在 10 次以内成功;
  • 约 54% 在 15 次以内成功;
  • 一些情况需要更多尝试。

这里的 17.7 指候选句尝试次数,不是完整文章被重新生成 17.7 次。

检测端也需要运行 AMR parser,而不是只做 hash 和计数。

因此,从工程成本看,AMR 水印比简单 token 水印重得多。

它得到的是更强的普通 paraphrase 鲁棒性,代价包括:

  • 更多生成次数;
  • 额外的 AMR parser;
  • 图匹配计算;
  • 模板可能对文本表达产生影响。

文本水印正在向更深的语言层级移动

可以把这些方法按水印依赖的信息层级排列。

字符层

例如:

  • 零宽字符;
  • 特殊空格;
  • Unicode 同形字符。

实现简单,但容易受到文本清洗和重新输入影响。

Token 层

例如 KGW 和 SynthID-Text 一类方法。

水印存在于 token 选择的统计偏差中。

复制粘贴通常不会破坏它,但大规模 paraphrase 和翻译可能削弱信号。

Token 水印还可能通过训练数据,在另一个模型中留下 radioactivity。

句子向量层

SemStamp 等方法把水印绑定到 sentence embedding 空间中的特定区域。[3]

这种方法试图减少对具体 token 的依赖。

AMR 语义结构层

SWAN 进一步把水印绑定到 AMR 图所表示的实体、事件和关系上。[6]

因此,普通同义替换和一些句法变化不一定能改变水印结构。

随着水印进入更高层的语言表示,普通表面修改会更难破坏它。

与此同时,生成和检测通常也会变复杂,而且水印对文本内容本身的约束可能增加。

水印能进入多深的语义层级

可以设想一个很强的改写系统。

输入一篇文章后,它做到:

  • 保留主要事实;
  • 保留主要观点;
  • 重新选择词汇;
  • 重写全部句法;
  • 拆分和合并句子;
  • 重组段落;
  • 最后重新生成一篇新文本。

如果这种转换只保留读者关心的语义内容,那么一个希望在转换后仍然存在的水印,就必须依赖更稳定的信息。

Token 显然不够稳定。

句子 embedding 可能更稳定一些。

AMR 又向结构化语义迈进一步。

但越接近语义本身,另一个问题也越突出:

如果水印必须约束语义结构,它是否会开始影响文章实际表达的内容?

这构成了文本水印设计中的一个长期权衡:

  • 水印越靠近表面形式,通常越容易添加和检测,也越容易被改写删除;
  • 水印越靠近语义结构,通常更耐表面改写,但生成成本、检测成本和内容约束也可能增加。

目前还没有一种方法同时解决所有问题。

因此,“怎样给纯文本加水印”最终会落到一个更基础的问题上:

一段文字经过不断重新表达以后,还有哪些结构能够稳定保存,同时又给水印留下足够的信息空间?

Token 水印给出了一个实用答案。

AMR 水印提供了另一种方向。

它们都还在发展中。

参考文献

  1. Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., & Goldstein, T. A Watermark for Large Language Models. 2023/2024.
    https://arxiv.org/abs/2301.10226
  2. Bănărescu, L., Bonial, C., Cai, S., et al. Abstract Meaning Representation for Sembanking. Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse, 2013, pp. 178–186.
    https://aclanthology.org/W13-2322/
  3. Hou, A., Zhang, J., He, T., et al. SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text Generation. NAACL 2024, pp. 4067–4082.
    https://aclanthology.org/2024.naacl-long.226/
  4. He, Z., Zhou, B., Hao, H., et al. Can Watermarks Survive Translation? On the Cross-lingual Consistency of Text Watermark for Large Language Models. ACL 2024, pp. 4115–4129.
    https://aclanthology.org/2024.acl-long.226/
  5. Dathathri, S., See, A., Ghaisas, S., et al. Scalable Watermarking for Identifying Large Language Model Outputs. Nature, 634, 2024.
    https://www.nature.com/articles/s41586-024-08025-4
  6. Ye, Z., Dey, G., Christodoulopoulos, C., et al. SWAN: Semantic Watermarking with Abstract Meaning Representation. Proceedings of ACL 2026.
    https://aclanthology.org/2026.acl-long.1681/
  7. Tu, S., Sun, Y., Bai, Y., et al. Revisiting the Robustness of Watermarking to Paraphrasing Attacks. EMNLP 2024.
    https://aclanthology.org/2024.emnlp-main.1005/
  8. Sander, T., Fernandez, P., Durmus, A., Douze, M., & Furon, T. Watermarking Makes Language Models Radioactive. 2024.
    https://arxiv.org/abs/2402.14904
  9. Gu, C., Li, X. L., Liang, P., & Hashimoto, T. On the Learnability of Watermarks for Language Models. 2023/2024.
    https://arxiv.org/abs/2312.04469
  10. Pan, Y., et al. Can LLM Watermarks Robustly Prevent Unauthorized Knowledge Distillation? ACL 2025.
    https://aclanthology.org/2025.acl-long.648/
添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论