f-散度族及其推论

RSS 阅读器可能不支持渲染数学公式。 点击这里阅读原文：

f-散度族是概率分布之间差异的一大类度量，它用一个凸函数 来统一描述 KL 散度、JS 散度、全变差、卡方散度等许多常见散度。可以把它理解为「散度」的通用模板。

用一个凸函数 （满足 ）定义的散度模板：

它统一了 KL、JS、全变差、卡方、Hellinger 等众多散度，具有非负性、联合凸性、变分对偶表示和数据处理不等式等核心性质，是信息论和生成模型理论中的基础工具。

1. 定义

设 是同一个可测空间 上的两个概率分布，且 关于 绝对连续（即 ），记

为 Radon–Nikodym 导数（在离散情形就是概率质量之比，在密度存在时就是密度之比 ）。

定义 1.1（f-散度） 给定一个凸函数 ，且满足 ，则 关于 的 f-散度 定义为更一般地写成关于 的期望形式其中 是 的密度。

1.1 不依赖参考测度

上面的定义里出现了「密度」，这会让读者误以为它依赖 Lebesgue 测度。其实 f-散度只依赖两个分布本身。取任一 -有限测度 同时控制 与 （例如 ），令 ，。在集合 上有 ，于是

第二项正是处理「支撑集不重叠」的地方。若 在 处有界，可约定 ；若 无界，则这一项是否发散决定了 是否有限。例如对 KL 的 ，当 在 的零测集上放质量时这一项为 。因此约定：

其中「否则」指 在 处有界（如 ），此时 取有限极限值。下文如无特别说明，默认 ，并把 看成 中的值。

1.2 只依赖似然比

由定义立刻看出： 只通过似然比 起作用。也就是说，对任意可测映射 ，它是 的函数，而不是 各自的函数。

这一点是 f-散度「缺少几何」的根源，也是它与 Wasserstein 距离分道扬镳的地方（见第 6 节）：只要保持比值 不变，把两个分布同时「搬到别处」，f-散度的值完全不动。

1.3 非单射与仿射自由度

注意 、，因此

于是对任意常数 ，

结论： 只依赖 在「模去 」之后的等价类。两个常用规范化是：

1. （本文采用）；
2. 且 ——此时由凸性 ， 在整个定义域上非负。

第 3 节里的 KL 的 不满足第 2 条（它在 时取负值），但这无妨： 仍然非负（见 4.1），因为「逐点非负」从来不是 f-散度非负性的必要条件。

1.4 等价书写形式

其中 是后面 4.3 节的「斜共轭」。最后一个等式说明：交换 只是把 换成 ，这对推导「反向 KL」之类的对称性非常方便。

2. 为何 凸且

2.1 非负性与 Jensen

设 ，则 的期望就是 。因为 满足

对凸函数 用 Jensen 不等式：

这就是非负性。 的凸性是关键：若 是凹函数，Jensen 方向反转，，那就不是「散度」了。

• 凸：保证 。
• ：保证当 时，，从而 。

因此 f-散度天然具有非负性和「相同分布散度为零」的性质。

2.2 凸性为何必需

有人会问：凸性是不是一个过强的技术条件？答案是否定的。若要求 对一切「随机变换」（马尔可夫核）单调不增（即第 4.5 节的数据处理不等式），那么 必须凸。二元分布上就能看到这一点。

命题 2.1（Csiszár 刻画） 若数据处理不等式 对一切概率对 与一切马尔可夫核 成立，则 凸。

证明（两步）。

第一步：DPI 联合凸。 设 是 上任给的四对分布，，记 、。构造扩大一倍的样本空间 及其上的两个分块分布：

取确定性核（"擦掉"分量下标，只保留 ）。由分块结构立刻算出 、，且似然比是分块恒定的：（权重 在分子分母中约去）。代入定义：

对 使用 DPI，即得到联合凸性：

第二步：联合凸 凸。 固定 与 ，记目标值 。在两点空间 上取同一个底分布 （ 充分小），并取似然比在第一坐标上为常数的分布：

（ 足够小时这都是合法概率分布； 两点上的似然比分别为 与 ）。于是一般公式给出：对任何第一坐标似然比为常值 的分布 ，

把 、、以及混合后的 （混合后第一坐标似然比恰为 ，因为两个分布在同一个 下混合，比值线性）代入第一步的联合凸性：

其中 。注意 是仿射函数且 ，用 在 处的支撑线（凸函数在可微点处 ，此处只需次梯度 ，即 对任一次梯度 ）处理非主项：对凸的 ， 中关于 的"非主项"部分为

（用了 ； 项在 变化时一致有界，因为 且 连续）。代回不等式：两边的主项（ 部分）正是 与 ；非主项部分

（方括号内恰为 0，因为 ）。于是不等式两边同除以 ，令 ，得

即 凸。

所以"凸"与"数据处理"是同一件事的两面。这也是 f-散度族成为"一切满足数据处理不等式的最一般散度"的原因：它不是一堆例子的偶然汇总，而是一个有刻画定理支撑的完整族。换句话说，Csiszár–Ali–Silvey 定理给出一个完整的刻画：凸函数 （模去仿射项） 联合凸泛函 满足数据处理不等式的分布差异度量，三者一一对应。

3. 常见散度

不同的 对应不同的散度。KL、JS、全变差、卡方、Hellinger、Wasserstein、MMD 等散度，表面上都是「衡量两个分布差多少」，但它们的根本区别可以归结为几个维度：

它们对「差异」的定义方式不同，对「支撑集不重叠」的处理不同，对「几何/度量结构」的利用不同，因而导出的拓扑、梯度行为和优化性质也不同。

可以把不同散度的区别归纳为五个核心问题：

1. 差异定义在什么量上？是密度比值、密度差、累积分布差，还是搬运质量？
2. 是否对称？
3. 是否有界？
4. 是否利用样本空间的几何结构？
5. 诱导的拓扑强弱如何？

这五点决定了散度在理论性质和实际优化中的行为差异。下面逐个把常用散度「代入模板」并验算。

3.1 KL 散度

取：

（下面 均为自然对数。）则 ， 凸。代入模板：

反向 KL 散度 对应斜共轭 ：

所以

对称化：Jeffreys 散度。 取 （它满足 ，且 ），则

这是 KL 的两向之和，也是一个人为构造的对称 f-散度。

意义。 KL 是最基础的散度，等价于信息论中的相对熵：若真实分布是 、而用 去编码来自 的样本，那么 以 2 为底时 正是用 编码比用 编码多付出的比特数，即

在统计中它是最大似然估计的对数似然比的期望，决定了 Stein 引理里第二类错误的最优指数，也是 AIC/BIC 这类模型选择的基石；在机器学习中它是最大似然训练、变分推断与知识蒸馏的目标。它的不对称性带来两种相反的行为： 要求 在 有质量处不为零（零回避，mass-covering，倾向覆盖 的每一个模式），而 会把 在 为零处压到零（零强制，mode-seeking，倾向锁定单一模式）。GAN 的模式崩塌与变分推断的均值场近似，本质都由这一不对称性决定。

3.2 JS 散度

先回顾 JS 散度的定义，令 ：

它是单个 f-散度。 这一点很容易被误解。我们直接构造 ：代入 ，于是 的密度为 ，逐项算：

其中

整理得

它满足 ，且

故凸；并且对称。因此当 时

两种写法完全一致：JS 既是「两个 f-散度（相对 ）的平均」，也是「一个对称 f-散度」。原文「不是单一 」的说法可修正为：在 时它是单一 的 f-散度；一般情形则用下面的双变量形式。

一般情形的双变量形式. 当 支撑集可能分离时， 的写法会漏掉奇异项。此时把 JS 写成 Csiszár 的双变量（齐次、联合凸）泛函最稳妥：

关于 联合凸且一次齐次。在 处 ，两者一致；在 处奇异项 会被保留下来（这正是 1.1 节讨论的「支撑不重叠」约定）。

有界性。 注意 逐点无界（ 时 ），但积分有界，因为 大的地方 小、权重趋于 0。严格地用两 KL 形式：，同理 ，故

等号成立当且仅当 （支撑集不重叠）。有界是 JS 相对 KL 的最大优点（梯度消失则是它最大的缺点，二者互为因果）。

意义。 JS 有一个很直观的信息论解释：先掷一枚公平硬币 （正反面各 ），正面时从 取样、反面时从 取样，得到观测 ；则 JS 正是「看一眼 能否判断硬币正反」所蕴含的信息量，即 与 的互信息：

由于 是概率 的伯努利变量，，有界性由此而来， 恰好对应「最多只能获得 1 比特」这一直觉。JS 对称、有界且 仍是度量，因此在文本/分布聚类、模型比较与原始 GAN 目标里被广泛使用；代价同样来自「有界」与上面这个混合结构——真差异越大 JS 越接近饱和的 ，梯度随之消失，这正是 WGAN 等替代方案的动机。

3.3 全变差

取：

则 且凸（绝对值是凸函数），代入：

一般测度上 ；两个表达式相等（这是全变差的对偶刻画）。注意 ，总有界。

斜共轭：，所以 TV 是对称的。

意义。 全变差是概率测度空间上真正的度量（对称、满足三角不等式），它等于两个分布在一件事上能给出的最大概率差：

它还有一个判决论解释：在等先验下用最优检验区分 与 时，最小平均错误率为 ，因此 TV 直接度量了可分性，「TV 小」就等于「几乎分不开」。TV 是这里所有 f-散度中最「弱」的标尺（总在 内），但按 Csiszár 定理它与 KL 诱导同一个拓扑，所以常常已经够用；在一维实直线上它退化为 Kolmogorov 距离 。马尔可夫链的混合时间、耦合构造与统计距离（total variation distance）都以它为核心。

3.4 卡方散度

取：

则 、凸，代入：

这是皮尔逊（Pearson）卡方散度。它非对称、无界。其斜共轭是

对应 Neyman 卡方散度，即 ：皮尔逊卡方的"反向兄弟"。

卡方散度的重要性在于它是「二阶」散度：小偏差下（ 展开）有 、本文约定的 、Bhattacharyya 约定的 （见 4.6 节的局部展开），因此它是所有 f-散度在局部的「公因子」——只是在 意义下的「单位」不同。

意义。 卡方散度是 Pearson 拟合优度统计量 的总体（无限样本）版本：把观测频率看作 、期望频率看作 ， 就是「 是否来自 」的标准化偏差，因此它是独立性检验、拟合优度检验与特征选择的自然尺度。它的分母 使它对「 很小而 不小」的稀有区域极度敏感（尾部敏感）：这既是它能捕捉稀有事件的优点，也是它容易被少量异常值带偏的缺点。在 f-GAN 家族里它对应最小二乘 GAN（LSGAN）：因为 是二次的，判别器梯度不会像 JS 那样饱和；在鲁棒统计与核方法中， 距离还给出了带权核的另一种「局部」相似度。

3.5 Hellinger 平方

取：

则 、 凸，代入：

记 Bhattacharyya 系数 ，则

文献里对 有两种约定：

本文采用 ，故 。注意 有界（）。对称性可直接验算：

即 ，所以 Hellinger 也满足对称判别准则（4.3 节）。

意义。 Hellinger 与 Bhattacharyya 系数 把「两个分布的重叠程度」量化： 表示完全重合， 表示支撑分离。由它可造出真正的距离 ，而且它对绝对连续性不作要求，支撑分离时也只取到有限的最大值 ，不会像 KL 那样发散——这让它在数值与统计上格外稳健。Hellinger 距离与 Fisher 信息度量在无穷小尺度上相容（4.6 节），并在非参数估计的 Le Cam 三点法、量子信息中的保真度（fidelity）、以及 Hellinger–Fisher–Rao 几何里扮演中心角色。

3.6 α-散度

对 ，取

代入模板，记 （于是 ）：

这正是 Csiszár / Amari 的 α-散度（差一个参数重命名）。 时 ：

即 是 Hellinger 型散度。两个端点极限要小心： 在 时逐点发散，但散度值收敛到 KL：

推导 的极限。 令 ，。用 ：

于是

对称地给出反向 KL。所以 α-散度把 KL（两个方向）与 Hellinger 连成一条曲线， 是「在对称与不对称之间连续插值」的旋钮。

意义。 α-散度的价值在于它把「方向」与「强度」一并参数化： 从 扫到 时，散度由反向 KL（mode-seeking）连续过渡到正向 KL（mass-covering），中间在 处恰好经过 Hellinger 这个对称点。在 Amari 的信息几何里，α-族是唯一同时拥有 -对偶平坦结构的单参数散度族：它诱导的度量是 Fisher 度量，诱导的仿射联络是 -联络，这正是它被称为「散度范本」的原因。在机器学习中，-GAN 与 -VI 用一个参数调节「对异常值的鲁棒性」与「模式覆盖」之间的取舍；在信号处理中它用于独立成分分析（ICA）与鲁棒估计。

3.7 与 Rényi 散度的关系

Rényi 散度定义为

它不是（直接的）f-散度，因为 包在积分外面（这正是它满足可乘可加性、但一般不满足数据处理不等式的根源： 的 Rényi 散度可以在随机变换下增大）。它与 α-散度是"同一积分的两种包装"：沿用 3.6 节的指数记号 ， ，则 3.6 节给出

而把 Rényi 的阶数取为 （注意 order 3.6 的参数 ，只是经过线性换算）：

这说明两者是一条"幂—对数"的两级包装链：f-散度是对似然比幂 做 下的线性平均，Rényi 在外面再套一层对数。所以 f-散度族与 Rényi 族"同源"：后者是前者经 变换后的"信息量"版本。

意义。 Rényi 散度在假设检验中直接就是误差指数：Chernoff 信息

决定对称检验错误概率的衰减速率，Stein 引理给出的单侧指数则是 。对应的 Rényi 熵 在 时退化为 Shannon 熵、在 时退化为 min-entropy ，因此在密码学、随机性提取与 Rényi 差分隐私（RDP） 中被用来对隐私预算做更紧致的记账。它与 f-散度族的"同源"关系也给出一条实用经验：讨论可加性、信息几何与变分表示时用 f-散度更顺手，讨论误差指数与熵时用它的对数版本更自然。

3.8 汇总表

4. 基本性质

下列性质逐个给出推导。约定 （ 或任一控制测度），。

4.1 非负性

命题 4.1（非负性） 对一切概率分布 ，且当 严格凸时，等号成立当且仅当 。

证明。 Jensen 已给出 （见 2.1）。等号条件：若 严格凸，Jensen 取等号当且仅当 在 下几乎必然成立，即 。若 只是凸而非严格凸（如 ），则只能保证 时不必然 ：TV 是反例， 时才是唯一使 TV 为 0 的一对（TV 也对）。

4.2 联合凸性

命题 4.2（联合凸性） 若 ，，，则

证明。 这是 凸性加上「 与线性运算」的标准结果，也可用 f-散度的变分表示（4.4 节）直接看：，右端关于 是凸的（ 线性、 线性），取上确界后仍凸。

等价地，固定 ， 凸；固定 ， 凸。注意： 凸是「以 为参照」的凸性，它与「 出现在分母上」的直觉相反，这个凸性正是变分推断里「对 做平均场优化收敛到全局最优」的根据之一。

4.3 斜对称关系

定义 4.1（斜共轭） 对 ，称为 的斜共轭。

命题 4.3（斜对称） 对任意概率分布 ，

证明。 设 。则

推论（对称判别准则）。 对称（ 对所有 ）当且仅当 （模去 ）。验证 TV：；JS 的 也已验算；KL 显然不满足，故不对称。

4.4 变分表示

定理 4.1（变分表示 / Fenchel 对偶） 设 为 的凸共轭（Fenchel 共轭）则其中上确界取遍所有使两个期望都有定义的可测函数 。

证明（Fenchel 对偶）。 由共轭函数的性质（Fenchel–Moreau， 凸闭），

把 代入并对 积分：

这里只能得到 ，因为「积分的上确界 ≥ 上确界的积分」。反向不等式需要一个可测选择/极大值论证：由于 凸， 中的 可取为 （在可微点），而 单调，于是 是可测的，并且对每个 达到上确界。于是不等式取等号。

最优解。 达到上确界的函数为

条件是 在 处可微、且 落在 内。例如 KL（）：；这解释了为什么「对判别器做 log 密度比」是 f-GAN 的最佳策略。

常用 表（结合 可加任意常数 ）：

以 为例验证：，驻点 ，得 。以 Hellinger² 为例：，令 ，把共轭写成有限上确界

当 时上确界为 ；当 时上式是开口向下的二次函数，最大点 ，代回得

顺带把 JS 的共轭也完整算出（它是表中最容易出错的一个）：，。令 ，即 ，解得 （这要求 ，即 ）。于是 ，代入

TV 的共轭也很干净：。在 一侧，；在 一侧，。两段都是线性的：当 时两段的最大值都在 取到，为 ；当 时第二段严格递增，上确界为 ；当 时第一段严格递减，上确界在 取到，为 。于是

这正对应经典表示

的 Kantorovich 型对偶。

这个对偶表示在机器学习中非常有用，例如 f-GAN 就是基于此构造的（第 5 节详述）。

4.5 数据处理不等式

命题 4.4（数据处理不等式） 设 是一个马尔可夫核（随机变换），记 、 为输出分布，则

证明（条件 Jensen）。 设 ，，。若 则 ，且对任意可测集 ：

故

由 凸及条件 Jensen：

对 关于 积分：

等号条件。 若 严格凸，等号成立当且仅当 本身是 -可测的（对每个 是常数），即 可表为 的函数。此时 是关于 的充分统计量：随机变换没有丢信息。这正是 f-散度能担当「信息量」的原因。

信息单调性（Csiszár 的更进一步结果）。 对 α-散度族，还有更强的「信息单调性」：把 粗粒化（把样本空间划分得更粗）时散度不增，且存在严格单调的「信息序」。这构成了 Chentsov–Morozova 定理与信息几何中单调度量的基础。

4.6 局部二次展开

命题 4.5（局部二次展开） 设 满足 、，令 ，则当 时

证明。 记 ，由 、 做 Taylor 展开：

这说明：在无穷小尺度上，所有 f-散度都只差一个常数 ，形状完全一致。 取 （）即得 ；取 （）即得 ，除以 2 或换算成 就是 3.4 节引用的 Bhattacharyya 约定 。共同因子 就是Fisher 信息度量：它给出统计流形上的黎曼度量，而 只是「单位选择」。这也解释了为什么 GAN 中「选 JS 还是选 KL」在小偏差区几乎无差别，差别只在远离平衡或支撑不重叠时才显现。

4.7 不等式网络

命题 4.6（不等式网络） 记 ，则对概率测度有

Pinsker 的完整推导（Vajda 型两步法）。 分三步：

第 1 步（数据处理到二元划分）。 对任一事件 ，把样本空间经确定性映射 压成两个点，用 4.5 节的 DPI：

第 2 步（二元问题的精确最小值）。 固定差 （目标 TV 值），对 最小化二元 KL。取对称中心 、，此时 、，算得

由标签交换的对称性 、边界值更大（ 时不平衡质量挤出 ； 时值为 ，均大于中心值）可得：唯一驻点在 ，且是精确最小值（Vajda 界）：，其中 在 时发散（与 KL 在支撑分离时为 一致）。

第 3 步（初等放缩）。 由

关于常数： Pinsker 不等式中的 （即 的系数 2）是最优的：取两分布仅在极小 上偏离最优对称配置，可让 （），故常数不能改进。

顺便指出：对一般 f-散度也有平行的"固定 TV 时最小化 "函数（Fedotov–Harremoës 2003 给出完整刻画），即每个 f-散度都自带一个 TV 的下界函数；这是 4.7 末拓扑结论的定量基础。

Bretagnolle–Huber 的推导。 由 Rényi 散度在阶数 上单调不减（Hölder 不等式的直接推论），

又由 （），。合并即得

顺便验证与 4.6 节一致：小偏差时 、，于是 ，不等式成立且留有余量。

TV 与 的关系。 由 Cauchy–Schwarz，

故 ，再与 串起来就有 （比 Pinsker 常数差一个 ）。

定理 4.2（拓扑关系的准确版） 设 凸、 且在 上连续。(a)（"下来"方向，一般成立）。每个适度正则的 f-散度都自带一个连续的 TV 下界函数 （Vajda / Fedotov–Harremoës），、，使 ；常用成员的具体形式：KL 给 （Pinsker）， 给 ，Hellinger 经由 ，TV 本身平凡。(b)（"上去"方向，需要条件） 一般不成立。反例：在 上取 ，，取 、。则 ，但 。反例的机制很典型：TV 只控制"总质量差"，控制不了小测度集合上密度的巨大尖峰，而 KL 对小分母极其敏感——这正是 KL/χ² "无界"分歧的拓扑体现。(c)（有限字母表/一致比值界下，全部等价） 若似然比一致有界（例如： 在有限字母表上且 对所有 ——此时 ），则对一切上述 同时成立（上界方向由 于 的一致 Lipschitz 性给出）。

也就是说，"所有 f-散度诱导同一拓扑"必须在有限/紧设定或一致比值界下读：此时它们都等价于全变差拓扑（也叫强拓扑），只是"度量标尺"不同；而在一般测度空间上，KL 型拓扑严格强于 TV 拓扑。这一分层对理解第 6 节 f-散度与 Wasserstein 的真正差异很重要：f-散度族的内部差异是"强度"差异，而它们与 Wasserstein 的差异是"性质"差异。

4.8 一般不是度量

f-散度一般不对称，也不满足三角不等式，因此通常不是距离度量。但某些特殊形式可以诱导出度量：

• Hellinger 距离是度量：它有一个特别漂亮的几何解释：把分布 映到单位球面上的点 （因 ），则 就是单位球面上的欧氏距离——度量公理（对称、三角不等式）由 距离直接继承，非退化由"开平方是单射"保证；
• （等价地 规范化后）是度量（Endres–Schindelin 的结论），其证明用到了 对应生成元的"负定型"性质。

反过来，不对称显然排除度量；即使对称， 也不自动是度量。例如全变差 本身就是度量，但若取某凸积 的散度再做开方，三角不等式可能失效——这依赖 是否落在"负定（negative type）"函数类中；不是自动成立的。

与度量的对照结论： f-散度的正确身份是散度（divergence）：非负、在 处取零，但不要求对称与三角不等式。当我们需要真距离时（例如做收敛分析、中心化、 -中心聚类），就从 f-散度族里挑那些 后成为度量的成员（Hellinger、JS、TV），或干脆换成真正的度量类（第 6 节的 IPM）。

5. 变分表示与 f-GAN

5.1 可训练目标

4.4 节给出精确对偶：

当 是数据分布、 是生成分布时，右端可直接用两批样本做蒙特卡洛估计，得到 的一个下界，并用一个网络 逼近最优解。于是

对 极大化即得估计；把 （生成器）同时放进去，就得到 f-GAN 的 minimax 目标：

5.2 最优判别器

命题 5.1（最优判别器） 在 5.1 节的 minimax 目标中，固定 时内层对 的最优解为即判别器学到的量是似然比经 之后的取值。

证明。 目标对 的逐点依赖是 ，对 求导：

由于 （Fenchel 的互逆关系），即得 。把 代回即得 （这正是定理 4.1 所给的最优解）。实践含义： 判别器网络 学的是 ，而不是似然比本身；不同 等价于对似然比做了不同的单调「整形」，因此决定了梯度的尺度与饱和方式。

5.3 各散度的 GAN 目标

取上表的 ：

• KL（）：

（这是「MINE-f」式下界。经典 Donsker–Varadhan 下界是 ，二者同源但第二项不同： 是把 移到最外层并做 -散度对偶后的结果。）

• 反向 KL / α-GAN：把 α 从 扫到 ，散度从反向 KL（，zero-forcing、模式崩塌倾向）经 Hellinger 型对称散度（）过渡到正向 KL（，zero-avoiding、模式覆盖倾向），可以在"崩塌—覆盖"之间连续调节（见 3.6 节的两端极限）。
• JS：，。代回即原始 GAN 的对抗目标（见 5.4）。
• （LSGAN）：，目标变为 ，即对判别器输出做最小二乘回归，梯度不会像 sigmoid 那样饱和。
• Hellinger²：，。

5.4 原始 GAN 与 JS 散度

原始 GAN 的判别器输出经 sigmoid 得 ，其目标等价于最小化 JS 散度下的对抗博弈。判别器写成 logit

它与 5.2 节的最优解

通过重参数化 相联系（常数平移在共轭表示中自由），故在最优判别器处可直接代入：

推导：，故

对 同理，两式相加即得。于是「最小化 JS」与「在最优判别器下最大化 GAN 目标」是同一件事，而常数 与生成器无关。这解释了「GAN 训练不收敛」的来源：JS 有界，一旦支撑集几近不重叠，，判别器梯度饱和，生成器梯度消失。反过来，换成 LSGAN（）、Wasserstein（非 f-散度）或 α-GAN 就能改变这一点。

5.5 估计性质

用 5.1 的 Monte Carlo 下界做估计时：

• 它是 的下界（偏差向下），且偏差来自 未达到最优 + 样本有限；
• 当 取到极值时，估计量方差随 增长而增大（如 KL 的 会重尾）；
• 一个常用替代是「对称化」或「有界化」（如 JS、TV），牺牲敏感性换取稳定梯度。这与第 6 节讨论的「有界/无界」准确性—稳健性权衡是同一件事。

6. 与其他散度的比较

6.1 汇总

（Neyman 一行的验证：，，驻点条件 给 （），代回得 。α 一行取 ，验证：，驻点 给 （），代回即得上式；（即 ，）时公式给出 ，可与直接展开互相验证。）

可见，f-散度族统一了「不对称/对称」「有界/无界」的多种散度。

6.2 积分概率度量（IPM）

f-散度只依赖似然比 ，因此把两个分布同时「搬到别处」值不变。这带来一个根本局限：

也就是说，f-散度在支撑分离时饱和到常数上界，对生成器参数的微小改动失去梯度：因为被积分的量 只在 处有定义，当两个支撑几乎不重叠时，极小化散度的博弈只剩"常数项 − 常数项"，梯度信息全部丢失（这正是原 GAN 训练崩溃的理论根源）。Wasserstein 距离与 MMD 属于另一族——积分概率度量：

它们比较的是「在函数类 上积分的差」，而不是似然比，因此利用了样本空间的度量/几何结构。KS 距离（一维区间指示函数）、Wasserstein（1-Lipschitz 函数）、MMD（RKHS 单位球）都是 IPM。上面对 f-散度的变分表示其实是「带惩罚的 IPM」：

它的被估计量是 ，而不是 ，所以是「非对称 IPM」。

结论： Wasserstein/MMD 不是 f-散度，也不能写成 f-散度；它们的关键区别在于是否利用几何、是否在支撑分离时仍给梯度、以及是否满足数据处理不等式（Wasserstein 一般不满足数据处理不等式，因为传输方案可以随条件分布"重新安排"质量；MMD 由核特征映射的条件期望是收缩算子，沿核的具体结构可证其满足数据处理不等式）。

6.3 支撑不重叠的极限

f-散度在第二行全部「饱和到下界/上界」，而 Wasserstein 随距离线性增长——这正是词嵌入、最优传输、Wasserstein GAN 的动机。

7. 机器学习应用

f-散度族之所以重要，是因为：

1. 统一框架：许多生成模型的目标函数可以写成 f-散度。
2. 变分估计：通过凸共轭，可以用神经网络估计 f-散度，这就是 f-GAN 的核心思想。
3. 灵活选择：不同 对应不同训练性质。例如 JS 有界但可能梯度消失，KL 无界但敏感。
4. 理论分析：数据处理不等式、凸性、对偶表示等为收敛性和泛化分析提供工具。

下面把这几条落到具体场景。

7.1 f-GAN

见第 5 节。核心是： 的对抗目标 = 对 做对偶后的 f-散度估计。选择 就是选择「用哪种散度训练生成器」，这直接决定模式崩塌、梯度消失与训练稳定性的权衡。

7.2 变分推断与 ELBO

变分推断里最大化证据下界

其中 是 f-散度（）。反过来，任何以 为组成部分的目标都可以用 f-散度的语言重写；-VI、-VI 等就换用别的 ，在 3.1 节所说的「零回避」（mass-covering）与「零强制」（mode-seeking）两种极端行为之间取舍。

7.3 互信息估计

互信息可写成

因此它是 f-散度的特例。MINE 用 Donsker–Varadhan 对偶估计它，f-MINE 则对一般 用 4.4 节的对偶；不同 （KL、JS、）给出不同的「MI 下界」和不同的方差—偏差折衷。对比式学习的 InfoNCE 也是 KL 下界的一种变体。

7.4 表示学习

任何表示 都满足（4.5 节）

即「编码不会创造信息」。这为对比学习、域对齐、特征选择提供了可证伪的约束：任何声称「表示后差异更大」的方法都必然在某个环节违反了 DPI，需要解释为什么。

7.5 域适应

在源域 与目标域 上，衡量分布漂移的现代方法（DANN、ADDA）本质上用 f-散度或 IPM 对齐边缘分布；其中用 JS 的（GAN 式）对齐与用 MMD/Wasserstein 的对齐，区别正是 6.2 节的几何与支撑问题。

7.6 假设检验

f-散度是假设检验的错误指数：

• Stein 引理：在固定第一类错误下，第二类错误的最优指数为 ；
• Chernoff 信息：，即 Rényi/α-族中的最优点；对称检验的指数由它决定。

因此 f-散度不只是「训练目标」，也是统计判决的极限性能。

8. 差分隐私（f-DP）

一个较新的应用是把 f-散度的语言搬到隐私保护。差分隐私（DP）要求相邻数据集的输出分布「难以区分」。Dong–Roth–Su 提出 f-差分隐私（f-DP）：用一个权衡函数（tradeoff function） 刻画两个输出分布 上「漏报率—误报率」的权衡曲线：

机制 满足 -DP，若对所有相邻 ，恒有 。可以证明：

• 权衡曲线与 f-散度互相决定。 注意 只依赖似然比 的分布，因此 与"全体 f-散度"携带同样的信息。对 hockey-stick 生成元族

（Dong–Roth–Su 的 就是把 换成 的同一族），变分表示给出干净的检验集形式：

推导： 一方面，任意 可写为指示函数的线性组合（层叠公式），而 是 的线性泛函，故其上确界在指示函数 上达到：

且由 ，左端点态上确界为 ，即 。另一方面取 恰有 ，故等号可取。

几何解释： 扫过 时，右端就是权衡曲线（ROC 下边界）各条斜率为 的支撑线的截距——知道整条曲线 就知道全部 -散度（ 时立刻给出 ）。反过来，知道单个标量散度（如 KL 或 ）只对 施加一个切向约束（4.7 节的不等式网络），信息严格更少；

• 在「小隐私预算」下，所有 f-DP 都由**高斯差分隐私（GDP）**统一逼近，其权衡函数 ；
• 权衡函数族在组合（post-processing、串联）下封闭，并装备了一个与 f-散度"散度序"同构的偏序——这与 f-散度族的" 比较"在结构上完全平行。

这说明 f-散度不仅统一了信息论度量，也统一了现代隐私的定义框架：用一条凸曲线代替一个标量数字。

9. 计算实例

9.1 正态分布

设 、。

KL（经典公式）。

Pearson （等方差 ，）。 计算 ：由配方可得

于是

这印证了「无界」：两个虽很接近但支撑重叠的正态， 也会随 指数爆炸。

Hellinger²（等方差）。 Bhattacharyya 系数

故 ，（本文约定）。

α-散度（等方差）。 由 3.6 节

在小 时 ，与 4.6 节的局部展开一致（且此时与 无关）。

9.2 伯努利分布

设 、（），似然比取值 （概率 ）与 （概率 ）。

这些是检验公式是否自洽的好练习：例如把 对 在 处做二阶展开，应回到 ，与 4.6 节吻合。

9.3 用对偶表示反推 KL

取 、，则对任意 ：

等号在 处取到。代回：

完全自洽。这给出了一个「可验证」的对偶表示练习。

10. 结论

f-散度族的故事可以浓缩成三句话：

1. 一个模板：， 凸、。
2. 两组对偶： 给出变分表示（可用于估计与对抗训练）； 给出方向对称性（可用于构造对称散度）。
3. 一个不变量：数据处理不等式，说明它是「信息量」而非「几何量」。正因如此，它与 Wasserstein/MMD 在支撑分离时行为迥异。

经典文献可参考：Csiszár (1967)、Ali–Silvey (1966) 的原始定义；Liese–Vajda 的专著对 f-散度的对偶、拓扑与充分性做了系统处理；Amari 的信息几何给出 α-族与 Fisher 度量；Nowozin 等 (2016) 的 f-GAN、Belghazi 等 (2018) 的 MINE 把对偶表示变成可训练算法；Dong–Roth–Su (2022) 说明 f-散度的语言如何统一差分隐私。把这几条线索接起来，读者就能在「定义—性质—估计—应用」四个层面上自由穿梭。