Dirichlet 分布与证据深度学习

RSS 阅读器可能不支持渲染数学公式。 点击这里阅读原文：

设 为输入空间， 为类别标签。一个 分类器的输出在数学上究竟是什么？若要求它给出「属于各类别的概率」，则输出必须落在

之中——概率单纯形上的一个点。这是分类器输出的自然状态空间：它不是 ，而是一个 维的紧凸集。

一旦承认了这一点，一个二阶问题便随即出现：分类器对自身输出的把握有多大？若把输出建模为单纯形上的一个确定点，则这个问题在表达力上是被禁止的：单纯形内部不存在可以指代「无信息」的元素，因为每个点都是一份完整的、和为 的断言。要回答二阶问题，必须把输出从「单纯形上的点」提升为「单纯形上的分布」。承担这一角色的标准对象正是 迪利克雷分布（Dirichlet distribution）。

本文的组织如下。第一部分给出迪利克雷分布的形式化定义、生成性刻画与几何图像。第二部分展开其矩结构、重参数化、共轭更新与分裂构造，并澄清「伪计数」这一常见的直观说法在何处成立、在何处失效。第三部分经由主观逻辑（subjective logic）建立迪利克雷分布与神经网络输出之间的双射，由此引入证据深度学习（Evidential Deep Learning, EDL）。第四部分推导 EDL 的损失函数族及其理论缺陷。第五部分讨论其应用形态与边界。第六部分总结。

一、形式化

1.1 概率单纯形

定义 1.1（概率单纯形） 对整数 ， 维标准单纯形定义为 其内部记作 。

是 中的紧凸集，其顶点为坐标向量 。低维特例给出了全部几何直观： 时它是一维线段， 时是二维三角形， 时是三维四面体。它与 个取值上的离散概率分布全体一一对应，因此「分类器的输出」与「单纯形上的点」是同一件事的两种说法。

本文采用如下测度约定：以 为自由坐标、，并以 上的 维 Lebesgue 测度 为参考测度。在该约定下 的体积为 ，这一点在后文讨论熵时会重新出现。

1.2 形式化定义

定义 1.2（Dirichlet 分布） 设参数向量 ，记 。若随机向量 取值于 ，且关于上述参考测度的密度为 则称 服从参数为 的迪利克雷分布，记作 。其中归一化常数为多元 Beta 函数

该定义之所以合法，依赖于下述恒等式。它是整个理论的算术基础，值得单独给出证明。

命题 1.3（归一化恒等式） 对任意 ，

证明 考虑 上的 Gamma 积分之积：

作变量替换 ，其中 、。该替换的 Jacobi 行列式绝对值为 （可由 时的 归纳验证）。代入得

利用约束 ，被积函数中的 因子合并为 ，指数因子合并为 ，二者均与 解耦：

两端除以 即得结论。

命题 1.3 的证明过程本身包含了比结论更多的信息： 与 的完全可分离性。下一小节的生成性刻画正是对这一可分离性的直接读解。

1.3 生成性刻画：Gamma 商表示

命题 1.4（Gamma 商表示） 设 相互独立且 （形状 、率 ）。令 则 ，且 ，其中 。

证明 由独立性， 的联合密度为 。施行与命题 1.3 相同的替换 ，联合密度变换为

右侧分解为仅含 与仅含 的两个因子的乘积，故 与 独立，且各自的边缘分布如命题所述。

命题 1.4 给出了三条即时的推论。其一，它提供了一个 的精确采样算法：独立抽取 个 Gamma 变量再归一化，无需拒绝采样或逆变换。其二，它说明参数 在概率意义上是先于归一化的总质量，这一角色将在 2.2 节被重新参数化为一个精度参数。其三，它把迪利克雷分布与 Gamma 分布、进而与 Poisson 过程联系起来，这正是 2.5 节分裂构造的来源。

1.4 与 Beta 分布、多项分布的关系

退化到 Beta 分布。 当 时，约束 使分布由单一变量 完全决定，密度退化为

故迪利克雷分布是 Beta 分布在维度上的推广。下文所有关于迪利克雷分布的陈述，在 时都应退化为 Beta 分布的相应陈述，这构成了检验公式正确性的一个廉价判据。

边缘分布仍为 Beta。 更一般地，任意单个分量 的边缘分布是 。这一点可由命题 1.4 直接看出：，而 ，故 是相互独立的两个 Gamma 变量之比，其分布为 Beta。

与多项分布的共轭关系。 迪利克雷分布之所以在贝叶斯统计中占据中心位置，在于它是多项分布（等价地，分类分布）的共轭先验。其确切含义与算术后果见 2.4 节。此处只指出其直觉：若先验以「伪计数」 描述对各类别出现次数的初始信念，则观测到计数 后，信念的更新只是 。贝叶斯更新的全部计算复杂度，在这个共轭对中退化为一次向量加法。

二、解析性质

2.1 矩结构

命题 2.1（期望、方差与协方差） 设 。则对任意

证明 由命题 1.4， 且 ，故 ，末一步用到 的倒数的期望 与 的平移技巧，或直接由命题 1.3 的矩恒等式 取 得到。二阶矩由 与 相减即得。

上述结果可写成更紧凑的矩阵形式。记 为均值向量，则

这一形式揭示了两个结构性事实。第一，协方差矩阵的秩为 ：由于 ， 必然奇异，其零空间由 张成——这正是「分布在 维对象上」的代数痕迹。第二，全部协方差为负：，因为分量之间必须通过和为 的约束相互竞争，任何一个分量的增加都以其他分量的期望减少为代价。

2.2 均值—精度重参数化

命题 2.1 中的 与 是两个正交的自由度：前者决定「概率质量落在何处」，后者决定「分布在该处聚集得多紧」。据此引入重参数化

它把参数空间分解为一个方向（ 维单纯形）与一个尺度（正实数）。在此参数化下，协方差为 ，与 的取值无关、只随 单调收缩。因此 是一个纯粹的集中度（或称精度、强度）参数：

命题 2.2（集中性极限） 固定 ，令 。则当 时， 弱收敛于位于 的退化测度 。

证明 由命题 2.1， 且 。对任意 ，由 Chebyshev 不等式 ，故依概率收敛，进而弱收敛于 。

这一命题给出了本文后续所有「不确定性」语汇的几何基础：迪利克雷分布的「模糊程度」等于 的量级，而它的「中心」由 给出。 两者在同一族分布中被参数化为彼此独立的量——这正是证据深度学习能够把「预测什么」与「有多确定」分离开来的数学根据。

2.3 众数与熵

命题 2.3（众数） 若 对一切 成立，则 在 的内部有唯一众数

当某个 时密度在对应边界面上无界，众数退化到边界，此时分布呈现 2.6 节所述的稀疏形态。

命题 2.4（微分熵） 在 1.1 节的测度约定下， 的微分熵为 其中 为 digamma 函数。

证明 直接计算 ，代入 与 （由命题 1.3 的矩恒等式对 求导得到），整理即得。

在对称情形 下， 在 处取最大值 。该值为负，并不矛盾：它是相对于体积为 的支撑集而言的。 对应单纯形上的均匀分布——一个在其支撑集上平坦、却因支撑集体积小于一而具有负微分熵的密度。一般地，由于 紧且测度有限，均匀分布是最大熵分布，故

2.4 共轭性与贝叶斯更新

命题 2.5（Dirichlet–Multinomial 共轭） 设先验 ，给定 观测到计数向量 （，），则后验为

证明 多项似然正比于 ，与先验密度相乘得

该核与 的核成比例，归一化即得。

由共轭性可立即导出两个推论，它们在应用中的地位不低于命题本身。

推论 2.6（Dirichlet–Multinomial 分布） 计数向量 的边缘似然为

推论 2.7（后验预测与收缩） 对未见样本， 而 是先验均值与经验频率的凸组合：

推论 2.7 用一句话概括了加法平滑的全部含义：先验强度的倒数 相对于样本量 的大小，就是数据与先验的信任分配比例。 取 得 Laplace 平滑，取 得 Lidstone 平滑，取 得最大似然估计——这三个统计实践中彼此孤立出现的技巧，在此被识别为同一族参数的不同取值。

2.5 聚合性、中立性与分裂构造

命题 2.8（聚合性） 设 ， 是 的一个划分。令 ，则 ，其中 。

聚合性说明迪利克雷族在粗化（coarsening）下封闭：把若干类别合并，得到的仍是同一族的成员，参数按分量求和。这一性质在层级分类、LDA 中主题的合并、以及 3.5 节中「由多项分布边缘化得到分类预测」的推导中都扮演关键角色。

由聚合性可导出中立性（neutrality）：对任意 ， 与其余分量的归一化版本 相互独立，且后者服从 而 。反复施用中立性，得到如下构造性表示：

命题 2.9（stick-breaking 表示） 设 相互独立。令 则 。

命题 2.9 是 Sethuraman 式的「折断木棍」构造在有限维的情形：从长度为 的木棍中依次折断出比例 的一段。它在无穷维极限下给出 Dirichlet 过程，因而把本文的有限维话题与贝叶斯非参数方法连接起来。

2.6 参数的直观：伪计数及其边界

综合 2.1 至 2.5 节，可以把形状参数 的语义概括为三点：

1. 在共轭更新中， 起先验样本计数的角色（命题 2.5），其总强度 是「先验等价样本量」（推论 2.7）。
2. 在几何上， 由方向 与精度 两个正交分量构成（2.2 节），精度决定围绕 的收缩程度。
3. 在似然意义上， 是对数密度中 的指数，故 意味着密度在 处发散。

对于对称情形 ，这三重语义给出一条完整的形态谱：

此处必须澄清一个常见但过强的说法：把 直接称为「观测到的次数」只在 时在字面上成立。当 时，，隐含的「先验计数」为负，这在计数语义下不可解释，却对应于密度在边界处的发散——一个在稀疏建模中必不可少的形态。准确的说法是： 是伪计数概念的连续化，其在 区域退化回字面意义上的计数解释，而在 区域承担的是稀疏性先验的角色。 这一区分在 3.4 节将直接决定 EDL 中「证据」一词的适用边界。

三、主观逻辑到证据深度学习

3.1 主观逻辑的 opinion 表示

证据深度学习的直接理论前身是 Josang 的主观逻辑（subjective logic），它为「对一个命题的相信程度」建立了一套带不确定性维度的代数。

定义 3.1（opinion） 在有限域 上的一个 opinion 是三元组 ，其中

• 为信念质量（belief mass）。
• 为不确定性质量（uncertainty mass）。
• ，，为基准率（base rate）。

并满足单纯形约束 。

的概率投影（probability projection） 定义为 ：在不了解具体类别时退回基准率，在有所了解时按信念质量分配。当基准率取均匀值 时，。

定义 3.1 的关键在于：opinion 所栖居的空间是 ——一个 维单纯形，比 多出一个维度。多出来的这一维正是「不确定性」的自由度，而它恰恰是 softmax 输出所没有的。

3.2 Dirichlet 与 opinion 的双射

主观逻辑与迪利克雷分布之间不存在类比关系，而是存在严格的双射。

命题 3.2（双射） 设先验权重 、基准率 。则如下两个映射互逆：

验证 正向：，满足定义 3.1 的约束。反向：代入即得恒等。此外，概率投影与迪利克雷期望重合：

其中最后一个等号由命题 2.1 给出。

命题 3.2 是整篇文章的枢纽：它说明在单纯形上输出一个概率分布，与在 opinion 空间中输出一个带不确定性度量的判断，是同一件事。 于是，「给网络加一个不确定性维度」这一看似需要新架构的任务，被归结为「让网络的输出参数化一个迪利克雷分布」。证据深度学习正是沿着这条路径展开的。

3.3 Softmax 的翻译不变性与过度自信

设神经网络 输出 logits ，softmax 给出 ，即 。这一映射存在两个结构性缺陷。

其一，平移不变性抹去了「无信息」这一状态。 对任意常数 ，。因此 logits 的绝对水平不含任何信息，网络的输出只依赖于 的相对差。后果是：（「全零 logits」）与 不可区分，二者都对应均匀分布 。既然均匀分布既可由「无任何信号」也可由「极其强烈的信号恰好相互抵消」产生，输出端就不可能把前者作为一个可辨识的状态标记出来。

其二，交叉熵的最优解在可分数据上把 logits 推向发散。 在训练集线性可分时，以交叉熵为目标的极大似然估计不存在有限最优解：沿方向 可将损失单调压向零。换言之，过度自信不是训练不足的症状，而是 MLE 在可分数据上的退化解——模型越是被「训练充分」，其 softmax 输出越接近 one-hot，而这一行为完全不受输入是否为分布内样本的约束。

两个缺陷合起来解释了 5.1 节的经验事实：以最大 softmax 概率（MSP）作为分布外检测分数存在系统性偏差，因为 softmax 对任何使 logits 相对间距增大的输入都会返回高置信度的断言，而无从表达「这个输入对我而言是陌生的」。

3.4 证据参数化

证据深度学习对上述缺陷的回应是：不再用 softmax 把 logits 压缩为概率，而是用非负激活函数把 logits 提升为证据。

定义 3.3（证据网络） 设 是由主干网络与非负激活函数复合而成的证据函数，输出 。迪利克雷参数取为 网络对输入的预测由此被定义为 。

参数化的语义可直接由命题 3.2 读出： 正是超出均匀先验 的那部分伪计数，即 2.6 节意义上「可解释为计数」的区域。这就是「证据」一词的来源： 是与类别 相关的、由网络从输入中提取出的支持性观测。

非负激活函数的选择影响显著，值得逐一说明：

• ：恒正、处处可微、在 时以 的速度趋零、在 时线性增长。它既提供了精确的零证据状态，又避免了指数爆炸，是实践中默认的选择。
• ：严格正、光滑，但无上界，使 可任意大，易造成数值溢出与损失对证据的不稳定响应。
• ：计算廉价，但在 处梯度恒为零。处于该区域的单元输出证据 且永远无法通过梯度逃离—— 被锁在 ，形成死区。这使 ReLU 在证据函数中通常劣于 softplus。
• ：具有负饱和下界 ，梯度在负半轴非零，是介于二者之间的折中。

3.5 预测概率与不确定性的解析形式

命题 3.4（EDL 的预测与不确定性） 在定义 3.3 的参数化下，记总强度 。则

证明 第一式即命题 2.1。第二式即命题 3.2。对 的推导亦可独立地由聚合性（命题 2.8）得到：若把全部类别合并为一个事件，其迪利克雷参数为 ，不确定性质量即为 。

在 的定义下，预测概率具有一个在解释上极有用的分解：

即预测概率是「证据归一化的类比例」与「均匀分布」按 的凸组合。当证据充分时（），预测趋于证据的方向。当证据消失时（），预测退回均匀分布。极限行为因此完全符合直觉：

命题 3.4 同时也暴露了该参数化的一个结构性局限： 只是总强度 的函数，与证据在各类别之间的分布无关。因此 EDL 的不确定性分数无法区分「少量证据集中于一类」与「大量证据均匀分散」，也无法区分「证据落在正确类别上」与「证据落在错误类别上」。这一局限将在 4.5 节与 5.6 节被重新讨论。

3.6 不确定性的分解：偶然与认知

命题 3.4 给出的 是一个启发式的不确定性标量。与之相对，Malinin 与 Gales 在 Prior Networks 的工作中给出了一个有信息论根据的分解，它在迪利克雷族内具有闭式解。

设 且 。考虑三个量：

1. 总不确定性（total uncertainty）：预测分布的熵 ，其中 。
2. 偶然不确定性（aleatoric uncertainty）：给定 后仍存在的熵的期望 。
3. 认知不确定性（epistemic uncertainty）：二者的差，即 与 之间的互信息。

命题 3.5（Dirichlet 族内的不确定性分解） 记 ，。则

证明 关键在于 ，故 。由 1.4 节的边缘 Beta 性，，而对该 Beta 分布有恒等式 （此处 ，）。代入 即得第二式。互信息由 得到。

这一分解的意义在于：它把「数据本身的随机性」与「关于类别分布的认知不足」在数学上分离成了两个可分别计算的量。 认知项 在 （证据充分）时趋于零，在证据缺失时增大，与 的定性行为一致。但它是通过 函数的差构造的，捕捉了 所忽略的证据分布信息，因而是比 更精细的分数。

不过，这一分解的「认知」标签必须谨慎对待。它在形式上是「关于 的不确定性」，而 在 EDL 中是 的输出，是网络参数的确定性函数。因此 度量的是类概率向量的不确定，而不是模型参数的不确定——后者才是贝叶斯认识论意义上的 epistemic uncertainty。二者的距离，正是 4.5 节全部批评的技术根源。

四、证据深度学习的损失函数

EDL 的训练目标不再是「使 逼近 one-hot 标签」，而是「使整族 逼近一个理想的分布」。损失函数因此被组织为两项：一项拟合分类目标，一项约束不确定性的行为。

4.1 Type-II 极大似然与对数风险

最自然的构造是极小化对数损失在迪利克雷先验下的贝叶斯风险（亦称 Type-II 极大似然）：

命题 4.1（对数风险的闭式） 设真实标签为 ，则

证明 由 （命题 2.4 的证明中已给出），取 并乘以 即得。

该损失的梯度结构值得注意：

其中 为 trigamma 函数（恒正、单调递减）。因此梯度沿两个方向作用：提升真实类别的证据（ 增大），压低其余类别的证据（ 减小）。第二条作用有一个退化倾向：若标签之外的证据可被任意压低而不受惩罚，网络便有动机把 全部驱向 ，从而收缩总证据 ——这正是 4.3 节引入正则项的直接原因。

推论 4.2（与插值交叉熵的关系） 是 one-hot 标签下插值交叉熵的 Jensen 上界：

证明 由 Jensen 不等式 ，故 。渐近展开由 给出，而 保证修正项非负。

推论 4.2 揭示了一个在文献中常被忽略的事实：EDL 的对数损失并非多项—迪利克雷边缘似然的负对数，而是它加上一个显式的、随证据稀缺而增大的修正项。 该项在 大时消失，在证据不足时提供额外压力，其作用与下一小节方差惩罚项在平方损失中的地位完全平行。

4.2 平方损失的贝叶斯风险

Sensoy 等人的原始工作采用了平方损失而非对数损失，其闭式更为直观。

命题 4.3（平方风险的闭式） 设 为 one-hot 标签，则

证明 逐项展开：。由命题 2.1，。求和即得。

该损失的两项具有不同的角色。第一项是拟合项：在 退化为确定性预测时，它退化为 one-hot 编码下的均方误差。第二项是方差惩罚项：它正比于每个分量的伯努利方差 ，反比于总证据 。其作用是双重的：

1. 当证据稀缺（ 小）时，方差项较大，迫使模型不得以低方差的方式给出尖锐预测——这是一种自适应的软惩罚，其强度由数据本身决定，而非人为设定的超参数。
2. 当证据变化时， 与 同时进入两项，形成张力：增大 可以压低方差项，却会强化拟合项。因此最优解不会退化为「证据全为零」的平凡解。

4.3 证据正则化与退火 KL

仅有拟合损失仍不足以约束错误预测上的证据。原因在于 4.1 节的梯度分析：拟合项只对真实类别的证据给出直接的提升压力，而对错误类别上的证据，它只通过 给出一个整体的压制信号，这一信号与证据在各类别间的分配无关。后果是：当一个样本被错误分类时，网络可以通过在错误类别上堆积证据来降低损失，而这恰恰是我们希望惩罚的行为。

正则项的构造基于一个「反事实」的迪利克雷参数：抹去真实类别的证据，保留其余。

定义 4.4（反事实参数与证据正则） 令 ，即把真实类别处的参数置为 、其余保持不变。证据正则项定义为

注意 正是无信息均匀先验。该 KL 散度只依赖于非目标类别上的证据：若网络在错误类别上给出大量证据， 将显著偏离均匀分布，KL 随之增大。

命题 4.5（Dirichlet 的 KL 散度） 对 ， 特别地，取 （此时 ）得

证明 由指数族的一般 KL 公式：。代入 1.2 节的密度并利用 与 即可化简。

总损失为两项的加权和，其中权重按训练步退火：

退火的设计意图是分工时段的划分：训练初期 ，网络可以自由地按拟合损失调整证据的量级，避免在证据尚未成形时被正则项过早地压向零。训练后期 ，正则项接管，迫使模型对错误预测给出高不确定性。消融实验一致表明，缺少退火（即使用常数 ）会显著损害性能——这与该设计的解释相符，而非仅仅是超参数调优的产物。

4.4 统一视角与变体

上述两项可以统一在一个更一般的框架下。所有基于 EDL 的拟合损失都具有形式

即对某个一阶损失 的先验期望。取 得命题 4.1 的 digamma 形式。取 得命题 4.3 的平方形式。这一视角把「EDL 的损失设计」转化为「选择哪个一阶损失并在迪利克雷族上求其贝叶斯风险」的标准问题，从而使新损失的设计有章可循。

在此基础上，文献中出现的主要变体可归入三类：

1. 正则方式不同。除 4.3 节的 KL 正则外，也有工作直接以「认知不确定性应随证据增加而衰减」作为约束，或对证据施加 惩罚。其共同目标都是阻止 的退化。
2. 监督方式不同。Prior Networks 不在期望风险上训练，而是显式地构造一个目标迪利克雷分布（例如：分布内样本用尖锐的 Dirichlet 匹配、分布外样本用平坦的 Dirichlet 匹配），并在分布层面直接计算 KL。这需要分布外样本来定义目标，因此换取的是更强的不确定性控制与更弱的即插即用性。
3. 回归情形的推广。把分类的迪利克雷替换为 Normal-Inverse-Gamma 先验，即得 Deep Evidential Regression（5.5 节）。

统一框架也澄清了一个理论定位问题：EDL 与贝叶斯神经网络（BNN）、深度集成（deep ensembles）、MC Dropout 属于不同的不确定性来源。后三者通过对网络参数（或其近似后验）的分布求积分得到预测分布。EDL 则在固定的参数点估计上，对输出层的二阶分布求积分。二者的区分不是工程实现上的，而是概率模型结构上的，这正是下一小节批评的出发点。

4.5 使用边界

EDL 在实践中表现良好，但其理论地位常被过度解读。把边界集中列出，与前文的正式推导互为对照：

1. 它不是贝叶斯不确定性。 严格的后验预测分布应由对网络参数的边缘化给出： 而 EDL 以点估计 替换外层积分，取 。结果是一个插值（plug-in）估计，其内层积分给出 （由聚合性），确实正确。但外层积分被抛弃， 与 所度量的是「对输出分布的把握」，而非「对模型的把握」。二者在分布外输入上可以严重分歧：一个被错误训练的网络可以以极低的 输出一个错误的类别。
2. 不确定性分数丢弃了证据的分布信息。 如 3.5 节所述， 仅是总证据的函数。它无法表达「证据分散但充分」与「证据集中但贫乏」的区别，也无法区分证据落在何类。 缓解了这一点，但仍不引入任何关于模型参数的信息。
3. 拟合损失带有一个与强度耦合的偏置。 推论 4.2 表明，对数形式等价于交叉熵加上 的修正。因此损失的最小值并不位于「插值交叉熵的最优解」，而是位于一个把证据量级也纳入权衡的点上。这不是缺陷本身，但它意味着EDL 的优化目标与「拟合条件分布」并非同一个目标，将其损失解释为似然的做法在术语上应作区分。
4. 「以损失最小化实现不确定性量化」这一范式受到根本性质疑。 有研究指出，当认知不确定性被定义为某个二阶损失（即关于 的泛函）的极小化者时，损失可以在与真实认知状态无关的第二阶分布上取得同一最小值，从而该极小化者一般并不落在具有正确认知解释的分布上。换言之，「损失小」并不蕴含「认知不确定性估计正确」。这一批评与本条前三点在方向上是独立的：即便接受 EDL 的目标函数，其最优解也未必具有所宣称的语义。
5. 它对主干特征的可分性有隐含依赖。 证据由 给出，因此 落在分布外时能否给出低证据，完全取决于特征提取器是否把该区域映射到低响应区。若主干网络对分布外输入仍产生高幅 logits，EDL 的不确定性同样失效——它把 OOD 问题从输出层转移到了特征层，而非解决它。

综合以上点，恰当的使用立场是：把 EDL 视为一种参数高效、结构可解释的不确定性启发式，而非贝叶斯推理的替代品。 它在「单次前向代价下同时输出预测与不确定性」这一约束下的性价比是突出的。但凡是论断依赖于「该不确定性具有贝叶斯后验语义」的场合，都应改回到对参数做边缘化的方法，或至少给出与后者的对照实验。

五、应用

5.1 分布外检测与开放集识别

由命题 3.4， 是一个单调反比于总证据的量，因此可以直接充当分布外（OOD）分数： 高意味着输入未能激活任何类别的证据。以阈值 作拒识判决

即得开放集分类器。与之竞争的分数包括最大 softmax 概率（MSP）、预测熵、ODIN 的温度与输入扰动、Mahalanobis 距离，以及能量分数 。将它们在性质上加以对照：

EDL 在此项比较中的结构性优势在于两点。第一，它的不确定性是训练目标的一部分（由 4.3 节的正则项直接优化），而非对训练好的网络做事后加工的产物。第二，它给出的是类概率向量的分布，因此可以在不接触任何 OOD 样本的前提下产生 OOD 分数——这是先验网络之外少有的性质（先验网络需要 OOD 样本以构造目标分布）。

限度同样明确：如 4.5 节第 5 点所述，其成败取决于特征空间的可分性。评价应使用 AUROC、AUPR（In/Out 与 Out/In 分别报告）、FPR@95TPR 以及开放集风险—覆盖曲线，而非仅报单一的准确率。

5.2 校准与选择性预测

校准关心的是 是否成立，常用期望校准误差

度量，其中 是置信度分箱。EDL 的训练目标隐含地抑制了 3.3 节所述的 logits 发散退化，因此在若干基准上比 MSP 更校准。但这不是免费的：如 4.5 节第 7 点，EDL 的一阶校准同样需要验证，不应默认成立。

选择性预测（selective prediction） 是 的更自然的落点。经典 Chow 规则指出，在已知真实后验 时，最优拒识策略是「当最大后验概率低于某阈值时拒识」，其最优性依赖于 本身的正确性。EDL 提供了一条与之互补的路径：直接使用二阶量 或 作为拒识分数，从而绕开对一阶校准的依赖。其代价是引入了一个新的、校准状况未知的量。实践中应同时考察两条路径并报告风险—覆盖曲线下的面积（AURC）。

5.3 主动学习与半监督学习

主动学习。 采集函数可以直接取 或 ：前者是「总证据最少」，后者是「关于类概率的知识增益最大」。选择 而非 的好处在于它同时考虑证据的量与分布，等价于 BALD 在迪利克雷族内的闭式对应物。EDL 在此场景的最大优势是代价：一次前向即可得到采集分数，无需 MC 采样、无需多次前向、无需集成子模型。其风险同样直接来自 4.5 节第 1 点：若 因特征层的原因而系统性高估某些区域，主动学习会持续采样这些区域，形成采样偏差。缓解办法是在采集函数中叠加批内多样性项。

半监督与伪标签。 伪标签流程中， 提供了比「最大概率」更细的过滤准则：取 的样本赋予伪标签，可以同时排除「概率高但实为分布外」的样本——这正是 MSP 过滤所无法处理的失败模式。反之，当 过紧时，模型会倾向于只在自己已经熟悉的区域采样伪标签，导致训练集分布收缩、对稀有模式进一步失明。该权衡与 5.6 节讨论的长尾问题同源。

5.4 安全关键场景

在医学影像、自动驾驶与工业质检等场景中，「放弃预测并移交人类」是一个具有明确成本结构的决策，而非纯粹的统计操作。EDL 在这里的价值不是给出更准的标签，而是提供一个可嵌入决策规则的二阶量：

• 分割与体素级不确定性：对每个体素输出 ，得到逐像素的 ，可据此生成「需人工复核区域」的掩码。
• 转诊（referral）机制：将 的样本路由至专家，使自动化系统在其能力边界处显式地退出。
• 开放集动作识别：视频中存在未见动作时， 提供拒绝信号。
• 分子性质预测与虚拟筛选：在化学空间中标识训练分布之外的候选物，避免对高不确定性的预测投入昂贵的实验验证。

这些应用的共同点是：错误的代价不对称，且「不预测」是允许的动作。 这也划定了 EDL 不适用的场合——当系统必须对所有输入给出一个标签、且拒识没有对应的动作时， 至多是一个监控指标。

5.5 回归情形的推广

分类的目标是单纯形上的向量，回归的目标是实数。相应地把迪利克雷替换为正态—逆 Gamma（Normal-Inverse-Gamma, NIG）先验：

网络对每个输入输出四元组 ，边缘预测为自由度 的 Student- 分布。其预测方差可精确分解为偶然部分 与认知部分 ，二者之和 即自由度 的 Student- 分布的方差，形式上与命题 3.5 的分解对应。该推广在分子性质预测、三维重建与不确定性感知的姿态估计中均有应用。

需要指出的是，这一推广的理论状况比分类情形更受争议：有后续研究指出，此类模型所报告的「认知」分量并不随训练数据的增加而按预期衰减，其与偶然分量的分离缺乏理论保证。因此 4.5 节的谨慎立场在回归情形下应进一步加强。

5.6 与原型学习、超球面几何的融合

最后讨论一个尚未定型、但在方法上自然的方向：把 EDL 与基于原型的超球面表示学习结合。设主干网络输出归一化特征 ，各类原型为 ，相似度 。传统原型方法以 作为 logits 并配 softmax 交叉熵，由 3.3 节，这仍受平移不变性与 logits 发散两项缺陷的支配。

一个直接的融合方案是把相似度送入证据函数：

其中 取 3.4 节的非负激活， 沿用 vMF 分布的集中参数语义。该构造把几何与不确定性直接挂钩：特征落在某原型附近时， 接近 、证据充分、 小。特征落在所有原型之外（其与全部原型的相似度均低或为负）时，各 同时趋零、。「离原型远」与「证据不足」在此被同一个机制表达。

但这一构造的成立范围必须严格界定。迪利克雷分布定义在类概率单纯形上，原型方法定义在球面特征空间上，二者的「不确定性」不是同一个对象：前者是关于类概率向量的二阶分布，后者是关于特征位置的一阶几何量。 仍然是一个点估计的映射，因此 4.5 节第 1 点的批评在此完全适用—— 度量的是「特征到原型的距离」，而不是「模型对该映射的把握」。要真正结合二者，需要构造（特征空间，类概率空间）的联合模型，例如令 自身携带分布（层级模型），或以 vMF 构造特征的生成式模型、以迪利克雷构造其上的分类头，使两个不确定性来源可以在同一层级结构中分别标识。

即便在当前的简化形式下，该方向仍有两个值得推进的具体问题：

1. 长尾与稀有类。 稀有类的原型天然缺乏证据支撑， 更高。这既可以被用作保护机制（在损失中对高 样本降低梯度权重），也可能加剧对稀有类的欠拟合（模型学会用「不确定」来逃避稀有类）。二者孰占主导是一个可以实验判定的问题。
2. 与开集/分布外任务的重叠。 在代码漏洞检测这类任务中，异常样本（漏洞）与正常样本在特征空间中高度重叠，其本质是开集问题而非单纯的类别不平衡。 或 可用作告警与拒识的分数，但必须与 4.5 节第 5 点的前提一并验证：只有当特征提取器确实把漏洞样本映射到低证据区时，这一机制才成立，而这正是需要独立验证的假设。

结语

回顾全文，迪利克雷分布在本文中依次扮演了三个层次的角色：

• 作为单纯形上的分布，它是「关于概率的概率」这一二阶对象的标准载体，其参数由方向 与精度 两个正交分量构成（命题 2.2）。
• 作为多项分布的共轭先验，它把贝叶斯更新化简为一次向量加法（命题 2.5），并在聚合性、中立性与 stick-breaking 构造下形成一个结构完整、边界清晰的分布族（命题 2.8、2.9）。
• 作为神经网络的输出层，经由与主观逻辑的严格双射（命题 3.2），它把分类器的输出从「单纯形上的点」提升为「单纯形上的分布」，从而首次让「我不知道」成为一个可表示、可优化的对象。

证据深度学习的核心洞见可以压缩为一句话：softmax 的平移不变性丢弃了 logits 的绝对水平，因而无法表示无信息状态。证据函数不是平移不变的，它把这一被丢弃的自由度重新赋值为「证据的量级」。 命题 3.4 中 的全部行为——证据充分时趋于确定、证据消失时退回均匀——都是这一重新赋值的直接后果。

配合 4.3 节的退火 KL 正则，模型不仅被要求「预测得对」，还被要求「在预测错时承认自己不确定」。

但本文同样花了相当篇幅界定这一范式的边界。EDL 的不确定性是启发式的，不是贝叶斯后验不确定性：它以点估计替换了对网络参数的边缘化，因而度量的是对输出分布的把握而非对模型的把握（4.5 节第 1 点）。 丢弃了证据在类别间的分布信息（第 2 点）。其拟合损失带有与证据量级耦合的偏置，不等同于边缘似然（第 3 点）。并且「以损失最小化实现不确定性量化」这一范式本身受到根本性质疑（第 4 点）。这些限制并不取消该方法的实用价值——在单次前向的代价约束下同时给出预测与不确定性，其性价比是突出的——但它们决定了正确的使用姿态：在需要二阶量的场合使用它，在需要后验语义的场合验证它，并在两者都不确定时，回到对参数做边缘化的方法上去。

最后应当记住的是，不确定性量化的可靠程度，与因果推断一样，等于你愿意且能够承担的假设的强度。迪利克雷分布给出的是一个精确而优美的数学结构。把一个精确的结构接到一个近似的映射（神经网络）上，得到的精确性只属于前者。识别出哪一部分是定理、哪一部分是启发式，是使用这套工具时最有价值的一步。