1. 论文基本信息 (Bibliographic Information)

• 标题 (Title): Your Pre-trained LLM is Secretly an Unsupervised Confidence Calibrator (你的预训练大语言模型是一个秘密的无监督置信度校准器)
• 作者 (Authors): Beier Luo¹, Shuoyuan Wang¹, Yixuan Li², Hongxin Wei¹*
  • ¹ 南方科技大学统计与数据科学系 (Department of Statistics and Data Science, Southern University of Science and Technology)
  • ² 威斯康星大学麦迪逊分校计算机科学系 (Department of Computer Sciences, University of Wisconsin-Madison)
• 发表期刊/会议 (Journal/Conference): 本文目前为预印本 (Preprint) 形式，发布于 arXiv。arXiv 是一个开放获取的学术论文存档网站，通常用于正式发表前分享研究成果。
• 发表年份 (Publication Year): 2025 (根据 arXiv 编号推断，提交于 2025 年 5 月)
• 摘要 (Abstract): 论文指出，经过后训练的大语言模型 (PoLMs) 常常存在过度自信的问题，这与通常置信度校准得较好的预训练模型 (PLMs) 形成对比。为了解决在下游任务中标记数据稀缺导致校准困难的问题，作者提出了一种名为 Disagreement-Aware Confidence Alignment (DACA) 的新型无监督后处理校准方法。该方法的核心思想是利用 PLM 的置信度来校准 PoLM，但关键地，它只在 PLM 和 PoLM 预测一致的样本上进行校准。理论分析表明，在预测不一致的样本上进行校准会导致温度参数 $\tau$ 过大，从而引发欠自信问题。通过仅使用一致性样本，DACA 有效地避免了这个问题，提升了校准性能。实验证明，该方法在开源和 API 形式的 LLMs (如 GPT-4o) 上，平均 ECE 最多可降低 15.08%。
• 原文链接 (Source Link):
  • ArXiv 页面: https://arxiv.org/abs/2505.16690v1
  • PDF 链接: http://arxiv.org/pdf/2505.16690v1
  • 发布状态: 预印本 (Preprint)

2. 整体概括 (Executive Summary)

• 研究背景与动机 (Background & Motivation - Why):

  • 核心问题： 现代大语言模型 (LLMs) 在经过指令微调、人类偏好对齐等后训练 (Post-training) 过程后，虽然在任务表现上得到提升，但其置信度校准 (Confidence Calibration) 能力却严重下降，普遍表现出过度自信 (Over-confidence) 的问题，即对错误答案也给出很高的置信度。
  • 重要性与挑战： 在医疗、金融等关键应用中，模型的过度自信是致命的，因为它会误导决策。传统的校准方法，如温度缩放 (Temperature Scaling)，严重依赖有标签的校准数据集。然而，为特定下游任务获取足量的、高质量的标签数据成本高昂且耗时，这构成了一个巨大的应用障碍 (Gap)。
  • 切入点与创新思路： 论文观察到，未经后训练的预训练语言模型 (PLMs) 通常具有良好的置信度校准。因此，本文的创新切入点是：能否利用一个校准良好的 PLM，在完全不需要标签数据的情况下，对过度自信的 PoLM 进行校准？

• 核心贡献/主要发现 (Main Contribution/Findings - What):

  • 提出新方法： 论文提出了一个简单、有效且完全无监督的后处理校准方法——Disagreement-Aware Confidence Alignment (DACA)。这是首个利用无标签数据对 LLM 进行后处理校准的工作。
  • 发现关键问题： 论文揭示了一个关键现象：如果简单地将 PoLM 的置信度与 PLM 对齐，会导致 PoLM 出现欠自信 (Under-confidence)。其根本原因在于 预测不一致 (Prediction Disagreement) 的样本。
  • 提供理论解释： 从理论上证明了，在预测不一致的样本上进行校准，会驱使温度缩放的参数 $\tau$ 趋向于一个过大的值，从而系统性地压低 PoLM 的置信度。
  • 验证广泛有效性： 大量实验表明，DACA 能够显著提升各类开源模型 (Llama, Gemma, Qwen) 和闭源 API 模型 (GPT-4o) 的置信度校准，其效果甚至可以媲美使用少量标签数据进行监督校准的方法。

3. 预备知识与相关工作 (Prerequisite Knowledge & Related Work)

• 基础概念 (Foundational Concepts):

  • 置信度校准 (Confidence Calibration): 一个理想的模型，其输出的置信度分数应该真实地反映其预测的准确率。例如，对于模型给出的所有置信度为 80% 的预测，其中应该有 80% 是正确的。如果置信度系统性地高于准确率，则称为过度自信；反之则为欠自信。

  • 预训练 (Pre-training) vs. 后训练 (Post-training):

    • PLM (Pre-trained Language Model): 指的是在大规模无标签文本上通过自监督学习（如预测下一个词）训练出的基础模型。这类模型通常校准良好。

    • PoLM (Post-trained Language Model): 指的是在 PLM 基础上，通过指令微调 (SFT)、人类反馈强化学习 (RLHF) 或直接偏好优化 (DPO) 等技术进行特定优化后的模型。这些技术在提升模型性能的同时，往往会破坏其原有的校准性。

      图注：上图（原文 Figure 1）直观展示了四个不同 LLM 家族中，预训练版本 (Pre-trained Version) 和后训练版本 (Instruct/Chat Version) 的校准差异。下排的后训练模型（如 Llama-3-8B Instruct）的 ECE (期望校准误差) 远高于上排的预训练模型，红色区域（Gap）代表置信度与准确率的差距，差距越大，过度自信越严重。

  • 后处理校准 (Post-hoc Calibration): 指在模型训练完成后，不对模型权重进行修改，而是通过一个简单的后处理步骤来校准其输出概率的方法。这种方法计算开销小，非常实用。

  • 温度缩放 (Temperature Scaling, TS): 一种经典且高效的后处理校准方法。它引入一个可学习的标量参数温度 (Temperature) $\tau$，用它来缩放模型输出的 logits（即进入 softmax 函数前的值）。公式为 $p(y=i | \mathbf{x}, \tau) = \sigma(\mathbf{z}/\tau)_i$，其中 $\mathbf{z}$ 是 logits。当 $\tau > 1$ 时，概率分布会变得更平滑，可以缓解过度自信；当 $0 < \tau < 1$ 时，分布会变得更尖锐。通常 $\tau$ 是通过在一个有标签的验证集上最小化负对数似然损失 (NLL) 来确定的。

• 前人工作 (Previous Works):

  • 有监督校准方法： 以 TS 为代表，虽然有效，但依赖标签数据，在许多场景下不适用。
  • 无监督校准方法：
    • CAPE: 通过变换多选题选项的顺序来生成多个预测，然后进行集成，以缓解模型的偏见，从而进行校准。
    • Elicitation / Elicitation-Ensemble: 通过设计特定的提示词 (Prompt)，让模型直接“说出”自己对答案的置信度（例如，生成 "The probability is 80%"），而非依赖 softmax 概率。

• 差异化分析 (Differentiation): 与上述无监督方法相比，本文提出的 DACA 具有根本性不同。它不依赖于巧妙的提示词工程或集成，而是利用了 PLM 天然的良好校准性，将其作为“校准参考”。其核心创新在于识别并解决了直接对齐时由“预测不一致”样本带来的负面影响，使得无监督校准变得既简单又可靠。

4. 方法论 (Methodology - Core Technology & Implementation Details)

• 方法原理 (Methodology Principles):

  • 核心思想： 利用一个校准良好的 PLM ($f$) 的输出概率分布 $p(x)$ 作为“伪标签”或“软目标”，来指导对一个过度自信的 PoLM ($g$) 进行校准。

  • 朴素方法的陷阱： 一个直观的想法是，在无标签数据集 $\mathcal{D}$ 上，通过温度缩放来最小化 PoLM 的输出分布 $\sigma(g(x)/\tau)$ 与 PLM 的输出分布 $p(x)$ 之间的 KL 散度 (Kullback-Leibler Divergence)。 $$\tau^* = \arg\min_{\tau > 0} \mathbb{E}_{\mathbf{x} \in \mathcal{D}} \left[ \sum_{i=1}^k p_i(\mathbf{x}) \log \frac{p_i(\mathbf{x})}{\sigma_i(g(\mathbf{x})/\tau)} \right]$$ 然而，实验（见下图 a）和理论分析都表明，这种“朴素置信度对齐”会导致 PoLM 变得欠自信。

    图注：上图（原文 Figure 2）是理解本文动机的关键。(a) 展示了朴素对齐方法在 MMLU 的两个子任务上导致的严重欠自信问题（ECE 分别为 18.67% 和 21.23%，蓝色柱状远低于对角虚线）。(b) 揭示了其根本原因：在预测不一致的样本集 (Disagreement Set) 上训练时，温度 $\tau$（红色曲线）会持续飙升；而在预测一致的样本集 (Agreement Set) 上训练时，$\tau$（绿色曲线）则稳定在一个合理的值。在整个数据集上训练（紫色曲线）的结果是两者的折衷，但仍被不一致样本拉高了 $\tau$ 值。

  • 问题的根源——预测不一致： 当 PLM 和 PoLM 对同一个输入 $x$ 给出不同的预测时（例如，PLM 选 A，PoLM 选 B），PLM 的高置信度是针对答案 A 的，而我们希望校准的是 PoLM 对答案 B 的置信度。此时，PLM 的置信度不再是 PoLM 预测正确性的可靠代理。更糟糕的是，后训练通常会提升模型性能，这意味着在不一致样本上，PoLM 的预测往往比 PLM 更准确。因此，PLM 的低置信度（对 PoLM 预测的选项）会错误地引导优化过程，强行压低 PoLM 的置信度。

  • 理论支撑 (Proposition 3.3): 论文从理论上证明，对于一个不一致样本，如果 PLM 对 PoLM 预测的类别 $c$ 所给出的概率小于 $1/k$（$k$ 为选项数），那么最小化 KL 散度的最优温度 $\tau^*$ 将趋向于无穷大。这解释了上图 (b) 中红色曲线持续上升的现象。

• 方法步骤与流程 (Steps & Procedures): DACA 的流程非常简单：

  1. 准备一个预训练模型 PLM ($f$) 和一个待校准的后训练模型 PoLM ($g$)。
  2. 准备一个无标签的验证数据集 $\mathcal{D}$。
  3. 对于数据集中的每一个样本 $x$，分别获取 PLM 和 PoLM 的最高概率预测：$\hat{y} = \arg\max_i f_i(\mathbf{x})$ 和 $\hat{y}' = \arg\max_i g_i(\mathbf{x})$。
  4. 筛选样本： 只保留那些 PLM 和 PoLM 预测完全一致的样本，即 $\hat{y} = \hat{y}'$，构成一致性样本集 (Agreement Set)。
  5. 优化参数： 在这个一致性样本集上，通过最小化 KL 散度来优化 PoLM 的温度参数 $\tau$。

• 数学公式与关键细节 (Mathematical Formulas & Key Details):

  • DACA 的核心是其修改后的损失函数。它在朴素对齐的 KL 散度损失前增加了一个指示函数 $\mathbf{1}\{\hat{y} = \hat{y}'\}$： $$\mathcal{L}(\tau; x) = \mathbf{1}\{\hat{y} = \hat{y}'\} \cdot \left[ \sum_{i=1}^{k} p_i(x) \log \frac{p_i(x)}{\sigma_i(g(x)/\tau)} \right]$$
  • 符号解释:
    • $\tau$: 温度参数，是需要优化的唯一变量。
    • $x$: 输入样本。
    • $\hat{y}$: PLM 的预测类别。
    • $\hat{y}'$: PoLM 的预测类别。
    • $\mathbf{1}\{\cdot\}$: 指示函数 (Indicator Function)。当括号内的条件成立时（即预测一致），函数值为 1；否则为 0。这个函数是 DACA 的灵魂，它有效地“屏蔽”了所有不一致样本对损失计算的贡献。
    • $p_i(x)$: PLM 对类别 $i$ 输出的概率。
    • $g(x)$: PoLM 输出的 logits。
    • $\sigma_i(g(x)/\tau)$: 经过温度 $\tau$ 缩放后，PoLM 对类别 $i$ 输出的概率。

5. 实验设置 (Experimental Setup)

• 数据集 (Datasets):

  • MMLU: 一个大规模、涵盖 57 个不同学科的多项选择问答基准，用于全面评估模型的知识和推理能力。
  • MedMCQA: 一个面向医疗领域的专业多项选择问答数据集。
  • MathQA: 一个数学应用题问答数据集。
  • TruthfulQA: 用于评估模型生成答案真实性的数据集，本文用于测试开放式问答场景。

• 评估指标 (Evaluation Metrics):

  1. 期望校准误差 (Expected Calibration Error, ECE):
     • 概念定义: ECE 是衡量模型校准度的核心指标。它将样本按置信度分为若干个区间（bins），计算每个区间内平均置信度与实际准确率之间的加权平均绝对差值。ECE 值越低，表示模型的校准度越好。
     • 数学公式: $$\mathrm{ECE} = \sum_{g=1}^{G} \frac{|b_g|}{N} \Big|\operatorname{acc}(b_g) - \operatorname{conf}(b_g)\Big|$$
     • 符号解释:
       • $N$: 样本总数。
       • $G$: 区间 (bin) 的数量。
       • $b_g$: 第 $g$ 个区间。
       • $|b_g|$: 掉入第 $g$ 个区间的样本数量。
       • $\operatorname{acc}(b_g)$: 第 $g$ 个区间内样本的平均准确率。
       • $\operatorname{conf}(b_g)$: 第 $g$ 个区间内样本的平均置信度。
  2. 最大校准误差 (Maximum Calibration Error, MCE):
     • 概念定义: MCE 衡量的是所有区间中最差的校准情况，即平均置信度与实际准确率之间的最大差值。它反映了模型在最坏情况下的校准表现。
     • 数学公式: $$\mathrm{MCE} = \max_{g=1, \dots, G} \Big|\operatorname{acc}(b_g) - \operatorname{conf}(b_g)\Big|$$
     • 符号解释: 符号含义同 ECE。
  3. 自适应 ECE (Adaptive ECE, AECE):
     • 概念定义: AECE 是 ECE 的一种变体。传统的 ECE 使用等宽的置信度区间，可能导致某些区间样本过多而另一些过少。AECE 采用自适应的区间划分策略，确保每个区间包含相同数量的样本，从而提供更稳健的校准度评估。
     • 数学公式: 公式形式与 ECE 相同，但区间的划分方式 $b_g$ 不同。
  4. 布里尔分数 (Brier Score):
     • 概念定义: Brier Score 是一种综合评估预测概率准确性的指标，类似于均方误差。它计算的是预测概率向量与真实结果的独热编码 (one-hot) 向量之间的欧氏距离平方。该分数同时惩罚了错误分类和校准不佳的概率，分数越低越好。
     • 数学公式: $$\mathrm{Brier Score} = \frac{1}{N} \sum_{n=1}^{N} \sum_{i=1}^{k} (p_{ni} - o_{ni})^2$$
     • 符号解释:
       • $N$: 样本总数。
       • $k$: 类别总数。
       • $p_{ni}$: 模型对第 $n$ 个样本属于第 $i$ 类的预测概率。
       • $o_{ni}$: 如果第 $n$ 个样本的真实类别是 $i$，则为 1，否则为 0。

• 对比基线 (Baselines):

  • Vanilla: 未经任何校准的原始 PoLM。
  • CAPE, Elicitation, Elicitation-Ensemble: 代表性的无监督、基于提示词的校准方法。
  • Temperature Scaling (TS): 使用有标签数据进行校准的监督方法，作为性能参考的上限。

6. 实验结果与分析 (Results & Analysis)

• 核心结果分析:

  • DACA 显著提升各类模型校准性能 (Table 1):

    • 以下是原文 Table 1 的转录版本，展示了在 MMLU 数据集上各方法的平均性能。

      Models	Methods	ECE %(↓)	MCE %(↓)	AECE %(↓)	Brier Score(↓)
      Qwen3-8B	Vanilla	16.383±0.433	38.190±1.547	24.990±0.667	0.179±0.003
      	CAPE	11.524±0.091	31.741±0.152	17.614±0.048	0.157±0.001
      	Elicitation	16.774±0.214	66.884±16.785	27.568±2.897
      	Elicitation-Ensemble	16.475±0.407	44.991±11.249	20.515±2.394
      	Ours	8.393±0.228	23.700±1.374	12.601±0.617	0.144±0.001
      	TS†	8.655±0.220	28.108±1.730	14.547±0.666	0.146±0.001
      Gemma-3-12B-Instruct	Vanilla	23.679±0.525	48.506±1.584	35.886±1.257	0.235±0.005
      	CAPE	13.906±0.209	32.830±0.700	19.278±0.377	0.168±0.001
      	Elicitation	25.464±0.877	76.000±15.487	41.485±3.731
      	Elicitation-Ensemble	25.417±0.244	42.017±10.256	32.221±1.987
      	Ours	8.596±0.380	27.022±3.335	13.551±0.804	0.154±0.002
      	TS†	9.746±0.364	29.804±2.750	15.604±0.859	0.159±0.003
      Yi-1.5-34B-Chat	Vanilla	16.200±0.554	33.819±1.452	20.353±0.664	0.199±0.005
      	CAPE	10.251±0.289	22.759±0.665	13.121±0.012	0.179±0.001
      	Elicitation	27.152±6.513	83.000±8.000	49.211±9.379
      	Elicitation-Ensemble	23.954±7.487	61.487±11.487	39.259±3.049
      	Ours	9.465±0.174	19.898±1.082	11.700±0.411	0.174±0.004
      	TS†	8.592±0.170	28.599±1.377	12.553±0.378	0.173±0.004
      Llama-3-70B-Instruct	Vanilla	12.870±0.483	36.873±1.415	23.837±0.760	0.143±0.003
      	CAPE	9.346±0.122	30.903±1.498	17.681±0.172	0.125±0.001
      	Elicitation	11.227±0.113	60.000±14.142	21.237±1.036
      	Elicitation-Ensemble	16.632±0.068	70.066±28.774	21.790±6.976
      	Ours	7.844±0.418	24.275±1.285	13.158±0.488	0.120±0.001
      	TS†	8.360±0.283	27.366±1.778	14.928±0.686	0.126±0.002

    • 分析： 在所有四个模型上，Ours (DACA) 的 ECE、MCE、AECE 和 Brier Score 均显著低于 Vanilla 和其他无监督基线。例如，对于 Gemma-3-12B-Instruct，ECE 从 23.68% 大幅降低至 8.60%。惊人的是，DACA 的性能在多数情况下甚至优于使用标签数据的 TS，这表明在标签数据有限时，利用 PLM 的稳定信息可能比直接拟合少量标签更有效。

  • DACA 对不同模型尺寸均有效 (Figure 3):

    图注：上图（原文 Figure 3）展示了在 MedMCQA 数据集上，DACA (Ours) 在不同模型家族和尺寸上都取得了稳定的校准效果，ECE 均远低于原始模型 (Vanilla) 和基线方法 CAPE。

  • DACA 可用于闭源 API 模型，且对 PLM 的选择不敏感 (Table 2):

    • 以下是原文 Table 2 的转录版本，展示了使用不同的小型开源 PLM 来校准 GPT-4o 的结果。

      Methods	Pre-trained Models	ECE*%	ECE %(↓)	MCE %(↓)	AECE %(↓)	Brier Score(↓)
      Vanilla	-	-	21.231±0.296	35.218±4.260	27.619±1.661	0.216±0.003
      Ours	Llama-3-8B	9.450±0.777	7.984±0.397	10.640±0.413	6.879±0.737	0.150±0.001
      	Qwen2.5-7B	6.990±0.102	7.816±0.215	10.467±0.42	6.751±0.763	0.150±0.001
      	Gemma-3-12B	4.424±0.696	6.993±0.490	10.057±0.115	6.115±0.787	0.148±0.002

    • 分析： 这一结果极具实践价值。它表明我们可以用一个廉价、易于获取的小型 PLM 来校准一个强大的、但无法访问其预训练版本的闭源 PoLM（如 GPT-4o）。结果显示，无论使用哪个 PLM，GPT-4o 的校准度都得到了巨大提升（ECE 从 21.23% 降至约 7-8%）。同时，一个有趣的发现是，PLM 本身的校准度越好（ECE* 越低，如 Gemma-3-12B），校准后的 PoLM 性能也越好。

  • DACA 对不同后训练策略均有效 (Table 3):

    • 以下是原文 Table 3 的转录版本，展示了 DACA 对经过不同后训练技术（SFT, DPO, RLVR）的 Llama-3.1-8B 模型的校准效果。

      Post-training Techniques	Methods	ECE %(↓)	MCE %()	AECE %(↓)	Brier Score(↓)
      SFT	Vanilla	14.850±0.857	19.893±1.736	14.289±0.649	0.237±0.004
      	Ours	4.573±0.410	10.000±0.000	4.812±0.800	0.213±0.001
      SFT + DPO	Vanilla	25.120±0.953	29.381±1.534	22.413±1.387	0.282±0.004
      	Ours	5.418±0.354	10.000±0.000	4.961±0.601	0.212±0.001
      SFT + DPO + RLVR	Vanilla	25.193±1.171	30.836±1.598	22.447±2.532	0.282±0.005
      	Ours	5.988±0.430	10.000±0.000	5.961±0.709	0.212±0.001

    • 分析： 无论模型是仅经过 SFT，还是更复杂的 DPO 或 RLVR，其 ECE 都非常高。而 DACA 都能稳定地将其 ECE 从 15%-25% 的范围降低到 5% 左右，证明了该方法的普适性。

  • DACA 可应用于开放式问答并有益于选择性分类:

    • 开放式问答 (Figure 4): 论文通过将开放式问答转化为判断“是/否”正确性的二分类问题，成功将 DACA 应用于 TruthfulQA 数据集，同样取得了显著的 ECE 降低。

    • 选择性分类 (Figure 5):

      图注：上图（原文 Figure 5）展示了在 MedMCQA 数据集上，经过 DACA 校准后（红色曲线 Ours），模型的准确率与置信度实现了良好匹配。在任何置信度阈值下，DACA 校准后的模型准确率都远高于原始模型（蓝色曲线 Vanilla）。这意味着我们可以更可靠地使用置信度来决定是否采纳模型的答案，从而在实际应用中提升系统的可靠性。

• 消融实验/参数分析 (Ablation Studies / Parameter Analysis):

  • 论文没有设置独立的消融研究章节，但其核心论证过程本身就是一次效果显著的“消融实验”。通过对比“朴素对齐”（在全部数据上训练）和 DACA（仅在一致性数据上训练），论文清晰地证明了“剔除不一致样本”这一核心组件的必要性和有效性。Figure 2(b) 的分析（在不同子集上训练温度 $\tau$）是支撑这一结论最强有力的证据。

7. 总结与思考 (Conclusion & Personal Thoughts)

• 结论总结 (Conclusion Summary):

  • 本文成功识别并解决了后训练大语言模型 (PoLMs) 的过度自信问题，提出了一个名为 DACA 的创新性无监督校准方法。
  • DACA 的核心贡献在于，它巧妙地利用了预训练模型 (PLMs) 的良好校准性，并通过只在 PLM 和 PoLM 预测一致的样本上进行置信度对齐，有效规避了由预测不一致导致的校准失败问题。
  • 实验结果强有力地证明了 DACA 在多种模型、数据集和任务上的有效性、普适性和实用性，为在无标签数据场景下提升 LLM 可靠性提供了一个简单、高效的解决方案。

• 局限性与未来工作 (Limitations & Future Work):

  • 计算成本增加： DACA 需要额外运行一次 PLM 来获取其预测和概率，这会带来一定的计算开销。
  • 数据利用率： 该方法丢弃了所有预测不一致的样本，这可能会减少用于校准的数据量。虽然在无标签数据充足的情况下这不是问题，但未来可以研究如何有效利用这些被丢弃的“不一致”样本来进一步提升校准性能。

• 个人启发与批判 (Personal Insights & Critique):

  • 简洁而深刻： DACA 的思想非常简洁，但它背后对“预测不一致”问题的洞察非常深刻。这种“少即是多”（通过丢弃噪声数据来提升性能）的思路在机器学习中颇具启发性。
  • 极高的实用价值： 能够用一个小型开源 PLM 去校准一个庞大的闭源 API 模型，这个特性极大地扩展了该方法的应用场景。在实际部署中，这意味着可以低成本地为商业 LLM 服务增加一个“可靠性校准层”。
  • 潜在问题与思考：
    • 一致性比例的影响： 如果后训练极大地改变了模型的行为，导致与 PLM 的一致性样本比例非常低，DACA 的性能是否会下降？此时校准数据集过小可能会导致过拟合。
    • PLM 的质量依赖： 论文表明，更好的 PLM 带来更好的校准效果。但如果手头只有一个校准得很差的 PLM，DACA 的效果会如何？方法对 PLM 的“校准质量”有多鲁棒，是一个值得探讨的问题。
    • 任务泛化性： 本文主要在多项选择问答上验证，对开放式问答的探索相对初步。DACA 在更复杂的生成任务（如摘要、翻译）上的适用性，以及如何定义这些任务中的“预测一致性”，是未来值得探索的方向。