论文状态：已完成

Black-Box On-Policy Distillation of Large Language Models

发表：2025/11/14

大语言模型蒸馏 (2)黑箱策略蒸馏 (1)生成对抗蒸馏 (1)基于生成模型的反馈机制 (1)学生大语言模型训练 (1)

原文链接 PDF 下载

价格：0.100000

已有 2 人读过

本分析由 AI 生成，可能不完全准确，请以原文为准。

TL;DR 精炼摘要

本研究提出了一种生成对抗蒸馏（GAD）方法，用于在黑箱环境中从教师大语言模型中提取知识。该方法通过构建最小最大博弈，训练判别器与学生模型共同演化，提供在线策略反馈。实验表明，GAD在性能上优于传统的序列级蒸馏。

摘要

Black-box distillation creates student large language models (LLMs) by learning from a proprietary teacher model's text outputs alone, without access to its internal logits or parameters. In this work, we introduce Generative Adversarial Distillation (GAD), which enables on-policy and black-box distillation. GAD frames the student LLM as a generator and trains a discriminator to distinguish its responses from the teacher LLM's, creating a minimax game. The discriminator acts as an on-policy reward model that co-evolves with the student, providing stable, adaptive feedback. Experimental results show that GAD consistently surpasses the commonly used sequence-level knowledge distillation. In particular, Qwen2.5-14B-Instruct (student) trained with GAD becomes comparable to its teacher, GPT-5-Chat, on the LMSYS-Chat automatic evaluation. The results establish GAD as a promising and effective paradigm for black-box LLM distillation.

思维导图

论文精读

中文精读约 26 分钟读完 · 14,188 字

1. 论文基本信息

1.1. 标题

Black-Box On-Policy Distillation of Large Language Models 中文翻译：大语言模型的黑箱在线策略蒸馏

这标题精准地概括了论文的核心内容：

大语言模型 (Large Language Models, LLMs): 研究的对象是当前流行的大模型。
蒸馏 (Distillation): 研究的核心任务是知识蒸馏，即将一个强大的“教师”模型的能力迁移到一个更小的“学生”模型。
黑箱 (Black-Box): 强调了蒸馏的特殊约束条件，即无法访问教师模型的内部参数或输出概率，只能获取其最终生成的文本。
在线策略 (On-Policy): 指出了方法的技术特点，即学生模型在学习过程中会根据自己生成的内容进行优化，这是一种源于强化学习的思路。

1.2. 作者

Zewen Chi, Tianzhu Ye, Li Dong, Xun Wu, Shaohan Huang, Furu Wei.

所有作者均来自微软研究院 (Microsoft Research)。微软研究院是全球顶级的计算机科学研究机构之一，在自然语言处理和大规模模型领域有着深厚的积累和卓越的声誉。该作者团队是微软内部专注于通用人工智能（General AI）研究的核心力量，这为论文的可信度和影响力提供了坚实的背书。

1.3. 发表期刊/会议

发表于： arXiv (预印本)
发表状态： 截至当前时间（2025年11月26日），这是一篇预印本论文，版本为 $v1$ 。arXiv 是一个开放获取的学术论文预印本平台，允许研究者在同行评审前分享他们的研究成果。这通常意味着该研究是前沿的，但尚未经过正式的学术期刊或会议的同行评审流程。

1.4. 发表年份

论文元数据显示的发布日期为 2025年11月13日。这是一个未来的日期，可能是作者上传时设置的占位符或系统错误。但根据论文内容（例如引用了 GPT-5、Qwen2.5 等2024/2025年的模型），可以确定这是一项非常前沿和近期的工作。

1.5. 摘要

本文研究如何从一个专有的、仅提供文本输出的“教师”大语言模型（LLM）中创建一个“学生”LLM，这个过程被称为黑箱蒸馏 (black-box distillation)。为了解决这一挑战，作者提出了一种名为生成对抗蒸馏 (Generative Adversarial Distillation, GAD) 的新方法。GAD 框架将学生 LLM 视为一个生成器 (generator)，同时训练一个判别器 (discriminator) 来区分学生模型和教师模型的回答。这种设置构成了一个最小最大博弈 (minimax game)。在这个博弈中，判别器扮演了一个与学生模型共同进化的在线策略奖励模型 (on-policy reward model) 的角色，为学生模型提供稳定且自适应的反馈。实验结果表明，GAD 的性能稳定地超越了常用的序列级知识蒸馏 (sequence-level knowledge distillation) 方法。特别地，使用 GAD 训练的 Qwen2.5-14B-Instruct (学生) 模型，在 LMSYS-Chat 自动评估基准上，其性能已经可以与它的教师模型 GPT-5-Chat 相媲美。这些结果证明了 GAD 是一个有前途且高效的黑箱 LLM 蒸馏范式。

1.6. 原文链接

原文链接: https://arxiv.org/abs/2511.10643v1
PDF 链接: https://arxiv.org/pdf/2511.10643v1

2. 整体概括

2.1. 研究背景与动机

核心问题： 随着 GPT-4、GPT-5 等闭源、专有的大语言模型（Proprietary LLMs）在性能上遥遥领先，学术界和工业界都希望能将它们强大的能力“迁移”到更小、更高效、可私有化部署的开源模型上。这个过程就是知识蒸馏。然而，这些强大的闭源模型通常只通过 API 提供服务，用户只能得到最终的文本输出，无法获取模型内部的概率分布（即 logits）或参数。这种场景被称为黑箱蒸馏 (black-box distillation)。
现有挑战与空白 (Gap)：
1. 传统蒸馏方法失效： 主流的知识蒸馏方法，如使用 Kullback-Leibler 散度 (KLD) 来对齐学生和教师的输出概率分布，在黑箱场景下完全不可用。
2. 现有黑箱方法效果有限： 目前最常见的黑箱蒸馏方法是序列级知识蒸馏 (Sequence-level Knowledge Distillation, SeqKD)，它本质上就是对（用户指令，教师回答）数据对进行监督微调 (Supervised Fine-Tuning, SFT)。这种方法虽然简单，但效果有限，学生模型倾向于死记硬背教师回答的表面模式（词汇、句式），而不是学习其深层的推理和风格，并且容易受到暴露偏差 (exposure bias) 的影响。
3. 在线策略学习的缺失： 近期在白箱蒸馏领域的研究表明，让学生模型从自己生成的回答中学习（即在线策略学习, on-policy learning）可以取得更好的效果。但在黑箱设置下，这是一个巨大的挑战：当学生生成了自己的回答后，由于无法访问教师模型，我们没有一个明确的信号来判断这个回答是好是坏，因此无法进行有效的优化。
创新切入点： 本文的创新思路是借鉴生成对抗网络 (Generative Adversarial Networks, GANs) 的思想来解决黑箱场景下的在线策略学习问题。作者将学生模型和教师模型看作是博弈的双方，引入一个判别器来充当“裁判”。这个裁判通过学习区分“专业选手”（教师）和“新手”（学生）的回答，反过来为“新手”提供一个动态的、实时的评分（奖励信号），指导其如何模仿得更像“专业选手”。

2.2. 核心贡献/主要发现

提出了新的蒸馏框架 GAD： 本文最核心的贡献是提出了生成对抗蒸馏 (Generative Adversarial Distillation, GAD) 框架。这是首个将生成对抗训练成功应用于大模型黑箱、在线策略蒸馏的工作。
实现了黑箱在线策略学习： GAD 巧妙地通过一个与学生模型共同进化的判别器，为学生自己生成的回答提供了一个动态的奖励信号。这解决了在黑箱设定下无法评估学生自身输出质量的核心难题，从而实现了有效的在线策略学习。
卓越的实验性能： 实验证明 GAD 全面优于传统的 SeqKD 基线。更引人注目的是，通过 GAD 蒸馏，一个中等规模的开源模型（如 Qwen2.5-14B）的性能可以被提升到接近其强大闭源教师模型（如 GPT-5-Chat）的水平。这表明 GAD 是一种非常高效的知识榨取方法。
更好的泛化能力和鲁棒性： GAD 训练的模型不仅在与训练数据同分布的测试集上表现优异，在分布外 (out-of-distribution) 的测试集上也展现出强大的泛化能力。此外，通过与固定奖励模型的对比，证明了 GAD 的动态判别器机制能有效避免强化学习中常见的奖励骇客 (reward hacking) 问题，具有更好的训练稳定性。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 知识蒸馏 (Knowledge Distillation, KD)

知识蒸馏是一种模型压缩技术，其核心思想是将一个大型、复杂且强大的“教师模型”所学习到的知识，迁移到一个小型、高效的“学生模型”中。目标是让学生模型在保持较低计算成本的同时，尽可能地接近甚至达到教师模型的性能。传统的蒸馏方法通常是通过让学生模型模仿教师模型的输出概率分布（软标签）来实现的。

3.1.2. 白箱蒸馏 vs. 黑箱蒸馏 (White-box vs. Black-box Distillation)

白箱蒸馏 (White-box Distillation): 指学生模型在训练时，可以完全访问教师模型的内部信息，包括其网络参数、隐藏层状态，以及最关键的——对于每个词元的输出概率分布（logits）。这使得学生可以直接通过 KL散度 等指标来最小化与教师输出分布的差异。
黑箱蒸馏 (Black-box Distillation): 指学生模型无法访问教师的任何内部信息，唯一能获取的就是教师模型针对某个输入（prompt）给出的最终文本输出。这使得依赖 logits 的方法失效，是本文所关注的、更具挑战性也更具现实意义的场景。

3.1.3. 在线策略 vs. 离线策略学习 (On-policy vs. Off-policy Learning)

这两个概念源于强化学习（RL）。

在线策略 (On-policy): 智能体（在本文中指学生模型）的学习数据来自于其当前策略所产生的行为。也就是说，它一边探索（生成回答），一边根据这些回答获得反馈，并立即用于更新自己。优点是学习过程稳定，直接优化当前策略；缺点是样本利用率低，因为过去的经验很快就会过时。
离线策略 (Off-policy): 智能体可以利用非当前策略所产生的数据进行学习，例如从一个预先存储好的经验回放池中采样数据。优点是样本利用率高。在本文语境下，SeqKD 类似于离线学习，因为它只学习一个固定的、由教师预先生成的数据集。

3.1.4. 生成对抗网络 (Generative Adversarial Networks, GANs)

GAN 包含两个相互竞争的神经网络：

生成器 (Generator, G): 试图生成与真实数据无法区分的假数据。
判别器 (Discriminator, D): 试图准确地判断输入的数据是真实的还是由生成器生成的。两者通过一个最小最大博弈 (minimax game) 相互优化：生成器努力“欺骗”判别器，而判别器努力“识破”生成器。最终，理想情况下，生成器能产出高度逼真的数据。GAD 正是借鉴了这种对抗博弈思想。

3.1.5. 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback, RLHF)

RLHF 是对齐大模型（使其行为符合人类偏好）的主流技术，通常包含三个步骤：

收集人类偏好数据（例如，对于同一个问题，标注者更喜欢回答A而不是回答B）。
利用这些数据训练一个奖励模型 (Reward Model, RM)，该模型能为任意一个回答打分，分数高低反映了其符合人类偏好的程度。
将此奖励模型作为环境，使用强化学习算法（如 PPO）来微调语言模型，使其生成的回答能获得更高的奖励分数。本文的 GAD 与 RLHF 有很强的相似性，其判别器就扮演了奖励模型的角色。但关键区别在于，RLHF 的奖励模型通常是一次性训练好并固定不变的，而 GAD 的判别器是与学生模型共同、持续进化的。

3.2. 前人工作

白箱蒸馏工作:
- 概率分布对齐: 这是最经典的方法。通过最小化教师模型 $p$ 和学生模型 $q$ 输出分布之间的前向 KL 散度 (forward KLD) $KL(p||q)$ 来进行监督微调，如 SeqKD 的一种变体。近期的工作（如 MiniLLM）发现，使用反向 KL 散度 (reverse KLD) $KL(q||p)$ 进行在线策略学习效果更好，因为它鼓励学生模型采取“模式寻求”（mode-seeking）行为，生成更高质量的样本，而不是“模式覆盖”（mode-covering）地去模仿教师所有可能的输出。
- 中间层对齐: 一些工作让学生模型模仿教师模型的中间隐藏层状态（hidden states）或注意力分数（attention scores），以学习更深层次的表征知识。
黑箱蒸馏工作:
- 序列级知识蒸馏 (SeqKD): 这是目前黑箱蒸馏最主流和最简单的方法，也被称为“模仿学习”。其核心就是收集大量由教师模型生成的（指令，回答）对，然后用这些数据对学生模型进行标准的监督微调 (SFT)。著名项目如 Stanford Alpaca 和 Vicuna 都是基于此思想构建的。本文的主要对比基线就是 SeqKD。
- 思维链蒸馏: 近期一些工作发现，不仅仅让教师输出最终答案，而是输出包含详细推理步骤的思维链 (Chain-of-Thought)，并用这些数据来微调学生，可以更好地提升学生的推理能力。

3.3. 技术演进

该领域的技术演进脉络清晰：

白箱时代: 研究者拥有完全的权限，可以探索各种精细的知识迁移方式，例如对齐 logits、hidden states 等。此时的研究重点是如何更有效地利用这些内部信息。
黑箱时代 (模仿学习): 随着 GPT-3.5/4 等强大闭源模型的出现，研究焦点转向黑箱场景。最直接的方法 SeqKD（即模仿学习）被广泛采用，催生了第一波开源指令微调模型。
黑箱时代 (在线策略学习): 研究者意识到 SeqKD 的局限性，并受到白箱在线策略学习成功的启发，开始探索如何在黑箱场景下也实现这一点。本文的 GAD 正是这一阶段的代表性工作，它通过引入对抗训练，巧妙地创造了一个“代理”奖励信号，从而打破了黑箱在线学习的壁死。

3.4. 差异化分析

与 SeqKD 相比，GAD 的核心区别在于：

学习方式: SeqKD 是纯粹的监督学习和离线学习，学生只能被动地模仿固定的教师语料。GAD 则是基于强化学习的在线策略学习，学生可以主动生成回答并从动态反馈中学习。
反馈信号: SeqKD 的监督信号是交叉熵损失，它鼓励学生在词元层面精确复制教师的回答。GAD 的反馈信号来自判别器的打分，这是一个序列级别的奖励，它更关注回答的整体质量、风格和语义，而不是逐字模仿。
鲁棒性: SeqKD 容易过拟合教师的表面文风，导致泛化能力差。GAD 通过对抗博弈，迫使学生学习更本质的知识，同时动态的判别器能有效防止学生钻空子（reward hacking），训练过程更稳定。

4. 方法论

4.1. 方法原理

GAD 的核心思想是将黑箱知识蒸馏问题重构成一个生成对抗网络 (GAN) 的框架。在这个框架中：

学生 LLM 扮演 生成器 (Generator, G) 的角色，其任务是根据给定的指令 $x$ ，生成一个尽可能与教师模型回答相似的回复 $y_s$ 。
另一个模型扮演 判别器 (Discriminator, D) 的角色，其任务是区分一个给定的回复是来自教师模型（真实样本 $y_t$ ），还是来自学生模型（伪造样本 $y_s$ ）。
整个训练过程是一个二人零和博弈：生成器（学生）的目标是生成高质量的回复来“骗过”判别器，使其给出高分；而判别器的目标是不断提升自己的辨别能力，给教师的回复打高分，给学生的回复打低分。通过这种对抗，判别器成为了一个动态的、自适应的奖励模型，它提供的奖励信号（即打分）可以指导学生模型通过强化学习进行在线策略优化。

4.2. 核心方法详解 (逐层深入)

4.2.1. GAD 的博弈目标函数

整个 GAD 框架的优化目标被定义为一个最小最大博弈 (minimax game)，其价值函数 $\mathcal{V}(G, D)$ 如下所示。生成器 G 的目标是最大化该函数，而判别器 D 的目标是最小化该函数。

$\operatorname* { m a x } _ { G } \operatorname* { m i n } _ { D } \mathcal { V } ( G , D ) = \mathbb { E } _ { ( x , y _ { t } ) \sim \mathcal { T } } \left[ - \log \sigma \left( D ( y _ { t } ) - D ( G ( x ) ) \right) \right]$

符号解释:

$G$ : 生成器，即学生 LLM。
$D$ : 判别器，一个评估回复质量的模型。
$x$ : 从数据集 $\mathcal{T}$ 中采样的指令 (prompt)。
$y_t$ : 对应指令 $x$ ，由教师模型生成的标准回复。
G(x): 对应指令 $x$ ，由学生模型（生成器）生成的回复。
$D(y_t)$ : 判别器为教师回复 $y_t$ 打出的标量分数。
D(G(x)): 判别器为学生回复 G(x) 打出的标量分数。
$\sigma(\cdot)$ : Sigmoid 函数，将任意实数映射到 (0, 1) 区间。 $\sigma(z) = 1 / (1 + e^{-z})$ 。
$\mathbb{E}$ : 数学期望，表示对数据集 $\mathcal{T}$ 中所有样本的平均。
$- \log \sigma(z)$ : 这是标准的对数损失 (log loss)。当 $z$ 很大时（即 $D(y_t) \gg D(G(x))$ ）， $\sigma(z)$ 接近 1，损失接近 0；当 $z$ 很小时，损失会很大。

公式目的分析: 这个公式源于 Bradley-Terry 模型，常用于建模成对比较。它的直观含义是：判别器 $D$ 的目标是最大化教师得分 $D(y_t)$ 与学生得分 D(G(x)) 之间的差距。而生成器 $G$ 的目标则是最小化这个差距，即让自己的得分 D(G(x)) 尽可能接近教师的得分 $D(y_t)$ 。通过这个对抗过程，学生模型被激励去生成能获得判别器高分的回复。

4.2.2. 判别器 (Discriminator) 的训练

判别器的目标是最小化价值函数 $\mathcal{V}(G, D)$ 。其损失函数直接从上述博弈目标中导出：

$( Discriminator ) \quad \quad \operatorname* { m i n } _ { D } \ \mathbb { E } _ { ( x , y _ { t } ) \sim \mathcal { T } } \left[ - \log \sigma \left( D ( y _ { t } ) - D ( G ( x ) ) \right) \right]$

训练步骤:

对于一个指令 $x$ ，我们有教师的回复 $y_t$ 和学生生成的回复 $y_s = G(x)$ 。
我们将 $(y_t, y_s)$ 视为一个偏好对，其中 $y_t$ 是“赢家”， $y_s$ 是“输家”。
将 $y_t$ 和 $y_s$ 分别输入判别器 $D$ ，得到分数 $D(y_t)$ 和 $D(y_s)$ 。
通过梯度下降优化 $D$ 的参数，使得 $D(y_t)$ 的分数高于 $D(y_s)$ 。这个损失函数会惩罚那些给学生打分过高或给教师打分过低的判别器。

4.2.3. 生成器 (Generator) 的训练

生成器的目标是最大化价值函数 $\mathcal{V}(G, D)$ ，这等价于最大化其生成回复的判别器得分：

$( Generator ) \operatorname* { m a x } _ { G } \mathbb { E } _ { ( x , y _ { t } ) \sim T } \left[ D ( G ( x ) ) \right]$

训练挑战与解决方案:

挑战: 学生模型生成回复 G(x) 的过程涉及到从概率分布中采样 (sampling) 词元，这是一个离散的、不可微分的操作。因此，我们无法直接通过梯度下降来优化上述目标。
解决方案: 论文将此问题视为一个强化学习 (RL) 问题。
- 策略 (Policy): 学生模型 $G$ 就是策略。
- 行动 (Action): 生成一个完整的回复 G(x)。
- 奖励 (Reward): 判别器给出的分数 D(G(x)) 就是奖励信号。
- 优化算法: 使用策略梯度 (policy gradient) 算法，如 REINFORCE 或更先进的 PPO、GRPO 等，来最大化期望奖励。这意味着，如果一个生成的回复获得了高分，就调整模型参数以增加未来生成类似回复的概率；反之，如果得分低，就降低其概率。

4.2.4. 训练流程与预热阶段

为了保证对抗训练的稳定性和效率，论文强调了一个关键的预热 (Warmup) 阶段。完整的训练流程如 Algorithm 1 所示。

Algorithm 1: GAD 训练算法

输入: 蒸馏数据集 $\mathcal{T} = \{(x, y_t)\}$ , 学生LLM (生成器) $G$ , 判别器 $D$ 。
输出: 训练好的学生模型 $G$ 。
// --- Warmup 阶段 --- //
for 每个批次 $(x, y_t) \sim \mathcal{T}$ do

 更新生成器  $G$ : 在教师回复  $y_t$  上计算交叉熵损失 (cross-entropy loss)，进行监督微调（即 `SeqKD`）。

 更新判别器  $D$ : 使用学生  $G$  当前的输出 `G(x)` 和教师回复  $y_t$ ，计算 **Bradley-Terry 损失**（即公式 3）并更新。

end for
// --- GAD 对抗训练阶段 --- //
repeat

**for** 每个批次  $(x, y_t) \sim \mathcal{T}$  **do**

```
    采样学生回复 `G(x)`。
```

    将 `D(G(x))` 作为奖励 (reward)，使用**强化学习**算法更新生成器  $G$ 。

    使用学生回复 `G(x)` 和教师回复  $y_t$ ，计算 **Bradley-Terry 损失**并更新判别器  $D$ 。

```
**end for**
```
until 收敛
return $G$

预热阶段的重要性：

生成器预热: 让学生模型先通过 SeqKD 对教师的风格和知识有一个初步的模仿，避免在对抗训练初期因水平太差而被判别器轻易“秒杀”，导致梯度消失或训练不稳定。
判别器预热: 同样地，让判别器也对初步的学生和教师回复有一个基本的辨别能力，为后续的对抗训练提供有意义的梯度信号。消融实验证明，缺少任何一方的预热都会导致最终性能显著下降。

5. 实验设置

5.1. 数据集

训练数据集: 从 LMSYS-Chat-1M-Clean 数据集中采样了 20 万条高质量的用户指令。LMSYS-Chat-1M 是一个从 Chatbot Arena 平台收集的大规模、真实世界 LLM 对话数据集。
测试数据集 (In-Domain):
- LMSYS-Chat-1M-Clean 测试集: 500 个样本，用于评估模型在与训练数据同分布任务上的表现。
测试数据集 (Out-of-Distribution, OOD): 用于评估模型的泛化能力。
- Dolly: 一个由 Databricks 员工生成的指令数据集，包含 500 个样本。
- Self-Inst: 一个通过 GPT-3 自我生成指令构建的数据集，包含 252 个样本。
- Vicuna: 一个包含 80 个问题的评测基准，旨在评估模型的对话能力。
数据示例: 论文中使用了如下的 prompt 包装格式进行训练和评估。

该图像是示意图，展示了黑箱蒸馏过程中的生成对抗蒸馏（GAD）框架，其中学生语言模型作为生成器，判别器则用于识别其与教师模型输出的差异，形成一个最小最大博弈的结构。这一方法为学生模型提供了稳定的反馈，有助于其与教师模型（如GPT-5-Chat）之间的协调进化。

5.2. 评估指标

5.2.1. GPT-4o 分数

概念定义: 这是一种“以模型评估模型”(LLM-as-a-Judge) 的方法。它利用一个非常强大且公认公正的 LLM（此处为 GPT-4o）作为“裁判”，来对被评估模型的输出质量进行打分。GPT-4o 会被要求从帮助性、相关性、准确性和细节水平等方面综合评估，并给出一个 1 到 10 分的总体分数。这种方法比传统的基于词重叠的指标（如 BLEU、ROUGE）更能捕捉语义和逻辑层面的质量。
数学公式: 该指标没有固定的数学公式。评估过程基于 GPT-4o 的自然语言理解和生成能力。论文中使用的评估 prompt 如下（原文 Figure 8）：
符号解释: 无。

5.2.2. 人类评估 (Human Evaluation)

概念定义: 招募人类标注员对不同模型生成的回复进行成对比较。对于同一个指令，标注员会同时看到模型A和模型B的回复，并判断“A更好”、“B更好”或“两者相当”（即 GAD 赢/输/平局）。最终统计 GAD 在所有比较中的胜率 (Win Rate)、平局率 (Tie Rate) 和 负率 (Loss Rate)。这是评估语言模型生成质量的黄金标准。
数学公式: 无。
符号解释: 无。

5.2.3. N-gram 重叠度 (N-gram Overlap)

概念定义: 该指标用于衡量学生模型在多大程度上“逐字”模仿了教师模型的局部文本模式。N-gram 是文本中连续的 N 个词元（或单词）序列。通过计算学生回答和教师回答之间共享的 N-gram 比例（通常使用 F1 分数），可以量化两者在词汇和句法层面的相似度。
数学公式: 该指标基于精确率 (Precision) 和召回率 (Recall) 计算 F1 分数。 $\text{Precision}_N = \frac{|\text{N-grams}_{\text{student}} \cap \text{N-grams}_{\text{teacher}}|}{|\text{N-grams}_{\text{student}}|}$ $\text{Recall}_N = \frac{|\text{N-grams}_{\text{student}} \cap \text{N-grams}_{\text{teacher}}|}{|\text{N-grams}_{\text{teacher}}|}$ $\text{F1}_N = 2 \cdot \frac{\text{Precision}_N \cdot \text{Recall}_N}{\text{Precision}_N + \text{Recall}_N}$
符号解释:
- $\text{N-grams}_{\text{student}}$ : 学生回答中所有 N-gram 的集合。
- $\text{N-grams}_{\text{teacher}}$ : 教师回答中所有 N-gram 的集合。
- $|\cdot|$ : 集合中元素的数量。

5.3. 对比基线

教师模型 (Teacher):
- GPT-5-Chat: 一个假设的、代表业界最先进水平的闭源模型。
- Qwen2.5-14B-Instruct: 在特定实验中作为开源教师模型。
学生模型 (Student):
- Qwen2.5 系列: 3B, 7B, 14B 的指令微调版本。
- Llama3 系列: Llama-3.2-3B-Instruct, Llama-3.1-8B-Instruct。
基线方法 (Baselines):
- Before Distill.: 即原始的、未经任何蒸馏的开源学生模型。用于衡量蒸馏带来的提升。
- SeqKD: 即序列级知识蒸馏。使用教师生成的（指令，回答）对学生模型进行监督微调。这是当前最主流的黑箱蒸馏方法。

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. GAD 全面超越基线

论文的核心结果展示在 Figure 1 和 Table 2 中。

$Figure 1: Comparison between GAD and sequence-level knowledge distillation (SeqKD; KR16) trained on LMSYS-Chat $\[ \\mathrm { Z C S ^ { + } } 2 4 \]$ dataset, evaluated by averaged GPT-4o scores. Left: Results on the LMSYS-Chat test set. Right: Average performance across Dolly \[Dat23\], SelfInst $\[ \\mathrm { W K M ^ { + } } 2 3 \]$ , and Vicuna $\[ \\mathrm { C L L ^ { + } } 2 3 \]$ datasets.$ 该图像是示意图，展示了在LMSYS-Chat基准和分布外泛化下，不同模型基于参数数量的平均得分。其中，GAD (ours) 和 Qwen2.5-Instruct 在 3B、7B 和 14B 参数数量下的表现明显优于 SeqKD 模型，指示GAD在蒸馏过程中的有效性。

上图直观地展示了 GAD 的优势。无论是在同分布的 LMSYS 测试集（左图）还是在考验泛化能力的 OOD 数据集（右图）上，GAD（橙色线）的性能始终显著高于 SeqKD（蓝色线）和蒸馏前的原始模型（绿色线）。

一个惊人的发现是 GAD 的模型压缩效率：

使用 GAD 训练的 Qwen2.5-3B 模型，其性能与使用 SeqKD 训练的 Qwen2.5-7B 模型相当。
使用 GAD 训练的 Qwen2.5-7B 模型，其性能可媲美使用 SeqKD 训练的 Qwen2.5-14B 模型。

最重要的是，使用 GAD 训练的 Qwen2.5-14B 模型，在 LMSYS 评估上已经非常接近其教师模型 GPT-5-Chat 的水平。

以下是原文 Table 2 的详细数据，清晰地展示了 GAD 在不同模型和数据集上的优越性。

Model	Method	LMSYS	Dolly	SelfInst	Vicuna
GPT-5-Chat	Teacher	51.7	49.8	49.7	49.9
Qwen2.5-3B-Instruct	Before Distill.	45.8	45.1	45.6	47.3
	SeqKD	47.5	44.8	45.7	48.0
	GAD	48.9	46.7	47.7	49.4
Qwen2.5-7B-Instruct	Before Distill.	48.7	47.6	48.3	49.1
	SeqKD	49.2	47.2	48.3	49.5
	GAD	50.8	48.5	50.1	51.4
Qwen2.5-14B-Instruct	Before Distill.	50.0	49.1	49.4	50.0
	SeqKD	50.6	48.2	49.4	49.7
	GAD	52.1	50.4	51.1	51.6
Llama-3.2-3B-Instruct	Before Distill.	44.0	45.8	47.0	46.9
	SeqKD	47.6	47.0	47.1	48.1
	GAD	48.1	48.5	49.1	48.9
Llama-3.1-8B-Instruct	Before Distill.	46.9	46.6	48.4	47.9
	SeqKD	49.7	47.7	48.7	48.7
	GAD	50.3	48.8	49.5	50.2

分析:

GAD 在所有模型、所有数据集上都取得了最佳性能（黑体数字）。
SeqKD 在 OOD 数据集（Dolly, SelfInst, Vicuna）上的提升非常有限，有时甚至出现负增长（例如 Qwen2.5-3B 在 Dolly 上从 45.1 降到 44.8）。这印证了 SeqKD 泛化能力差的缺点。
相比之下，GAD 在 OOD 数据集上表现出强劲且稳定的性能提升，证明其学习到了更本质、更可泛化的知识。

6.1.2. 人类评估结果

Figure 3: Human evaluation results on the LMSYS-Chat-1M-Clean test set. We compare GAD to the instruct model before distillation and the model fine-tuned with SeqKD. 该图像是图表，展示了不同模型在黑箱置换（GAD）与序列级知识蒸馏（SeqKD）之间的比较结果。图表中包含三个子图，分别对应于 Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct 和 Llama-3.1-8B-Instruct。在每个子图中，绿色条表示“GAD赢”，黄色条表示“平局”，红色条表示“GAD输”。图中的百分比数据反映了各模型在与蒸馏前的比较中GAD的优势。

上图展示了人类评估的结果，进一步证实了 GAD 的优越性。在与 SeqKD 和蒸馏前模型的直接对比中，GAD 的胜率（绿色条）在所有情况下都远超 50%，而负率（红色条）则低于 30%。这表明 GAD 生成的回答在主观质量上获得了人类标注员的显著偏爱。

6.2. 深入分析与消融实验

6.2.1. `SeqKD` 过拟合局部模式

Figure 4: Overlap of local patterns between the student and the teacher. SeqKD tends to overfit to local patterns of the teacher. 该图像是一个柱状图，展示了不同 N-gram 大小 (n) 下 SeqKD 和 GAD 的重叠度比较。可以看到，GAD 方法在大多数 N-gram 大小下的表现优于 SeqKD，特别是在较小的 n 值时重叠度接近 1。

上图比较了 GAD 和 SeqKD 训练的学生模型与教师模型在 N-gram 重叠度上的 F1 分数。

现象: SeqKD 模型的 N-gram 重叠度（蓝色条）显著高于 GAD 模型（橙色条），同时其 GPT-4o 质量评分却更低。
结论: 这表明 SeqKD 倾向于死记硬背教师回答的局部词汇和句法模式（高重叠度），但这种表面上的模仿并没有转化为真正的能力提升（低质量分）。相反，GAD 虽然在字面上不那么像教师，但它更好地捕捉了教师的全局风格和语义精髓，从而生成了更高质量的回答。

6.2.2. GAD 的“模式寻求”行为

Figure 5: Black-box distillation on toy data. GAD learns reachable modes from the teacher while SeqKD aims to cover all the modes. 该图像是一个示意图，展示了教师模型（黑色线）、SeqKD（蓝色线）和GAD（橙色线）在各个类上的概率分布。可以看到，GAD相比于SeqKD和教师模型在类5的概率值更高，表明其在黑箱蒸馏中表现出色。

这个玩具实验生动地解释了 GAD 和 SeqKD 行为模式的根本差异。

设置: 教师是一个具有多个峰值（modes）的混合高斯分布（黑线）。学生的目标是模仿这个分布。
现象:
- SeqKD（蓝色）试图覆盖教师分布的所有峰值，导致其概率质量被分散，形成一个“扁平”的分布。这被称为模式覆盖 (mode-covering) 行为，是前向 KL 散度（SeqKD 的优化目标）的典型特征。
- GAD（橙色）则倾向于将概率质量集中在教师分布最主要的峰值上。这被称为模式寻求 (mode-seeking) 行为，是反向 KL 散度或对抗性目标的典型特征。
结论: 在语言生成中，“模式寻求”通常更优，因为它鼓励模型生成高概率、高质量的连贯文本，而不是试图模仿教师所有可能但质量不一的输出，从而避免了生成“四不像”的平庸回答。

6.2.3. GAD 对抗“奖励骇客”的鲁棒性

Figure 6: Off-policy discriminator suffers from reward hacking, whereas on-policy discriminator remains stable over thousands of training steps. 该图像是一个示意图，展示了 on-policy 和 off-policy 蒸馏的响应长度变化。蓝线代表 off-policy 蒸馏，而橙线代表本文提出的 on-policy 蒸馏方法。图中标注了 'Reward Hacking' 的位置，表示在训练过程中响应长度的显著变化。

上图对比了 GAD 的在线判别器（On-policy）和一种离线判别器（Off-policy）方法的训练稳定性。

设置: Off-policy 方法是先训练好一个判别器并将其固定，然后用它作为奖励模型来训练学生。这类似于标准的 RLHF 流程。
现象:
- Off-policy 方法（蓝线）在训练约300步后出现了奖励骇客 (reward hacking) 现象：学生模型发现了固定奖励模型的漏洞，开始生成超长的、无意义的回答来骗取高分，导致回答长度失控。
- GAD 的在线判别器（橙线）由于与学生共同进化，能动态适应学生策略的变化，及时“堵上”漏洞。因此，整个训练过程非常稳定，没有出现奖励骇客问题。
结论: GAD 的在线对抗机制是其稳定性和鲁棒性的关键保障。

6.2.4. 预热策略的消融实验

以下是原文 Table 3 的结果，研究了预热阶段对最终性能的影响。

	LMSYS	Others
SeqKD	49.2	48.3
GAD	50.8	50.0
w/o Gen. Warmup	49.7	49.7
w/o Disc. Warmup	49.0	47.7