1. 论文基本信息

1.1. 标题

Elo-Evolve: A Co-evolutionary Framework for Language Model Alignment (Elo-Evolve：一个用于语言模型对齐的协同演化框架)

1.2. 作者

匿名作者 (Anonymous authors)

1.3. 发表期刊/会议

目前处于双盲评审阶段 (Paper under double-blind review)。该论文提交至 OpenReview 平台。

1.4. 发表年份

2025年

1.5. 摘要

当前用于大型语言模型 (LLMs) 的对齐 (alignment) 方法依赖于将大量人类偏好数据压缩成静态的、绝对的奖励函数 (reward functions)，这导致了数据稀缺、对噪声敏感以及训练不稳定等问题。本文提出了 Elo-Evolve，这是一个协同演化 (co-evolutionary) 框架，它将对齐重新定义为自适应对手池 (adaptive opponent pool) 中的动态多智能体竞争。该方法包含两项关键创新：(1) 通过学习配对竞争中的二元胜/负结果，消除了对 Bradley-Terry 模型的依赖；(2) 实现了 Elo 编排的对手选择机制，通过温控采样 (temperature-controlled sampling) 提供自动课程学习 (automatic curriculum learning)。论文将该方法奠基于 PAC 学习理论 (PAC learning theory)，证明了配对比较 (pairwise comparison) 实现了更优的样本复杂度 ($O(1/\varepsilon)$ 相较于 $O(1/\varepsilon^2)$)，并经验性验证了相比于绝对评分方法，噪声降低了 4.5 倍。实验中，作者使用该框架训练了一个 Qwen2.5-7B 模型，其对手包括 Qwen2.5-14B、Qwen2.5-32B 和 Qwen3-8B 模型。结果表明，在 Alpaca Eval 2.0 和 MT-Bench 上，性能存在清晰的层级关系：基于点的奖励方法 (point-based methods) < 静态配对训练 (static pairwise training) < Elo-Evolve，这验证了配对比较和动态对手选择在 LLM 对齐方面的渐进效益。

1.6. 原文链接

https://openreview.net/forum?id=tMRTMdi5Hz

1.7. PDF 链接

https://openreview.net/pdf?id=tMRTMdi5Hz

2. 整体概括

2.1. 研究背景与动机

2.1.1. 论文试图解决的核心问题

当前大型语言模型 (Large Language Models, LLMs) 的对齐 (alignment) 方法主要依赖于将人类偏好数据转换为静态的、绝对的奖励函数 (reward functions)。这种范式存在以下关键限制：

1. 数据稀缺与收集成本高昂： 训练有效的奖励模型需要大量高质量的偏好数据，这收集成本高昂且难以大规模获取，常导致模型泛化能力差和奖励欺骗 (reward hacking) 行为。
2. Bradley-Terry 模型 (BT) 的局限性： 常用于偏好建模的 Bradley-Terry 模型 (Bradley & Terry, 1952) 存在次优的样本复杂度 (sample complexity) 和对标签噪声 (label noise) 的高敏感性 (Sun et al., 2024)，导致低保真度的信号在整个训练过程中传播。
3. 静态奖励模型的优化挑战： 随着策略 (policy) 的改进，静态奖励模型难以提供有区分度的反馈，这在高级训练阶段造成优化困难 (Stiennon et al., 2020)。

2.1.2. 为什么这个问题在当前领域是重要的

LLM 的对齐是确保其行为符合人类价值观、指令和期望的关键。上述限制构成了可扩展性和性能的瓶颈，阻碍了 LLM 对齐方法的进一步发展，尤其是在模型能力日益增强、需要更精细控制和更鲁棒训练的背景下。解决这些问题对于提升 LLM 的实际应用价值和安全性至关重要。

2.1.3. 这篇论文的切入点或创新思路

本论文通过引入 Elo-Evolve 框架，将对齐重新定义为动态的多智能体竞争 (dynamic multi-agent competition)。其核心创新在于：

• 消除静态奖励模型： 不再依赖中间的静态奖励模型，而是直接从配对竞争的二元胜/负结果中学习。
• 动态适应的对手选择： 维护一个自适应的对手池 (adaptive opponent pool)，通过 Elo 评分系统动态调整训练难度，实现自动课程学习。

2.2. 核心贡献/主要发现

1. 提出了 Elo-Evolve 协同演化对齐框架： 该框架用动态多智能体竞争取代了静态奖励建模，通过直接利用 LLM 评判 (judge) 进行竞争性学习，消除了对 Bradley-Terry 模型和显式奖励模型训练的需求。
2. 开发了基于 Elo 的对手选择机制： 通过温控采样实现了自动课程学习，动态调整训练难度，使策略在训练过程中持续面临适当的挑战。
3. 提供了理论和经验验证：
   • 理论上， 论文基于 PAC 学习理论证明了配对比较相对于绝对评分方法具有更优的样本复杂度 ($O(1/\varepsilon)$ vs $O(1/\varepsilon^2)$)，意味着更高的样本效率。
   • 经验上， 论文验证了配对比较相比绝对评分方法，噪声降低了 4.5 倍，提供了更高保真度的训练信号。
4. 实验结果验证了渐进性能提升： 在 Alpaca Eval 2.0 和 MT-Bench 基准测试中，通过 Qwen2.5-7B 模型与不同量级对手的训练，论文展示了清晰的性能层级：基于点的奖励方法 < 静态配对训练 < Elo-Evolve，从而验证了竞争性学习和自适应课程设计的有效性。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 大型语言模型 (Large Language Models, LLMs)

LLM 是一类拥有数亿甚至数千亿参数的深度学习模型，它们通过在海量文本数据上进行预训练来学习语言的模式、语法、语义和世界知识。LLM 能够执行各种自然语言处理 (NLP) 任务，如文本生成、问答、摘要、翻译等。它们的强大能力来自于其巨大的规模和Transformer架构。

3.1.2. 对齐 (Alignment)

对齐 指的是确保 LLM 的行为、输出和决策符合人类的意图、价值观、指令和安全标准。未经对齐的 LLM 可能会生成有害、不准确、有偏见或无益的内容。对齐是 LLM 部署到实际应用中的关键步骤，通常涉及利用人类反馈或 AI 反馈来微调模型。

3.1.3. 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback, RLHF)

RLHF 是一种广泛用于 LLM 对齐的范式。它通常包括以下三个阶段：

1. 预训练 (Pre-training)： 在大量文本数据上训练一个基础语言模型。
2. 奖励模型训练 (Reward Model Training)： 收集人类对模型生成文本的偏好数据（例如，比较两个回答哪个更好），然后训练一个单独的奖励模型 RM 来预测这些人类偏好，将文本质量映射为标量分数。
3. 策略优化 (Policy Optimization)： 使用强化学习算法 (如 PPO)，根据 RM 提供的奖励信号来微调 LLM（作为 策略），使其生成更高质量、更符合人类偏好的响应。

3.1.4. 奖励模型 (Reward Model, RM)

奖励模型 是 RLHF 流程中的一个关键组件，它是一个独立的神经网络模型，被训练来模仿人类偏好。给定一个提示 (prompt) 和 LLM 生成的响应，RM 会输出一个标量分数，代表该响应在特定标准（如有用性、无害性、诚实性）下的质量。这个分数随后被用作强化学习中的奖励信号，指导 LLM 的微调。

3.1.5. Bradley-Terry (BT) 模型

Bradley-Terry 模型 (Bradley & Terry, 1952) 是一种用于分析配对比较数据的统计模型。在 LLM 对齐中，它常用于从人类对两个 LLM 响应的偏好判断（例如，“响应 A 比响应 B 好”）中推断出每个响应的潜在“能力”或“质量”分数。它假设每个项目的实力 (strength) 可以用一个参数表示，并且一个项目在与另一个项目比较时获胜的概率是这两个项目实力之差的函数。 假设有两个响应 $y_A$ 和 $y_B$，它们的真实质量分数分别为 $q(y_A)$ 和 $q(y_B)$。Bradley-Terry 模型假设 $y_A$ 优于 $y_B$ 的概率 $P(y_A \succ y_B)$ 可以表示为： $$P(y_A \succ y_B) = \frac{\exp(q(y_A))}{\exp(q(y_A)) + \exp(q(y_B))} = \frac{1}{1 + \exp(-(q(y_A) - q(y_B)))}$$ 这个公式是一个 sigmoid 函数，将质量分数的差异映射到 $(0, 1)$ 范围内的概率。

3.1.6. PAC 学习理论 (Probably Approximately Correct learning theory)

PAC 学习理论 是计算学习理论的一个框架，用于分析机器学习算法的样本复杂度 (sample complexity) 和计算复杂度 (computational complexity)。它关注一个学习算法在给定有限训练数据的情况下，以高概率 (Probably) 学习到一个接近真实目标函数 (Approximately Correct) 的假设的能力。该理论量化了为了达到某个误差容忍度 $\varepsilon$ 所需的训练样本数量。

3.1.7. Elo 评分系统 (Elo rating system)

Elo 评分系统 (Elo, 1961) 是一种用于衡量玩家（或模型）在零和游戏（如国际象棋）中相对技能水平的方法。每个玩家都有一个 Elo 评分，这个评分会根据比赛结果进行更新。当一个玩家击败一个评分更高的对手时，其评分会大幅上升；反之，如果击败一个评分更低的对手，评分上升较少。Elo 系统通过计算预期胜率来确定评分更新的幅度。 预期胜率 (Expected Win Rate)： 对于玩家 A 和玩家 B，其 Elo 评分分别为 $R_A$ 和 $R_B$，玩家 A 击败玩家 B 的预期胜率 $E_A$ 计算公式为： $$E_A = \frac{1}{1 + 10^{(R_B - R_A) / 400}}$$ 评分更新： 实际比赛结束后，玩家 A 的新评分 $R_A'$ 更新公式为： $$R_A' = R_A + K \cdot (S_A - E_A)$$ 其中 $K$ 是一个常数因子，表示单次比赛对评分影响的强度，$S_A$ 是实际比赛结果（赢为 1，输为 0.5，平局为 0）。

3.1.8. 课程学习 (Curriculum Learning)

课程学习 是一种训练策略，它模仿人类学习过程，即从简单到复杂逐步学习。在机器学习中，这意味着训练模型时，不是一次性呈现所有训练数据，而是首先让模型学习相对容易或结构化的样本，然后逐渐引入更复杂、更具挑战性的样本。这种策略有助于模型更快地收敛，并可能达到更好的最终性能，因为它避免了模型在早期训练阶段被复杂样本困扰。

3.1.9. 近端策略优化 (Proximal Policy Optimization, PPO) 与组相对策略优化 (Group Relative Policy Optimization, GRPO)

• PPO： PPO (Schulman et al., 2017) 是一种常用的强化学习算法，属于策略梯度方法的一种。它通过在每次更新时限制策略的改变幅度，来保证训练的稳定性。PPO 旨在最大化累积奖励，同时确保新策略与旧策略之间的距离不会太大，从而避免剧烈的策略更新导致性能下降。
• GRPO： GRPO (Shao et al., 2024) 是 PPO 的一个变体，它在 PPO 的基础上进行了改进，特别适用于多智能体或竞争性环境。GRPO 移除了价值函数 (value function) 或评论家 (critic)，而是通过组归一化奖励 (group-normalized rewards) 来估计优势函数 (advantages)。这意味着它通过比较同一批次内不同响应的相对表现来计算奖励，而不是依赖于一个绝对的价值预测。

3.2. 前人工作与技术演进

LLM 对齐领域经历了快速发展：

• 传统 RLHF： 早期方法如 Christiano et al. (2017) 和 Ouyang et al. (2022) 都是通过训练奖励模型来从人类偏好中提取标量奖励，然后利用强化学习优化策略。这些方法虽然有效，但存在奖励欺骗 (reward hacking) 和训练不稳定性问题。
• AI 监督拓展： Constitutional AI (Bai et al., 2022) 和 RLAIF (Lee et al.) 通过 AI 评判 (AI judges) 扩展了监督规模，但它们仍然沿用了绝对评分的范式。
• 直接偏好优化 (Direct Preference Optimization, DPO)： DPO (Rafailov et al., 2023) 消除了显式的奖励模型，通过对比损失 (contrastive objective) 直接优化策略的偏好，避免了两阶段 RLHF 的复杂性。后续工作探索了列表式 (listwise) 变体和改进的采样方案 (Liu et al., 2024)。
• 直接纳什优化 (Direct Nash Optimization, DNO)： DNO (Rosset et al., 2024) 将偏好学习框定为在两人零和博弈中寻找纳什均衡 (Nash equilibria)。它利用自博弈 (self-play) 结合大裕度胜负对 (large-margin win-loss pairs) 和基于回归 (regression-based) 的目标，而不是强化学习。DNO 支持离策略 (off-policy) 数据并提供理论收敛保证，但它依赖于固定的偏好预言机 (preference oracle)（例如 GPT-4），这限制了其随着学生策略 (student policy) 改进的适应性。
• 相对偏好优化 (Relative Preference Optimization, RPO)： RPO (Yin et al., 2024) 通过利用语义相似性 (semantic similarity) 扩展了偏好学习，使其超越了单提示 (single-prompt) 限制，实现了跨提示比较。RPO 构建了由语义相似性加权的离线对比矩阵，但缺乏随着策略演进的动态难度调整机制。
• 纯自博弈方法： 近期的自博弈方法 (Whitehouse et al., 2025; Wang et al., 2025) 完全消除了外部监督，通过学习者自身输出生成胜/负标签。这些方法虽然简单吸引人，但存在固有的天花板效应 (ceiling effect)：一旦策略超越自身最佳响应，由于缺乏更强的外部锚点，训练分布会崩溃，进一步的进展也会停滞。

3.3. 差异化分析

Elo-Evolve 通过将对齐视为一个具有自适应对手管理的多智能体竞争来脱颖而出。其核心区别和创新点在于：

• 动态对手池与 Elo 采样： 与 DNO 依赖固定偏好预言机或 RPO 缺乏动态难度调整不同，Elo-Evolve 维持一个多样化的对手池，并使用基于 Elo 的采样机制，自动调整训练难度，同时保留强大的外部锚点。这避免了静态方法的僵化和纯自博弈方法的天花板效应。
• 避免奖励模型训练与 Bradley-Terry 依赖： Elo-Evolve 直接从配对竞争的二元结果中学习，完全绕过了训练显式奖励模型和 Bradley-Terry 模型的复杂性及其固有的局限性。而传统 RLHF 及 DPO 仍然在不同程度上依赖于偏好数据及其建模。
• 持续挑战适应： 论文提出的动态机制确保了在整个训练过程中策略面临持续的挑战适应，这对于实现 LLM 的高级对齐至关重要。

4. 方法论

4.1. 方法原理

Elo-Evolve 的核心思想是将传统的 LLM 对齐从静态奖励优化重新定义为在动态多智能体环境中的竞争性学习。它摒弃了将人类偏好压缩成静态的绝对奖励函数，而是让策略通过与一个自适应的对手池进行实时配对比较来学习，并从胜率中获取反馈。这种方法旨在克服现有方法的局限性，如数据稀缺、噪声敏感性和静态奖励模型缺乏区分性反馈的问题。

4.2. 传统 RLHF 的局限性

传统的 RLHF 可以形式化为优化以下目标： $$\pi^{*}=\arg \max _{\pi} \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi(\cdot \mid x)}\left[r_{\theta}(x, y)\right]$$ 其中，

• $\pi^{*}$ 表示我们希望找到的最优策略（即对齐后的 LLM）。

• $\arg \max _{\pi}$ 表示我们正在寻找能够最大化期望奖励的策略。

• $\mathbb{E}_{x \sim \mathcal{D}, y \sim \pi(\cdot \mid x)}$ 表示期望值，其中 $x$ 是从提示分布 $\mathcal{D}$ 中采样得到的提示，而 $y$ 是由当前策略 $\pi$ 在给定提示 $x$ 下生成的响应。

• $r_{\theta}(x, y)$ 是由一个固定的、参数为 $\theta$ 的奖励模型 (reward model) 对提示 $x$ 和响应 $y$ 预测的标量奖励分数。

  这个目标函数的核心问题在于它依赖于一个固定的奖励模型 $r_{\theta}$，而该模型本身容易受到数据稀缺、噪声和区分度不足等问题的影响。

4.3. Co-evolutionary Objective (协同演化目标)

Elo-Evolve 将对齐重构为动态多智能体环境中的竞争性学习。它不再预测绝对分数，而是直接将策略与对手在相同提示上进行比较，并从其胜率中学习。

定义 1 (协同演化目标): 给定一个竞争环境 $\mathcal{E}=\{\pi\} \cup \mathcal{M}$，其中 $\mathcal{M}=\left\{M_{1}, M_{2}, \ldots, M_{K}\right\}$ 是一个对手模型集合，协同演化目标是： $$\pi^{*}=\arg \max _{\pi} \mathbb{E}_{M \sim p(M \mid \pi)}[P(\pi(x) \succ M(x))]$$ 其中，

• $\pi^{*}$ 是我们希望通过协同演化找到的最优策略。

• $\mathcal{E}$ 是竞争环境，由当前策略 $\pi$ 和对手模型池 $\mathcal{M}$ 组成。

• $\mathcal{M}=\left\{M_{1}, M_{2}, \ldots, M_{K}\right\}$ 是包含 $K$ 个对手模型的集合。

• $\mathbb{E}_{M \sim p(M \mid \pi)}$ 表示期望值，其中对手 $M$ 是根据自适应对手采样分布 $p(M \mid \pi)$ 采样的。这个分布是由 Elo 系统协调的，确保了随着策略 $\pi$ 的能力提升，对手的难度也能相应调整。

• $P(\pi(x) \succ M(x))$ 表示在给定提示 $x$ 的情况下，策略 $\pi$ 生成的响应优于对手模型 $M$ 生成的响应的概率。

  这个目标的核心在于，策略 $\pi$ 的优化不再是最大化一个固定的绝对奖励分数，而是最大化其在动态选择的对手面前的胜率。

4.4. Elo-Orchestrated Opponent Selection (Elo 编排的对手选择)

Elo 评分系统是 Elo-Evolve 竞争环境的协调机制，它动态跟踪所有智能体的相对实力，并指导协同演化过程。

4.4.1. Elo 评分更新

每个智能体都维护一个 Elo 评分 $R(\cdot)$，该评分会随着竞争而演变。在策略 $\pi$ 与多个对手进行了一批次比赛并获得结果 $\{S_i\}$ 之后，策略的评分会更新如下： $$R_{t+1}(\pi)=R_{t}(\pi)+\sum_{i=1}^{N} K \cdot\left(S_{i}-E_{\pi, M_{i}}\right)$$ 其中，

• $R_{t+1}(\pi)$ 是策略 $\pi$ 在 $t+1$ 迭代后的 Elo 评分。
• $R_{t}(\pi)$ 是策略 $\pi$ 在 $t$ 迭代时的 Elo 评分。
• $N$ 是在当前批次中策略 $\pi$ 参加的比赛总数。
• $K$ 是 $K$ 因子，控制着每次比赛结果对评分影响的强度。较大的 $K$ 值会使评分对胜负反应迅速，但也会增加评分的方差。
• $S_{i} \in\{0,1\}$ 表示第 $i$ 场比赛的结果：如果策略 $\pi$ 获胜则为 1，否则为 0。注意，这里假设了二元胜负，没有平局或复杂的评分。
• $E_{\pi, M_{i}}$ 是策略 $\pi$ 在面对对手 $M_i$ 时的预期胜率，它反映了策略与对手之间的理论实力差距。其计算公式为： $$E_{\pi, M_{i}}=\left(1+10^{\left(R\left(M_{i}\right)-R(\pi)\right) / 400}\right)^{-1}$$ 其中 $R(M_i)$ 是对手 $M_i$ 的 Elo 评分。这个公式来源于 Elo 系统的标准定义，它将评分差转换为预期胜率。

4.4.2. 通过温控采样实现自适应课程学习

对手选择遵循一个温控 softmax 分布： $$p\left(M_{k} \mid \pi\right) \propto \exp \left(-\frac{\left|R(\pi)-R\left(M_{k}\right)\right|}{T}\right)$$ 其中，

• $p(M_k \mid \pi)$ 是在给定当前策略 $\pi$ 的情况下，选择对手 $M_k$ 进行比赛的概率。
• $R(\pi)$ 是当前策略 $\pi$ 的 Elo 评分。
• $R(M_k)$ 是对手 $M_k$ 的 Elo 评分。
• $T$ 是一个温度系数 (temperature coefficient)，控制着对手选择的多样性：

  • 小 $T$ 值： 产生尖锐的分布，这意味着模型倾向于选择 Elo 评分与当前策略最接近的对手。这提供了一种狭窄的、类似课程学习的渐进过程，确保训练难度与策略能力紧密匹配。

  • 大 $T$ 值： 使分布变平坦，增加了对手选择的多样性，但降低了对接近最优挑战的关注。

    这种机制实现了自动课程学习：在训练初期，策略主要面对实力相近的对手；随着其 Elo 评分的提高，它会自动转向更强的挑战者，确保训练难度始终处于最优挑战范围内。

4.5. Binary Competitive Rewards with GRPO (基于 GRPO 的二元竞争性奖励)

Elo-Evolve 采用了 GRPO 目标函数，该函数移除了价值函数/评论家 (value function/critic)，并通过组归一化奖励 (group-normalized rewards) 估计优势函数 (advantages)。

对于每个问题 $q$，我们从旧策略 $\pi_{\text{old}}$ 中采样一组 $G$ 个输出 $\{o_i\}_{i=1}^G$。每个输出 $o_i$ 都会获得一个标量奖励 $r_i$（定义如下）。GRPO 目标函数最大化一个 PPO 风格的裁剪目标 (clipped objective)，并包含一个针对参考策略 $\pi_{\text{ref}}$ 的 KL 正则项： $$J_{\mathrm{GRPO}}(\theta)=\mathbb{E}_{q,\left\{o_{i}\right\} \sim \pi_{\text {old }}}\left[\frac{1}{G} \sum_{i=1}^{G} \min \left(\frac{\pi_{\theta}\left(o_{i} \mid q\right)}{\pi_{\text {old }}\left(o_{i} \mid q\right)} A_{i}, \operatorname{clip}\left(\frac{\pi_{\theta}\left(o_{i} \mid q\right)}{\pi_{\text {old }}\left(o_{i} \mid q\right)}, 1-\epsilon, 1+\epsilon\right) A_{i}\right)-\beta D_{\mathrm{KL}}\left(\pi_{\theta} \| \pi_{\text {ref }}\right)\right]$$ 其中，

• $J_{\mathrm{GRPO}}(\theta)$ 是 GRPO 的目标函数，它被用来更新策略参数 $\theta$。
• $\mathbb{E}_{q,\left\{o_{i}\right\} \sim \pi_{\text {old }}}$ 表示在提示 $q$ 和从旧策略 $\pi_{\text{old}}$ 采样的输出 $\{o_i\}$ 上的期望。
• $G$ 是为每个提示采样的输出数量。
• $\pi_{\theta}(o_i \mid q)$ 是由当前策略（参数为 $\theta$）在给定提示 $q$ 下生成输出 $o_i$ 的概率。
• $\pi_{\text{old}}(o_i \mid q)$ 是由旧策略（在当前迭代开始时冻结的策略）生成输出 $o_i$ 的概率。
• $A_i$ 是与输出 $o_i$ 相关的优势函数 (advantage function)，它衡量了生成 $o_i$ 相对于平均水平的好坏。
• $\operatorname{clip}(\cdot, 1-\epsilon, 1+\epsilon)$ 是一个裁剪函数，它将策略比率 $\frac{\pi_{\theta}\left(o_{i} \mid q\right)}{\pi_{\text {old }}\left(o_{i} \mid q\right)}$ 限制在 $[1-\epsilon, 1+\epsilon]$ 范围内，以防止过大的策略更新。$\epsilon$ 控制裁剪范围。
• $\beta D_{\mathrm{KL}}\left(\pi_{\theta} \| \pi_{\text {ref }}\right)$ 是一个 KL 散度正则项，它惩罚当前策略 $\pi_{\theta}$ 偏离参考策略 $\pi_{\text{ref}}$ 太远。$\beta$ 是调节 KL 散度惩罚强度的系数，确保策略与参考策略保持接近。KL 散度 $D_{\mathrm{KL}}(P || Q) = \sum P(x) \log \frac{P(x)}{Q(x)}$ 衡量两个概率分布 $P$ 和 $Q$ 之间的差异。

4.5.1. 二元竞争性奖励 (Binary Competitive Rewards)

在竞争环境中，每个输出 $o_i$ 的奖励 $r_i$ 是通过 LLM 评判器 (judge) 比较 $o_i$ 和对手的响应 $o^{(\mathrm{opp})}$ 来定义的： $$r_{i}=\mathbf{1}\left\{J\left(q, o_{i}, o^{(\mathrm{opp})}\right)=\text { policy wins }\right\} \in\{0,1\}$$ 其中，

• $r_i$ 是输出 $o_i$ 的二元奖励，其取值要么是 0（表示失败），要么是 1（表示获胜）。
• $\mathbf{1}\{\cdot\}$ 是指示函数，当括号内的条件为真时取值为 1，否则为 0。
• $J(q, o_i, o^{(\mathrm{opp})})$ 是 LLM 评判器，它接收提示 $q$、策略的响应 $o_i$ 和对手的响应 $o^{(\mathrm{opp})}$，并判断策略是否获胜。
• $o^{(\mathrm{opp})}$ 是对手模型对同一提示 $q$ 生成的响应。

4.5.2. 组归一化优势函数 (Group-normalized Advantages)

这些二元奖励随后在每个批次内进行组归一化，以计算优势函数： $$A_{i}=\frac{r_{i}-\operatorname{mean}\left(\left\{r_{j}\right\}_{j=1}^{G}\right)}{\operatorname{std}\left(\left\{r_{j}\right\}_{j=1}^{G}\right)}$$ 其中，

• $A_i$ 是输出 $o_i$ 的组归一化优势函数。
• $r_i$ 是输出 $o_i$ 的二元奖励。
• $\operatorname{mean}(\{r_j\}_{j=1}^G)$ 是批次内所有 $G$ 个输出的奖励的平均值。
• $\operatorname{std}(\{r_j\}_{j=1}^G)$ 是批次内所有 $G$ 个输出的奖励的标准差。 通过这种归一化，优势函数 $A_i$ 衡量了输出 $o_i$ 的奖励相对于同一批次内其他输出的奖励是好是坏，从而提供了一个相对的反馈信号。

4.6. 理论分析

Elo-Evolve 框架的提出基于相对比较 (relative comparison) 相对于绝对评分 (absolute scoring) 的两个基本理论优势。

4.6.1. 更优的样本复杂度 (Superior Sample Complexity)

PAC 学习理论 (Valiant, 1984; Vapnik & Chervonenkis, 1971; Anthony & Bartlett, 1999) 的基础结果表明，从配对比较中学习比从绝对分数中学习的样本效率显著更高。

• 为了达到一个期望的排名误差容忍度 $\epsilon$，配对学习 (pairwise learning) 所需的样本量约为 $O(1/\epsilon)$。
• 而要以相同的精度学习回归 (regress) 绝对分数，所需的样本量约为 $O(1/\epsilon^2)$。 这种二次方的改进在 LLM 对齐的大规模、高精度场景中尤为关键，能够实现更快的收敛和更高效地利用高质量比较数据。

4.6.2. 固有的噪声弹性 (Inherent Noise Resilience)

除了样本效率，直接比较对奖励信号中固有的噪声也表现出卓越的弹性。在理想化的、无偏假设下，可以对两种范式的噪声特性进行建模：

• 绝对奖励模型： 提供一个带有噪声的分数 $r(y)=q(y)+\epsilon_{\text {abs }}$，其中 q(y) 是真实质量，评分噪声 $\epsilon_{\text {abs }} \sim \mathcal{N}\left(0, \sigma_{\text {abs }}^{2}\right)$。从两个独立的这种分数 $r(y_A)$ 和 $r(y_B)$ 推导出的排名会受到有效比较噪声的影响，其方差为 $2\sigma_{\text{abs}}^2$。

• 直接比较模型： 做出一个概率判断 $P\left(y_{A} \succ y_{B}\right)=\Phi\left(\frac{q\left(y_{A}\right)-q\left(y_{B}\right)}{\sigma_{\text {comp }}}\right)$，其中 $\Phi(\cdot)$ 是标准正态累积分布函数 (standard normal CDF)，$\sigma_{\text {comp }}$ 是内在比较噪声。

  在这些模型下，绝对方法的排名错误率由信噪比 $\frac{\Delta q}{\sqrt{2} \sigma_{\text {abs }}}$ 决定，而相对方法由 $\frac{\Delta q}{\sigma_{\text {comp }}}$ 决定。因此，如果直接比较的内在噪声小于间接方法的有效噪声，它将产生更低的排名错误并被认为是更优的。这导出了优越性条件： $$\sigma_{\text {comp }}<\sqrt{2} \sigma_{\text {abs }}$$ 这个不等式提供了一个直接的、可经验验证的标准，用于判断相对学习的优越性。论文将在实验部分（Section 5.2）通过测量 14B RM 的内在比较噪声 ($\sigma_{\text {comp }}$) 和绝对评分噪声 ($\sigma_{\text {abs }}$)，提供有力证据证明直接比较方法在实践中能提供更高保真度的训练信号。

4.7. 算法流程

Algorithm 1 Elo-Evolve Framework 描述了 Elo-Evolve 框架的详细步骤。

Algorithm 1 Elo-Evolve Framework
Require: Base policy $\pi_{0}$, Opponent pool $\mathcal{M}=\left\{M_{1}, \ldots, M_{K}\right\}, \mathrm{RM}$ model $J$, Prompts $\mathcal{D}$, Temperature $T$
    Initialize Elo ratings: $R\left(\pi_{0}\right)=1350, R\left(M_{k}\right)$ based on initial capability estimates
    for each training iteration $t=0,1, \ldots$ do
        Sample batch of prompts $\left\{q_{i}\right\}_{i=1}^{B}$ from $\mathcal{D}$
        for each prompt $q_{i}$ in batch do
            Generate policy outputs: $\left\{o_{i, j}\right\}_{j=1}^{G} \sim \pi_{t}\left(\cdot \mid q_{i}\right)$
            Select opponent via temperature-controlled sampling: $M_{i} \sim p\left(M \mid \pi_{t}\right)$ using Eq. (4)
            Retrieve opponent response: $o_{M, i}$ from precomputed cache
            for each policy output $o_{i, j}$ do
                Evaluate pairwise comparison: $r_{i, j}=\mathbf{1}\left\{J\left(q_{i}, o_{i, j}, o_{M, i}\right)=\right.$ policy wins $\}$
            end for
            Compute group-normalized advantages: $A_{i, j}=\frac{r_{i, j}-\bar{r}_{i}}{\sigma_{r_{i}}}$
        end for
        Update policy via GRPO objective (Eq. 5) using advantages $\left\{A_{i, j}\right\}$
        Update Elo ratings: $R_{t+1}(\pi) \leftarrow R_{t}(\pi)+K \cdot \sum_{i}\left(S_{i}-E_{\pi, M_{i}}\right)$
    end for

算法步骤详解：

1. 输入 (Require)：

   • 基础策略 (Base policy) $\pi_0$：待训练的初始语言模型。
   • 对手池 (Opponent pool) $\mathcal{M}=\left\{M_{1}, \ldots, M_{K}\right\}$：包含 $K$ 个预设对手模型的集合。
   • 奖励模型 (RM model) $J$：用作 LLM 评判器，用于进行配对比较。
   • 提示集 (Prompts) $\mathcal{D}$：用于训练的提示分布。
   • 温度 (Temperature) $T$：用于温控采样的系数。

2. 初始化 (Initialize)：

   • 初始化策略 $\pi_0$ 的 Elo 评分为 1350。
   • 根据对手模型的初始能力估计，初始化对手池中所有模型 $M_k$ 的 Elo 评分 $R(M_k)$。

3. 训练迭代循环 (for each training iteration $t=0,1, \ldots$ do)：

   • 在每次训练迭代中，重复以下步骤： a. 采样批次提示 (Sample batch of prompts)： 从提示集 $\mathcal{D}$ 中采样一批次 $B$ 个提示 $\left\{q_{i}\right\}_{i=1}^{B}$。 b. 内部循环处理每个提示 (for each prompt $q_i$ in batch do)： i. 生成策略输出 (Generate policy outputs)： 对于当前提示 $q_i$，从当前策略 $\pi_t$ 中生成 $G$ 个候选输出 $\left\{o_{i, j}\right\}_{j=1}^{G}$。 ii. 选择对手 (Select opponent)： 使用温控采样（基于公式 (4)）从对手池 $\mathcal{M}$ 中为当前提示 $q_i$ 选择一个对手 $M_i$。 iii. 获取对手响应 (Retrieve opponent response)： 从预计算的缓存中检索对手 $M_i$ 对提示 $q_i$ 的响应 $o_{M, i}$。 iv. 内部循环评估每个策略输出 (for each policy output $o_{i, j}$ do)： * 评估配对比较 (Evaluate pairwise comparison)： 使用 RM 模型 $J$ 作为评判器，比较策略的输出 $o_{i, j}$ 和对手的响应 $o_{M, i}$。如果策略获胜，则分配二元奖励 $r_{i, j}=1$，否则 $r_{i, j}=0$。 v. 计算组归一化优势函数 (Compute group-normalized advantages)： 对于提示 $q_i$ 的所有 $G$ 个策略输出，计算它们的平均奖励 $\bar{r}_i$ 和标准差 $\sigma_{r_i}$，然后计算每个输出的组归一化优势函数 $A_{i, j}$。 c. 更新策略 (Update policy)： 使用 GRPO 目标函数（公式 (5)），根据计算出的优势函数 $\left\{A_{i, j}\right\}$ 更新策略 $\pi$ 的参数。 d. 更新 Elo 评分 (Update Elo ratings)： 根据策略 $\pi$ 在当前批次中所有比赛的胜负结果 $S_i$ 和预期胜率 $E_{\pi, M_i}$，更新策略的 Elo 评分 $R_{t+1}(\pi)$。

4.8. 实用实现细节 (Practical Implementation Details)

为了解决动态多智能体训练的计算挑战，论文采用了以下关键设计选择：

• 预计算响应缓存 (Pre-computed Response Cache)： 为了减轻并发对手模型推理的计算开销，论文预先生成并缓存了所有对手模型在训练提示集上的响应。这使得昂贵的模型查询变成了快速的字典查找，同时保持了对手响应的多样性。
• 按样本选择对手 (Per-Sample Opponent Selection)： 论文在每个批次内实现了按样本选择对手，而不是为整个批次使用单个对手。这种方法可以实现更精细的课程适应和更平滑的对手转换，因为不同的提示会根据当前的 Elo 采样分布与不同的对手配对，从而提高了学习效率和训练稳定性。

5. 实验设置

5.1. 模型与竞争环境设置

5.1.1. 策略模型 (Policy Model)

本文使用 Qwen2.5-7B-Instruct (Hui et al., 2025) 作为基础策略模型 $\pi_0$。选择此模型是为了提供一个强大的对齐训练基础，同时保持计算效率。

5.1.2. 对手池 (Opponent Pool)

作者构建了一个包含不同能力对手的多样化竞争环境：

• Qwen2.5-14B-Instruct (初始 Elo：1400)
• Qwen2.5-32B-Instruct (初始 Elo：1700)
• Qwen3-8B-Instruct (Yang et al., 2025) (初始 Elo：2000) 初始 Elo 评分是根据模型大小和能力估计分配的，为自适应评分系统提供了合适的起始点。

5.1.3. 奖励模型 (RM Model)

所有配对比较都使用 Qwen3-14B-Instruct 作为 LLM 评判器进行评估。评判器使用了精心设计的提示 (prompts)，以确保在不同响应类型之间做出可靠和一致的胜/负判断。

5.2. 数据集

5.2.1. 训练数据集

论文在 Ultra-Feedback 数据集 (Cui et al., 2023) 上进行训练。该数据集包含各种提示，涵盖指令遵循、推理和创意写作任务，为评估对齐能力提供了全面的覆盖。

5.2.2. 评估数据集

模型性能通过以下基准进行评估：

• Alpaca Eval 2.0 (Dubois et al., 2023)： 衡量指令遵循质量和响应有用性，通过胜率 (Win-Rate, WR) 和长度受控指标 (length-controlled metrics, LC) 进行评估。
• MT-Bench (Zheng et al., 2023)： 评估多轮对话和复杂推理能力，涵盖多样化的对话场景。

5.3. 评估指标

5.3.1. Alpaca Eval 2.0

• 胜率 (Win-Rate, WR)： 通常表示模型响应胜过（或被认为优于）对比模型响应的百分比。
  • 概念定义： 衡量模型在与另一个模型的直接比较中，其输出被评判为更优的比例。这是一个直接反映模型相对性能的指标。
  • 数学公式： $$\text{WR} = \frac{\text{Wins}}{\text{Total Comparisons}} \times 100\%$$
  • 符号解释：
    • $\text{Wins}$：模型在所有比较中获胜的次数。
    • $\text{Total Comparisons}$：模型参与比较的总次数。
• 长度受控胜率 (Length-Controlled Win-Rate, LC)： 在 Alpaca Eval 2.0 中，LC 是为了缓解评判器可能偏好更长响应的偏差而设计的，它通常会惩罚过长或过短的响应，或者对长度进行某种归一化处理。
  • 概念定义： 在考虑响应长度因素后，衡量模型输出被评判为更优的比例。旨在确保模型的改进是基于质量而非简单地通过生成更长的响应来“欺骗”评判器。
  • 数学公式： 论文未直接给出 LC 的具体计算公式，但其核心思想是在胜率计算中引入长度惩罚机制。一个可能的实现方式是，当模型响应长度超过某个阈值（如论文提到的对手响应长度 300 词）时，即使其内容质量高，也可能被判负或奖励降为 0。
  • 符号解释： LC 是 WR 的一个变体，其中计分机制考虑了响应长度。具体实现细节可能因评估框架而异，但目标是消除长度偏差。

5.3.2. MT-Bench

• MT-Bench 分数： 这是一个基于 LLM 评判器（通常是 GPT-4 或其他高性能 LLM）对多轮对话和复杂推理任务进行打分的综合指标。分数通常介于 1 到 10 之间。
  • 概念定义： MT-Bench 旨在评估 LLM 在处理多轮交互和复杂推理方面的能力。评判 LLM 会根据响应的质量、连贯性、有用性和遵循指令的程度来打分。
  • 数学公式： MT-Bench 分数本身通常是一个平均得分，由 LLM 评判器为一系列多轮对话问题打分的总和除以问题数量得到。 $$\text{MT-Bench Score} = \frac{\sum_{i=1}^{N} \text{JudgeScore}_i}{N}$$
  • 符号解释：
    • $\text{JudgeScore}_i$：LLM 评判器对第 $i$ 个对话回合或问题的打分（通常是 1-10）。
    • $N$：评估中包含的对话回合或问题总数。

5.4. 对比基线与训练策略

作者设计了四种训练范式，以逐步验证其方法的有效性：

1. 基于点的训练 (Point-based Training, Point GRPO)：
   • 描述： 使用传统的 Bradley-Terry (BT) 模型将人类偏好转换为绝对标量分数，然后通过 GRPO 优化策略以最大化这些分数。
   • 奖励模型： 在本文实现中，使用 WorldPM (Binghai Wang & Lin, 2025) 作为奖励模型。
2. 直接纳什优化 (DNO, replicated)：
   • 描述： DNO (Rosset et al., 2024) 将自生成响应与一个固定的强对手（在本文实现中为 Qwen2.5-14B）进行比较，将获胜的响应作为正例，失败的响应作为负例，并使用对比损失进行优化。
   • 注意： 论文指出这是作者自己复现的 DNO，因为原始工作未在 Qwen2.5-7B 上进行评估。
3. 静态配对训练 (Static Pairwise Training)：
   • 描述： 在整个训练过程中，策略与一个单一的固定对手进行竞争性学习。使用配对比较的二元胜/负奖励，并通过 GRPO 进行优化。
   • 对比对手： 实验中分别使用了 Qwen2.5-14B、Qwen2.5-32B 和 Qwen3-8B 作为固定对手。
4. Elo-Evolve (本文提出的框架)：

   • 描述： 采用 Elo 编排的自适应对手选择机制，通过温控采样动态调整训练难度。

     这种实验设计旨在分离配对比较相对于绝对评分的贡献、配对框架内的优化方法，以及动态对手选择相对于固定对手的优势。

5.5. 实施细节

5.5.1. 训练配置

• 框架： 使用 VerL 框架和 GRPO 优化算法实现。
• 超参数：
  • 批次大小 (batch size)：128
  • 学习率 (learning rate)：$1 \times 10^{-6}$
  • 最大序列长度 (maximum sequence length)：4096
  • KL 系数 (KL coefficient) $\beta$：0.001
  • Elo K 因子 (Elo K-factor)：32

5.5.2. 计算优化

• 预计算和缓存： 为了确保训练效率，预先计算并缓存所有对手的响应，将昂贵的模型推理转换为快速的字典查找。
• 分布式训练： 在 8 个 GPU 上进行分布式训练，并采用张量并行 (tensor parallelism)。

5.5.3. 长度偏差缓解 (Length Bias Mitigation)

为了确保公平评估并防止基于长度的策略“作弊”，作者实施了长度约束机制：当策略的响应长度超过对手响应长度 300 个词时，奖励会自动设置为 0。这防止了策略利用评判器对更长响应的潜在偏见，确保改进反映的是真正的质量提升而非表面上的长度膨胀。

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. 主要结果：渐进式性能提升 (Main Results: Progressive Performance Gains)

以下是原文 Table 1 的结果：

分析：

• 基于点的奖励方法 (Point-based) vs. 配对基线 (Pairwise Baselines)：
  • Point GRPO 代表传统的 BT 绝对评分方法。其性能表现中等但不稳定，例如在 Alpaca Eval 2.0 (WR/LC) 上，从 Step 300 的 47.76/33.23 上升到 Step 500 的 49.01/37.41。
  • DNO (replicated) 的性能持续较低（Step 500 时为 32.48/32.20），这表明即使在配对范式中，静态对手选择也限制了学习潜力。
• 静态配对训练 (Static Pairwise Training)：
  • 单一对手配置展现出优于基于点的方法的明显优势，但存在显著的可变性。
  • 与 Qwen2.5-14B 对抗的模型在 WR 方面表现稳定（从 46.40 提升到 48.20），MT-Bench 在 Step 500 达到最佳 (7.99)。
  • 与 Qwen2.5-32B 对抗的模型显示出强劲的峰值性能（Step 500 时 WR 达到 51.18，与 Elo-Evolve 并列最佳）。
  • 然而，单个静态对手无法在所有指标和训练阶段持续表现出色。
• Elo-Evolve (本文方法)：
  • 本文提出的动态多对手方法在大多数类别中取得了最佳或次佳性能。
  • 值得注意的是，Elo-Evolve 在 Step 500 时 Alpaca Eval 2.0 (WR/LC) 达到了 51.18/38.03，与最佳静态配置持平，同时保持了卓越的一致性。
  • 在 MT-Bench 上，Elo-Evolve 在 Step 100 (8.03) 和 Step 300 (8.04) 领先，但在 Step 500 时性能有所下降 (7.82)。论文解释了这种下降反映了其自适应对手选择机制：在 Step 500 时，主要对手变成了 Qwen3-8B，而 Qwen3-8B 本身在 MT-Bench 上的性能显著下降（从 8.15 降至 7.86），导致 Elo-Evolve 模型适应了这个弱化的对手。这既展示了系统的响应性，也提示了对手池管理中潜在的改进空间。
  • 排除上述 MT-Bench 在 Step 500 的异常现象，Elo-Evolve 在不同训练阶段和评估指标上保持了显著的一致性和领先地位。这种稳定性，结合峰值性能的实现，验证了动态对手选择优于固定策略的有效性。

6.1.2. 可扩展性与泛化分析 (Scalability and Generalization Analysis)

以下是原文 Table 2 的结果：

分析： 表 2 展示了竞争性学习在不同对手能力和模型家族中的广泛适用性，证明了该框架的多功能性。

• 对抗弱对手训练 (Training against weaker opponents)： 与 Qwen2.5-1.5B 对抗的竞争持续优于基线性能（38.45/37.18 对比基线 33.35/33.59）。这证明即使是显著较弱的对手也能提供有价值的学习信号。这通过鼓励更清晰的表达、更自信的响应和基本的技能验证来实现，这些对于稳健的策略发展至关重要。

• 对抗同等能力对手训练 (Training against same-capacity opponents)： 与 Qwen2.5-7B 对抗的训练产生了异常强劲的胜率表现（在不同步骤中从 44.47 提升到 49.19），这表明同等能力的竞争推动了细致入微的策略改进。实力相等的对手暴露了微妙的弱点，并鼓励了更复杂的改进，而较大的能力差距可能掩盖这些弱点。

• 对抗不同模型家族对手训练 (Training against different model families)： 与 Llama-3.1-70B 对抗的结果验证了该框架的架构无关性。尽管存在 10 倍的参数劣势和不同的训练方法，竞争性学习仍产生了显著的改进（43.54/36.22 对比基线），证实了跨家族适用性和对架构差异的鲁棒性。

  每种对手配置都展示了独特的优势：弱对手（1.5B）提供基础改进，同等能力对手（7B）擅长细致的改进，而跨家族对手（Llama-70B）验证了架构泛化。这种多样化的好处表明，不同类型的对手贡献了互补的学习信号，支持了多对手竞争框架。

6.1.3. 温度参数分析 (Temperature Parameter Analysis)

该图像是包含多组折线图和柱状图的图表，展示了不同温度参数T下，模型Qwen2.5-14B、Qwen2.5-32B和Qwen3-8B的概率分布及策略Elo分数的变化趋势，以及Alpaca Eval 1.0的WR性能对比。

分析： 图 2 提供了关于温度参数 $T$ 如何影响对手选择动态和学习结果的全面见解。左侧面板展示了对手采样概率和 Elo 演变在训练过程中的变化。图 1 展示了相应的性能轨迹。

• 贪婪选择 ($T=20$)： 低温度产生了急剧的、确定性的对手转换。在 Step 500 时，对手选择从 14B 突然切换（概率从 1 变为 0）到 32B（从 0 变为 1，然后在 Step 600 再次变为 0），然后完全集中在 Qwen3-8B 上。尽管这实现了最高的最终 Elo 评分（2400），但在 Step 900 时，当主要对手 (Qwen3-8B) 本身性能下降时，却导致了灾难性的性能退化（50.8 $\rightarrow$ 43.6）。这表明过度集中的对手选择是脆弱的。

• 最佳平衡 ($T=200$)： 中等温度实现了对手之间平滑、渐进的转换。14B 的概率缓慢下降（0.78 $\rightarrow$ 0.03），32B 先升后降（0.1 $\rightarrow$ 0.7 $\rightarrow$ 0.1），Qwen3-8B 逐渐增加（0.03 $\rightarrow$ 0.78）。这种平衡的进展在整个训练过程中都取得了强劲的性能，并达到了有竞争力的最终 Elo 评分（2300），验证了温控采样机制的有效性。平滑的过渡避免了对任何单一对手的过度依赖，同时保持了课程学习的优势。

• 随机选择 ($T=2000$)： 高温度保持了与 $T=200$ 相同的对手转换趋势（14B 减少，32B 先升后降，Qwen3-8B 增加），但幅度严重减弱——所有概率都被限制在 0.3-0.4 的范围内波动。这种扁平化的选择分布使得系统无法在关键学习阶段充分集中于适当难度的对手，导致最低的最终 Elo 评分（2000）和持续的次优性能。虽然整体课程进展得以保留，但选择强度的降低未能提供足够的学习信号。

  结论： 温度参数在课程学习的专注度和对手多样性之间实现了关键的平衡。$T=20$ 最大化了 Elo 进展但带来了脆弱性；$T=2000$ 提供了稳定性但牺牲了学习效率；$T=200$ 在自适应课程和稳健性能之间实现了最佳权衡。$T=200$ 时平滑的对手过渡表明，适当的校准可以实现自然的学习进展，而不会在个别对手性能下降时发生灾难性失败。这些结果证实，有效的自适应对手选择需要仔细的温度校准，以实现强大的学习动态和稳健的性能维护。

6.2. 噪声分析 (Noise Analysis in Reward Signals)

为了验证其理论主张，作者经验性分析了绝对奖励信号和相对奖励信号中的噪声水平。

6.2.1. 实验设置 (Appendix B.1)

• 数据集构建： 使用专家标注的创意写作响应数据集，这是质量评估最具挑战性的领域之一。数据集包含 1,086 个创意写作响应。
  • 标注过程： 三位领域专家参与标注。两位专家独立以 1-5 分制对每个响应进行初始标注，考虑创造力、连贯性、语言质量和主题深度等标准。第三位专家进行二次验证以解决分歧并确保一致性。
  • 质量控制： 专家间一致性达到 81.5%，表明即使在主观性很强的任务中也具有高可靠性。
• 评估数据： 从上述数据集中衍生出两类评估数据：
  • 1,086 个响应用于绝对评分分析。
  • 1,037 对响应对，用于不同质量差距 ($\Delta q \in\{1,2,3,4\}$) 的配对比较分析。
• 评判模型： 所有评估均由 Qwen3-14B-Instruct 执行，并使用基于专家标注标准的精心设计的提示。每个响应获得 5 个独立的绝对评分和 5 个独立的比较判断，以确保统计可靠性。

6.2.2. 绝对评分分析 (Appendix B.2)

• 专家质量分数与 LLM 评分的线性回归分析：
  • 信号压缩因子 (斜率 $a$)：0.028
  • 偏差偏移 (截距 $b$)：2.85
  • R-squared ($R^2$)：0.003
  • 分析： 极低的斜率 $a$（0.028）表明严重的信号压缩，LLM 的有效评分范围远窄于真实的质量变化，压缩了 97%。接近于零的 $R^2$（0.003）表明 LLM 的评分与专家标注的质量几乎没有相关性。
• LLM 评分分布的偏差： 评分集中在中间分数（特别是分数 3），表明模型不愿做出区分性判断。
• 噪声估计：
  • 样本内方差 (Within-sample variance) $\sigma_{\text{within}}^2 = 0.942$
  • 残差标准差 (Residual standard deviation) $\sigma_{\text{residual}} = 0.707$
  • 有效排名噪声 (Effective ranking noise) $\sigma_{\text{abs,eff}} = \frac{\sqrt{2} \cdot \sigma_{\text{residual}}}{a} = 35.65$

6.2.3. 配对比较分析 (Appendix B.3)

• Thurstone 模型下的最大似然估计： 使用 Thurstone 模型进行最大似然估计来估计比较噪声，分析了不同质量差距下的性能。
• 差距分层结果 (Gap-Stratified Results)：
  • 差距 1 ($\Delta q=1$)：$\sigma_{\text{comp}}=7.85$，准确率 $=55.1\%$
  • 差距 2 ($\Delta q=2$)：$\sigma_{\text{comp}}=5.80$，准确率 $=63.5\%$
  • 差距 3 ($\Delta q=3$)：$\sigma_{\text{comp}}=8.13$，准确率 $=64.4\%$
  • 差距 4 ($\Delta q=4$)：$\sigma_{\text{comp}}=25.53$，准确率 $=56.2\%$
  • 分析： 即使在最具挑战性的场景（差距 1，最小质量差异）下，配对比较也能达到 55.1% 的准确率，高于随机猜测，并且噪声 ($\sigma_{\text{comp}}=7.85$) 显著低于绝对评分。性能在差距 2 达到峰值，表明该模型的最佳区分范围。

6.2.4. 比较分析与启示 (Comparative Analysis and Implications)

比较最具挑战性的配对场景（差距 1）与有效绝对排名噪声： $$\frac{\sigma_{\text{abs,eff}}}{\sigma_{\text{comp}}}=\frac{35.65}{7.85}=4.54$$

• 噪声显著降低： 配对比较方法的噪声比绝对评分方法的有效排名噪声低 4.5 倍。这为论文的理论框架提供了强有力的经验支持，证明了配对比较在嘈杂评估场景中的显著优势。
• 绝对评分方法的失败：
  1. 信号压缩： $a=0.028$，有效评分范围被压缩 97%，大部分质量信息丢失。
  2. 区分性失败： 与专家判断的 $R^2=0.003$ 表明评分几乎不包含质量信号。
• 配对比较的优势： 相比之下，配对比较即使在最严苛的条件下也保持了区分能力，在所有质量差距下准确率始终高于随机猜测。

6.3. 数据呈现

6.3.1. 表格数据

表格 1 和表格 2 已在 6.1.1. 主要结果：渐进式性能提升 和 6.1.2. 可扩展性与泛化分析 小节中完整转录并分析。

6.3.2. 图像数据

图 1 和图 2 已在 6.1.3. 温度参数分析 小节中进行描述和分析。

7. 总结与思考

7.1. 结论总结

本文介绍了 Elo-Evolve 框架，从根本上将 LLM 对齐从静态奖励优化重新定义为动态多智能体竞争。通过理论分析，论文证明了配对比较在样本复杂度上优于绝对评分方法，并经验性验证了配对比较能将噪声降低 4.5 倍。实验结果通过循序渐进的设计，明确展示了性能的提升：从绝对评分方法到静态配对训练，再到 Elo-Evolve 的动态对手选择方法。这验证了配对比较和动态对手选择在 LLM 对齐方面的渐进效益。

Elo-Evolve 的主要贡献在于：

1. 消除 Bradley-Terry 模型依赖： 通过直接从配对竞争的二元胜/负结果中学习，避免了传统方法中对 BT 模型的依赖，从而解决了其样本复杂度高和对噪声敏感的问题。
2. 动态自适应对手选择： 引入 Elo 编排的对手选择机制，通过温控采样实现自动课程学习，确保策略在训练过程中始终面临与其当前能力相匹配的挑战。
3. 更高的信号保真度： 理论和实验均证明了配对比较在噪声鲁棒性和样本效率方面的显著优势，为 LLM 提供了更高质量的训练信号。

7.2. 局限性与未来工作

7.2.1. 局限性

论文中提及的主要局限性体现在 MT-Bench 评估中 Elo-Evolve 在 Step 500 的性能下降。这反映了模型对对手池中 Qwen3-8B 模型性能退化的适应，导致其自身性能也受到影响。这表明虽然 Elo 系统能响应对手能力的动态变化，但对手池的管理和对手质量的稳定性对最终性能至关重要。如果对手池中的模型本身退化或质量不稳定，可能会对训练过程产生负面影响。

7.2.2. 未来工作

论文提出了将 Elo-Evolve 应用于可验证任务 (verifiable tasks) 的潜力，例如：

• 数学推理 (mathematical reasoning)
• 代码生成 (code generation)
• 形式化验证 (formal verification) (即 RLVR 场景) 在这些任务中，即使所有采样响应在“正确性”上都是一致的，配对比较仍然可以评估 nuanced 的质量维度，例如推理清晰度、解决方案的优雅性、计算效率或解释的完整性。例如，在数学问题解决中，两个正确解可以通过证明的简洁性、教学清晰度或方法复杂性来区分。这种能力将二元正确性转化为丰富的多维反馈，最大化数据利用率，并即使在高准确率状态下也能实现持续改进。未来的工作应探索其在解决方案质量远超单纯正确性的复杂推理领域的应用。

7.3. 个人启发与批判

7.3.1. 个人启发

1. 超越静态奖励模型的范式转变： Elo-Evolve 提供了一个令人兴奋的范式转变，即从传统的静态奖励建模转向动态的、竞争性学习。这对于解决 RLHF 长期存在的奖励模型局限性（如数据稀缺、噪声敏感和缺乏区分度）提供了新的思路。将对齐视为一个持续进化的“游戏”，而不是一个静态的优化问题，更符合人类认知和技能提升的自然过程。
2. Elo 系统的巧妙应用： Elo 评分系统在 LLM 对齐中的应用非常巧妙，它不仅能跟踪模型能力的相对变化，还能通过温控采样机制实现自动化的课程学习。这种自适应难度调整机制，避免了手动设计课程的复杂性，并能确保模型始终在最优挑战区学习，从而提高训练效率和模型性能。
3. 配对比较的理论与实践优势： 论文在理论上基于 PAC 学习证明了配对比较的样本复杂度优势，并在实践中通过噪声分析验证了其高保真度。这对于理解为什么人类偏好数据更常以比较形式存在，以及如何更有效利用这些数据提供了深刻见解。在主观性强的任务（如创意写作）中，相对比较的优势尤为突出。
4. 多智能体训练的潜力： 框架强调了多智能体竞争在推动 LLM 能力提升方面的巨大潜力。通过引入多样化的对手，模型可以学习到更鲁棒、更泛化的能力，而不是仅仅针对一个固定的目标进行优化。

7.3.2. 批判与潜在改进

1. 对手池的质量与稳定性： 论文中 MT-Bench 性能下降的例子凸显了对手池中模型质量和稳定性的重要性。如果对手模型本身不稳定或性能突然下降，可能会误导策略的学习方向。未来的工作可以探索更复杂的对手池管理策略，例如：
   • 动态更新对手池： 不仅仅是 Elo 评分，还可以根据对手的实际性能（例如，在一些独立基准上的表现）来动态替换或调整对手池中的模型。
   • 多样化对手的权重： 在 $T$ 参数之外，引入更细致的机制来平衡不同能力对手在训练中的权重，以防止模型过度适应某个特定对手。
   • “回溯”或“遗忘”机制： 当发现某个对手质量下降时，系统应能及时“遗忘”其不良影响，并重新引入更强或更稳定的对手。
2. 对 LLM 评判的依赖： 尽管论文展示了配对比较在降低噪声方面的优势，但整个框架仍然依赖于一个 LLM 评判器 $J$ 来判断胜负。LLM 评判器本身可能存在偏差、不一致性或“假性聪明”问题。虽然 Qwen3-14B-Instruct 是一个强大的模型，但其判断的公正性和稳定性仍是关键。未来的工作可以探索：
   • 多评判器融合： 结合多个 LLM 评判器或人类评判来提高判断的鲁棒性。
   • 评判器自身的对齐与校准： 对评判 LLM 进行专门的对齐和校准，以提高其作为判官的质量。
3. 计算资源需求： 维护一个多样的对手池，即使有响应缓存，也可能在模型数量和响应多样性增加时带来显著的计算和存储开销。特别是如果对手池需要频繁更新或包含非常大的模型。需要进一步分析其在超大规模场景下的可扩展性。
4. 温度参数 $T$ 的敏感性： 实验结果表明温度参数 $T$ 对性能影响巨大。如何找到并维持最优的 $T$ 值，尤其是在训练过程中动态调整 $T$ 值，是一个需要深入研究的问题。这可能需要更复杂的自适应机制，而不仅仅是固定或简单的调度。
5. 探索更复杂的博弈论策略： 当前框架基于 Elo 评分和胜率，这是一种相对简单的竞争模型。未来可以探索更复杂的博弈论概念，例如混合策略、对策均衡等，以设计更智能的竞争策略，从而激发更深层次的模型能力。