Mitigating the Alignment Tax of RLHF

Tong Zhang

论文状态：已完成

Mitigating the Alignment Tax of RLHF

发表：2023/09/12

大语言模型强化学习训练 (54)对齐税问题 (1)模型权重平均方法 (1)强化学习与人类反馈结合 (1)Transformer层异质性平均 (1)

原文链接 PDF 下载

价格：0.10

已有 8 人读过

本分析由 AI 生成，可能不完全准确，请以原文为准。

TL;DR 精炼摘要

论文研究RLHF对齐税导致LLM遗忘预训练能力的问题。研究发现，简单的“模型平均”能有效平衡对齐与遗忘的权衡，并通过增加特征多样性提升性能。基于此，提出“异构模型平均（HMA）”，通过为不同层自适应调整平均比例，最大化对齐同时最小化对齐税，在多种模型和RLHF算法上得到验证。

摘要

LLMs acquire a wide range of abilities during pre-training, but aligning LLMs under Reinforcement Learning with Human Feedback (RLHF) can lead to forgetting pretrained abilities, which is also known as the alignment tax. To investigate alignment tax, we conducted experiments with existing RLHF algorithms using OpenLLaMA-3B, which revealed a pronounced alignment tax in NLP tasks. Whereas, despite various techniques to mitigate forgetting, they are often at odds with the RLHF performance, leading to a trade-off between alignment performance and forgetting mitigation, leading to an alignment-forgetting trade-off. In this paper we show that model averaging, which simply interpolates between pre and post RLHF model weights, surprisingly achieves the most strongest alignment-forgetting Pareto front among a wide range of competing methods. To understand its effectiveness, we offer theoretical insights into model averaging, revealing that it enhances performance Pareto front by increasing feature diversity on the layers where tasks share overlapped feature spaces. Empirical evidence corroborates our analysis by showing the benefits of averaging low-level transformer layers. Building on the analysis and the observation that averaging different layers of the transformer leads to significantly different alignment-forgetting trade-offs, we propose Heterogeneous Model Averaging (HMA) to Heterogeneously find various combination ratios of model layers. HMA seeks to maximize the alignment performance while incurring minimal alignment tax. Moreover, we validate HMA's performance across a range of RLHF algorithms over OpenLLaMA-3B and further extend our findings to Mistral-7B which is evaluated by open-sourced preference model and GPT4. Code available here: https://github.com/avalonstrel/Mitigating-the-Alignment-Tax-of-RLHF.git.

思维导图

论文精读

中文精读约 21 分钟读完 · 12,027 字

1. 论文基本信息 (Bibliographic Information)

标题 (Title): Mitigating the Alignment Tax of RLHF (减轻 RLHF 的对齐税)
作者 (Authors): Yong Lin, Hangyu Lin, Wei Xiong, Shizhe Diao, Jianmeng Liu, Jipeng Zhang, Rui Pan, Haoxiang Wang, Wenbin Hu, Hanning Zhang, Hanze Dong, Renjie Pi, Han Zhao, Nan Jiang, Heng Ji, Yuan Yao, Tong Zhang.
- 作者隶属机构包括普林斯顿大学 (Princeton University)、香港科技大学 (The Hong Kong University of Science and Technology)、伊利诺伊大学厄巴纳-香槟分校 (University of Illinois Urbana-Champaign) 和英伟达 (NVIDIA)。这是一个由多所顶尖学术机构和行业巨头合作的研究。
发表期刊/会议 (Journal/Conference): 本文目前发布于 arXiv，是一个预印本 (Preprint) 平台。arXiv 上的论文尚未经过同行评审，但它是人工智能和机器学习领域快速传播最新研究成果的重要渠道。
发表年份 (Publication Year): 2023
摘要 (Abstract): 论文研究了大型语言模型 (LLM) 在通过人类反馈强化学习 (RLHF) 进行对齐时，会遗忘预训练阶段学到的通用能力，这一现象被称为“对齐税” (Alignment Tax)。实验表明，在自然语言处理 (NLP) 任务中存在显著的对齐税，并且在对齐性能和遗忘缓解之间存在一种权衡关系。研究发现，一种简单的“模型平均” (Model Averaging) 方法，即在 RLHF 前后的模型权重之间进行插值，能在众多方法中实现最优的“对齐-遗忘”帕累托前沿 (Pareto Front)。论文从理论上解释了模型平均的有效性，并基于此提出了一种名为“异构模型平均” (Heterogeneous Model Averaging, HMA) 的新方法。HMA 通过为模型不同层级自适应地寻找不同的平均比例，旨在最大化对齐性能的同时最小化对齐税。该方法在 OpenLLaMA-3B 和 Mistral-7B 等不同模型和多种 RLHF 算法上都得到了验证。
原文链接 (Source Link):
- ArXiv 页面: https://arxiv.org/abs/2309.06256
- PDF 链接: http://arxiv.org/pdf/2309.06256v4
- 发布状态: 预印本 (Preprint)。

2. 整体概括 (Executive Summary)

研究背景与动机 (Background & Motivation - Why):
- 核心问题： 大型语言模型 (LLMs) 在经过人类反馈强化学习 (RLHF) 以使其输出更符合人类偏好（如“有用、诚实、无害”）后，往往会牺牲其在预训练阶段学到的广泛通用能力（如常识推理、阅读理解、翻译等）。这种现象被称为“对齐税” (Alignment Tax)。
- 重要性与挑战： “对齐税”是一个严重的问题，因为它意味着提升模型安全性和有用性的过程可能会损害模型的基础能力，导致模型在特定方面“变笨”。现有的缓解遗忘的方法（如正则化、经验回放等）通常会降低对齐效果，形成一个“对齐-遗忘”的权衡 (trade-off)，难以兼得。领域内缺乏一种既简单有效，又能系统性改善这一权衡的方法。
- 切入点： 论文的切入点是系统性地评估各种缓解遗忘的方法，并从中发现了一个出乎意料的有效方案——“模型平均” (Model Averaging)。通过深入探究其工作原理，作者进一步提出了一个更优化的版本。
核心贡献/主要发现 (Main Contribution/Findings - What):
- 系统性评估与发现： 论文全面评估了多种缓解对齐税的方法，并首次明确指出，简单的“模型平均” (MA) 在“对齐-遗忘”权衡上显著优于包括正则化、低秩适应 (LoRA)、知识蒸馏等在内的多种复杂方法，达到了最优的帕累托前沿。
- 理论解释： 论文为模型平均的有效性提供了理论解释。核心观点是，在任务共享特征空间的模型层（尤其是底层），模型平均通过增加特征多样性，能够同时提升两个任务（对齐任务和预训练任务）的性能。
- 提出新方法 HMA： 基于“不同模型层在对齐税中扮演不同角色”的观察和理论分析，论文提出了异构模型平均 (Heterogeneous Model Averaging, HMA)。HMA 不再对整个模型使用统一的平均比例，而是为模型的不同部分（如不同层块）自适应地学习不同的平均比例，从而更精细地优化权衡，进一步推动帕累托前沿。
- 广泛验证： HMA 的有效性在多种模型 (OpenLLaMA-3B, Mistral-7B)、多种 RLHF 算法 (RSF, DPO, PPO) 以及多种评估方式（开源偏好模型和 GPT-4）上得到了充分验证，证明了其通用性和实用性。

基础概念 (Foundational Concepts):
- 大型语言模型 (Large Language Models, LLMs): 指的是在海量文本数据上进行预训练的深度神经网络模型，如 GPT 系列。它们通过预训练学习到丰富的语言知识和世界知识，能够执行各种下游 NLP 任务。
- 人类反馈强化学习 (Reinforcement Learning from Human Feedback, RLHF): 这是一种使 LLM 的行为与人类偏好对齐的技术，通常包含三个步骤：
  1. 监督微调 (Supervised Fine-Tuning, SFT): 在少量高质量的人类示范数据上微调预训练模型，使其适应特定的指令格式。
  2. 奖励模型训练 (Reward Model Training): 收集人类对模型不同输出的偏好数据（例如，哪个回答更好），并用这些数据训练一个奖励模型 (RM)，使其能评估任意输出的质量。
  3. 强化学习优化 (RL Optimization): 将奖励模型作为环境的奖励函数，使用强化学习算法（如 PPO）来优化 SFT 模型，使其生成的回答能获得更高的奖励分数。
- 对齐税 (Alignment Tax): 指在 RLHF 过程中，模型为了迎合人类偏好（即最大化奖励），其在预训练阶段获得的通用 NLP 能力（如推理、翻译）出现下降的现象。这是一种典型的灾难性遗忘 (Catastrophic Forgetting) 问题。
- 帕累托前沿 (Pareto Front): 在多目标优化问题中，帕累托前沿指的是一组解的集合。在这个集合中，任何一个解的目标函数值都无法在不牺牲其他目标函数值的情况下得到改善。在本文中，它代表了“对齐性能”（奖励分数）和“遗忘缓解”（NLP 任务分数）之间的最佳权衡曲线。一个方法如果能形成更靠“右上角”（即高对齐、低遗忘）的帕累托前沿，就说明它更优越。
前人工作 (Previous Works):
- 缓解灾难性遗忘的方法：
  - 正则化方法 (Regularization-based): 通过在损失函数中增加惩罚项，限制模型参数在更新过程中离初始参数太远。例如 L1/L2 正则化和知识蒸馏 (Knowledge Distillation)，后者惩罚新旧模型输出分布的差异。这些方法虽然能减轻遗忘，但往往以牺牲对齐性能为代价。
  - 经验回放 (Experience Replay, ER): 在训练新任务（RLHF）时，混入一部分旧任务（预训练）的数据。但对于 LLM 而言，预训练数据量巨大且通常不可用，即使可用，采样一小部分也可能代表性不足，计算开销大。
  - 参数高效微调 (Parameter-Efficient Fine-Tuning, PEFT): 如低秩适应 (LoRA)，只更新模型的一小部分参数，冻结大部分预训练权重。这在一定程度上可以保留预训练知识。
- 模型平均/合并 (Model Averaging/Merging):
  - 先前研究已将模型平均用于构建更鲁棒的奖励模型或合并不同任务的策略模型。但没有工作系统性地研究其在缓解“对齐税”问题上的作用。
  - 一些工作研究了自适应地为不同层分配合并权重以优化单一任务性能，但这需要特定任务的标签数据，不适用于缓解在未知和广泛的预训练任务上的遗忘。
差异化分析 (Differentiation):
- 与缓解遗忘工作的区别： 本文首次系统证明了“模型平均”这一简单方法在缓解对齐税问题上优于众多主流的、更复杂的持续学习方法。
- 与模型合并工作的区别： 本文不仅应用了模型平均，更重要的是提供了其有效性的理论解释，并基于此提出了 HMA。HMA 的优化目标是最大化对齐奖励，同时保持较低的遗忘，而不需要访问下游任务的数据，这与其他合并方法的目标不同。

4. 方法论 (Methodology - Core Technology & Implementation Details)

本论文的核心方法论分为两部分：首先是对标准模型平均 (MA) 的分析，其次是基于分析提出的异构模型平均 (HMA)。

方法原理 (Methodology Principles):
- 标准模型平均 (Model Averaging, MA):
  - 核心思想： RLHF 过程可以看作是将模型权重 $\theta_0$ （SFT 后模型）移动到 $\theta$ （RLHF 后模型）。这个移动过程获得了对齐能力，但丢失了通用能力。MA 的直觉是，或许最优的模型权重存在于 $\theta_0$ 和 $\theta$ 之间的某处，通过线性插值可以找到一个更好的平衡点。
  - 实现方式： 这是个后处理 (post-hoc) 步骤，在 RLHF 训练完成后进行。将 SFT 模型 $\theta_0$ 和 RLHF 后的模型 $\theta$ 的权重进行加权平均，得到新模型 $\theta_{\text{avg}}$ ： $\theta_{\text{avg}} = (1-\alpha) \theta_0 + \alpha \theta$ 其中 $\alpha \in [0, 1]$ 是一个超参数，控制着插值的比例。 $\alpha=0$ 时为 SFT 模型， $\alpha=1$ 时为 RLHF 模型。
- 模型平均的理论解释：
  - 理论基础： 作者借鉴了 (Lin et al., 2023) 的框架，该框架分析了模型平均如何通过增加特征多样性来提高模型鲁棒性。
  - 核心洞见 (Proposition 5.1)： 该命题指出，当两个任务（这里指 NLP 通用任务 $\mathcal{T}_a$ 和对齐任务 $\mathcal{T}_b$ ）比较相似时，对它们各自训练的模型 $f_a$ 和 $f_b$ 进行平均，带来的性能提升会更大。任务的相似性体现在它们共享底层的特征空间。
  - 直觉解释：
    1. 特征多样性： 即使在相同任务上训练，由于随机性，两个模型也可能学到不同的有效特征。模型平均相当于汇集了两个模型的特征集，增加了特征多样性，从而降低了模型因某些特征失效而出错的概率。
    2. 任务相似性与层级关系： 对于 LLM 来说，不同的 Transformer 层学习不同层级的特征。底层（如词嵌入、早期注意力层）学习的是更通用的、基础的语言特征（如语法、词义），这些特征对于 NLP 通用任务和对齐任务都是有益的，因此在底层两个任务的“特征空间”重叠度更高。高层则学习更抽象、更任务特定的特征。
    3. 推论： 根据理论，对底层进行模型平均，由于任务相似度高，能带来“双赢”的效果——既能提升 NLP 任务性能，也能提升对齐任务性能。而对高层进行平均，效果则不那么显著，甚至可能互相干扰。这解释了为什么 averaging low-level layers leads to a "magical" improvement。
- 异构模型平均 (Heterogeneous Model Averaging, HMA):
  - 动机： 既然不同层对模型平均的反应不同，那么对所有层使用同一个平均比例 $\alpha$ 是次优的。应该为不同层/模块分配不同的、更合适的平均比例。
  - 核心思想： 将 Transformer 模型划分为 $K$ 个部分（例如，底层、中层、高层），为每个部分 $k$ 分配一个独立的平均比例 $\alpha_k$ 。
    
    $Figure 2: Illustration of Heterogeneous Model Averaging (HMA) when $K = 3$ .$ 该图像是图2，展示了K=3时异构模型平均（HMA）的示意图。它通过将预训练模型（ $\theta_0$ ）和经RLHF微调的模型（ $\theta$ ）的权重在不同层（如输出、中间、输入部分）以不同比例进行加权平均。例如，输出层为 $0.3 \theta_0^{[3]} + 0.7 \theta^{[3]}$ ，展示了层级间的权重组合差异。
    
    如上图所示，模型被分为输入、中间、输出三个部分，每部分的平均比例不同。
方法步骤与流程 (Steps & Procedures):
1. 模型划分： 将 Transformer 模型分为 $K$ 个部分， $\theta = \{\theta^{[1]}, \dots, \theta^{[K]}\}$ 。
2. 异构平均： 对每个部分 $k$ 进行独立的线性插值，得到合并后的模型 $\theta(K)$ 的第 $k$ 部分： $\theta^{[k]}(K) := \alpha_k \theta^{[k]} + (1 - \alpha_k) \theta_0^{[k]}, \quad \forall k \in \{1, \dots, K\}$
3. 优化目标： 如何找到最优的 $(\alpha_1, \dots, \alpha_K)$ $(α_{1}, \dots, α_{K})$ 组合？作者的目标是在保持整体“遗忘程度”大致不变的情况下，最大化对齐奖励。为此，他们设定了一个约束条件：所有 $\alpha_k$ $α_{k}$ 的均值等于一个给定的全局平均值 $\alpha$ $α$ 。这样便于和使用统一比例 $\alpha$ $α$ 的标准 MA 进行公平比较。
  - 设 $\Omega$ 为所有满足约束的 $\alpha_k$ 组合的集合： $\Omega := \left\{ (\alpha_1, \dots, \alpha_K) \mid \frac{1}{K}\sum_k \alpha_k = \alpha, \alpha_k \in [0, 1] \right\}$
  - 优化问题定义为： $\operatorname*{max}_{(\alpha_1, \dots, \alpha_K) \in \Omega} \mathbb{E}_{x} \mathbb{E}_{a \sim \pi_{\theta(K)}(\cdot|x)} [r^*(x, a)]$
4. 实际优化 (Algorithm 1)：
  - 由于直接优化上述 RL 目标很复杂，作者采用了一种代理蒸馏 (proxy distillation) 的方法。
  - 首先，用训练好的 RLHF 模型 $\pi_{\theta}$ 生成一个高质量的数据集 $\mathcal{D}_{\theta}$ 。
  - 然后，将优化目标转化为最大化合并模型 $\pi_{\theta(K)}$ 在这个代理数据集上的对数似然，这是一个监督学习问题，更容易求解： $\operatorname*{max}_{\alpha_1, \dots, \alpha_K \in \Omega} \frac{1}{|\mathcal{D}_{\theta}|} \sum_{(x, a) \in \mathcal{D}_{\theta}} \log[\pi_{\theta(K)}(a|x)]$
  - 通过梯度下降等方法优化求解 $(\alpha_1, \dots, \alpha_K)$ 。

5. 实验设置 (Experimental Setup)

数据集 (Datasets):
- 指令微调 (Instruction Tuning): 使用 ShareGPT 数据集将预训练模型 (OpenLLaMA-3B) 微调为指令模型 $\theta_0$ 。
- RLHF 训练: 使用 HH-RLHF (Helpfulness and Harmlessness) 数据集 (Bai et al., 2022) 进行对齐训练，获得模型 $\theta$ 。
- 对齐税评估:
  - 常识问答 (Common Sense QA): ARC Easy & Challenge, Race, PIQA。
  - 阅读理解 (Reading Comprehension): SQuAD, DROP。
  - 翻译 (Translation): WMT 2014 法语到英语。
- 对齐性能评估 (大模型): AlpacaEval 2.0 数据集，用于评估模型的指令遵循能力。
模型:
- 主要实验基于 OpenLLaMA-3B。
- 为了验证方法的通用性，扩展到了 Mistral-7B，具体包括 Zephyr-7B-β (基于 Mistral-7B) 和 Zephyr-7B-Gemma (基于 Gemma-7B)。
RLHF 算法:
- 主要使用 拒绝采样微调 (Rejection Sampling Finetuning, RSF)，也称为 best-of-n。
- 同时也在 直接偏好优化 (Direct Preference Optimization, DPO) 和 近端策略优化 (Proximal Policy Optimization, PPO) 上验证了方法的有效性。
评估指标 (Evaluation Metrics):
- 对齐性能:
  - HH RLHF Reward:
    1. 概念定义: 由一个在人类偏好数据上训练好的奖励模型 (Reward Model) 计算出的分数。该分数越高，代表模型的输出越符合“有用”和“无害”的人类偏好标准。它是 RLHF 过程中的直接优化目标。
    2. 数学公式: 奖励模型通常是一个函数 r(x, a)，输入提示 $x$ 和回答 $a$ ，输出一个标量奖励。RLHF 的目标是最大化期望奖励： $\mathbb{E}_{x, a \sim \pi_{\theta}}[r(x, a)]$ 。论文中未给出具体公式，但这是其概念。
    3. 符号解释: r(x, a) 是奖励模型对回答的评分； $\pi_{\theta}$ 是待评估的语言模型策略。
  - Win-Rate (%):
    1. 概念定义: 在模型之间进行成对比较时的胜率。例如，将模型 A 和基准模型（如 GPT-4）的回答同时呈现给一个裁判（如另一个强大的 LLM 或人类），由裁判判断哪个回答更好。Win-Rate 是模型 A 被判获胜的次数占总比较次数的百分比。它常用于评估模型的综合对话和指令遵循能力。
    2. 数学公式: $\text{Win-Rate} = \frac{\text{Number of Wins}}{\text{Total Number of Comparisons}} \times 100\%$
    3. 符号解释: “Number of Wins” 是模型被裁判判定为更优的次数；“Total Number of Comparisons” 是进行成对比较的总次数。
- 对齐税 (遗忘) 评估:
  - Accuracy (ACC):
    1. 概念定义: 准确率，衡量模型在分类或问答任务中做出正确预测的比例。用于评估常识问答任务。
    2. 数学公式: $\text{Accuracy} = \frac{\text{Number of Correct Predictions}}{\text{Total Number of Predictions}}$
    3. 符号解释: “Number of Correct Predictions” 是模型回答正确的样本数；“Total Number of Predictions” 是总样本数。
  - F1 Score:
    1. 概念定义: F1 分数是精确率 (Precision) 和召回率 (Recall) 的调和平均数，常用于评估信息提取和阅读理解任务，因为它能同时兼顾预测的准确性和完整性。在 SQuAD 等任务中，它通常基于预测答案与真实答案之间的词语重叠度来计算。
    2. 数学公式: $F1 = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}$
    3. 符号解释: $\text{Precision} = \frac{TP}{TP+FP}$ (预测为正的样本中有多少是真的正)； $\text{Recall} = \frac{TP}{TP+FN}$ (所有真为正的样本中有多少被预测出来了)。TP, FP, FN 分别代表真阳性、假阳性、假阴性。
  - BLEU (Bilingual Evaluation Understudy):
    1. 概念定义: 一种用于评估机器翻译质量的指标。它通过比较机器翻译的输出与一个或多个高质量的人类参考翻译，计算它们之间 n-gram（连续 n 个词）的重叠度。BLEU 分数越高，表示翻译结果与参考翻译越接近。
    2. 数学公式: $\text{BLEU} = \text{BP} \cdot \exp\left(\sum_{n=1}^{N} w_n \log p_n\right)$
    3. 符号解释: $\text{BP}$ 是简洁惩罚项 (Brevity Penalty)，用于惩罚过短的翻译； $p_n$ 是 n-gram 的精确率； $w_n$ 是权重（通常为均匀权重）； $N$ 是 n-gram 的最大长度（通常为 4）。
对比基线 (Baselines):
- Early Stopping: 在 RLHF 训练过程中提前停止。
- Regularization-L1/L2: 在损失函数中加入 L1/L2 权重惩罚。
- Regularization-KD (Knowledge Distillation): 惩罚 RLHF 模型与 SFT 模型输出概率分布的差异。
- LoRA (Low-Rank Adaptation): 参数高效微调方法。
- SMA (Stochastic Moving Averaging): 随机移动平均。
- Experience Replay (ER): (在附录中比较) 混合预训练数据进行训练。
- KL Reward Penalty: (在附录中比较) PPO 算法中常用的 KL 散度惩罚项。

6. 实验结果与分析

核心结果分析 (Core Results Analysis):

对齐税的存在性： Figure 12 (图像 4) 展示了在 RLHF 训练过程中，随着对齐奖励 (HH RLHF Reward) 的增加，阅读理解和翻译性能持续下降，证实了“对齐-遗忘”权衡的存在。

该图像是图12，展示了训练过程中对齐-遗忘的权衡。它由三个折线图组成，分别描绘了阅读理解、常识问答准确率和法语-英语翻译任务的性能，随着HH RLHF奖励的变化而波动。图中显示，随着对齐奖励的增加，预训练任务的性能通常呈下降趋势，体现了对齐税效应。
模型平均 (MA) 的优越性： Figure 3 (图像 10) 是一个关键结果。图中橙色曲线代表不同 $\alpha$ 值的模型平均方法，它构成的帕累托前沿明显优于所有其他基线方法（彩色散点）。无论是在阅读理解、常识问答还是翻译任务上，MA 都能在获得相同对齐奖励的情况下，更好地保留预训练能力。

该图像是图3，展示了现有方法在不访问预训练数据时在阅读理解、常识问答和法英翻译三个NLP任务上的表现。X轴代表HH RLHF奖励，Y轴为相应的任务指标（F1、ACC、BLEU）。模型平均（MA (RSF)）方法在所有任务中均达到了最强的对齐-遗忘帕累托前沿，显著优于其他正则化、MoA、Graft、LoRA和Early Stopping等方法，有效平衡了对齐性能与遗忘缓解。
理论的经验验证： Figure 13 (图像 6) 验证了理论分析。图中显示，仅对模型的输入部分 (Input Part MA) 进行平均，可以同时提升对齐奖励和阅读理解性能（曲线向右上移动），这正是理论预测的“神奇”改进。而对输出部分 (Output Part MA) 进行平均则效果最差，说明高层特征的冲突更大。这一现象在 RSF、DPO 和 PPO 三种算法上都保持一致。

该图像是图13，展示了在RSF、DPO和PPO三种RLHF算法下，模型不同部分平均化的性能表现。左侧图是RSF，中间是DPO，右侧是PPO。每个子图均以“HH RLHF Reward”为X轴，“Reading Comprehension (F1)”为Y轴，描绘了对齐性能与预训练能力保持之间的帕累托前沿。图中对比了整体模型平均化（MA）与对模型输入、中间和输出层进行平均化处理的性能，显示了不同平均化策略对对齐税的影响。
HMA 的进一步提升： Figure 16 (图像 8) 展示了本文提出的 HMA 方法的结果。在所有三个评估任务和两种 RLHF 算法 (RSF, DPO) 上，HMA（红色曲线）的帕累托前沿都一致地优于标准 MA（橙色曲线）。这表明通过为不同层分配自适应的权重，确实可以找到更好的权衡点。

该图像是图16，展示了异构模型平均（HMA）与标准模型平均（MA）在不同基准任务和RLHF方法（RSF、DPO）下的详细结果。六个曲线图分别比较了两种方法在阅读理解（F1）、常识问答（ACC）和法英翻译（BLEU）上的表现与HH RLHF奖励的权衡，HMA普遍展现出更强的帕累托前沿。

在大模型上的泛化性： 实验扩展到更强大的 Mistral-7B 模型上。Figure 6 显示，MA 和 HMA 在 Zephyr-7B-β 上依然有效，HMA 同样优于 MA。Table 1 提供了 GPT-4 的评估结果，显示 HMA 不仅在 NLP 任务上性能更高，在 AlpacaEval 上的 Win-Rate 也更高，证明了其在提升对齐质量和缓解遗忘方面的双重功效。

Model	Win-Rate	Reading	CommonSense	Trans
Zephyr-7B-β	8.10%	37.47	66.34	36.55
HMA (Ours)	9.32%	38.93	66.55	37.23
Zephyr-7B-Gemma	11.3%	41.15	66.3	38.09
HMA (Ours)	11.5%	42.45	66.4	38.71

消融实验/参数分析 (Ablation Studies / Parameter Analysis):
- 参数 K 的影响 (HMA 划分块数): Figure 5 (Right) 的实验显示，当 K 从 3 增加到 6 和 9 时，帕累托曲线略有下降。作者认为这可能是因为可学习的参数增多（从 3 个 $\alpha_k$ 增加到 9 个）导致在对齐奖励任务上过拟合，从而牺牲了 NLP 任务的性能。因此，较小的 K（如 3）是更稳健的选择。
- 平均比例 $\alpha$ 的选择: 论文多处结果（如图 10 和 11）表明，选择一个较小的 $\alpha$ 值，如 $\alpha=0.2$ ，通常可以在几乎不损失对齐性能的情况下，显著缓解对齐税，是一个安全且有效的默认选择。
  
  $Figure 10: Illustration of $\\alpha = 0 . 2$ on vanilla model averaging$ 该图像是图10，展示了三个散点图，用以说明在不同NLP任务（常识问答、阅读理解、法语-英语翻译）中，各种方法在RLHF奖励与任务性能之间的对齐-遗忘权衡。横轴为HH RLHF奖励，纵轴为任务性能。橙色曲线代表模型平均（MA (RSF)），形成了一个帕累托前沿。图中特别标注了 $\alpha = 0.2$ 的点，表明了香草模型平均的特定插值权重。该图突出了模型平均在实现强大对齐-遗忘帕累托前沿方面的有效性。
  
  $Figure 11: Illustration of $\\alpha = 0 . 2$ on HMA$ 该图像是图11，展示了HMA中 $\alpha = 0.2$ 参数的影响。左侧图表比较了MA (RSF)和HMA (RSF)在HH RLHF奖励和阅读理解F1分数上的表现，右侧图表则展示了MA (DPO)和HMA (DPO)的类似对比。两张图中的曲线均表示了对齐性能与遗忘缓解之间的权衡，并用箭头明确标注了 $\alpha = 0.2$ 对应的具体点，以说明HMA在此参数设置下的相对表现。
- 与 AdaMerging 对比: Figure 15 (图像 5) 显示，当使用 AdaMerging 方法并仅在阅读理解数据上优化合并权重时，虽然阅读理解性能尚可，但在常识问答任务上性能急剧下降。这证明了这类需要特定任务数据的方法不适用于解决通用的对齐税问题。
  
  该图像是图15，展示了AdaMerging在阅读理解和常识问答任务上的结果，并与MA (RSF)方法进行了对比。左图显示AdaMerging在阅读理解（F1）方面表现尚可，而右图则表明AdaMerging在常识问答（ACC）方面表现显著不佳，远低于MA (RSF)的性能，验证了其难以在常识任务上取得良好表现的发现。

7. 总结与思考 (Conclusion & Personal Thoughts)

结论总结 (Conclusion Summary):
1. 论文系统地证实了 RLHF 对齐 LLM 会导致显著的“对齐税”，即牺牲预训练的通用能力。
2. 研究发现，简单的后处理方法“模型平均” (MA) 在缓解对齐税方面出人意料地有效，其性能远超多种复杂的基线方法。
3. 论文为 MA 的有效性提供了理论支撑，认为其通过增加共享特征空间（尤其在底层）的特征多样性，实现了对齐和通用任务性能的共同提升。
4. 基于此理论，论文提出“异构模型平均” (HMA)，通过为模型不同层级自适应学习平均比例，进一步优化了“对齐-遗忘”的帕累托前沿。
5. HMA 方法被证明在不同模型、不同 RLHF 算法上都具有通用性和有效性。
局限性与未来工作 (Limitations & Future Work):
- 局限性： 论文提出的 HMA 方法虽然显著缓解了对齐税，但并未完全消除它。在对齐性能达到最高点时，通用能力仍然存在一定程度的下降。
- 未来工作： 作者提出，未来的研究可以探索对齐税的理论下界，并寻找能够达到这种最优权衡的算法。
个人启发与批判 (Personal Insights & Critique):
- 启发性：
  1. 简单即是美 (Simplicity is beautiful): 这篇论文最大的启发在于，一个极其简单、计算成本极低（无需额外训练）的后处理方法，效果却超过了许多复杂的、专门设计的算法。这提醒研究者在面对复杂问题时，不应忽视简单而直观的解决方案。
  2. “权重空间”的视角： MA 的成功暗示，SFT 模型和 RLHF 模型在权重空间中并非两个孤立的点，它们之间的“路径”上可能存在更优的解。RLHF 过程可能使模型在权重空间中“漂移”得过远，而 MA 则是温和地将其“拉回”一些。
  3. 分层处理的重要性： HMA 的成功强调了 Transformer 模型中不同层的功能分化。在微调或对齐时，将所有层同等对待可能不是最优策略。未来的对齐算法或许可以借鉴这种思想，对不同层施加不同的更新强度或正则化策略。
- 潜在问题与改进空间：
  1. K 的选择和划分方式： HMA 中 K 的选择和模型的划分方式（如按层数均分）相对简单。未来可以探索更自动、更具适应性的模型划分方法，例如基于层间激活或梯度相似性来动态地对层进行分组。
  2. 优化方法的依赖性： HMA 依赖于从 RLHF 模型蒸馏出的代理数据集来优化 $\alpha_k$ 。这种方法的性能可能受限于代理数据集的质量和规模。探索更直接、无需生成数据的优化方法可能是一个方向。
  3. 理论的简化： 论文所依赖的理论框架是基于分类任务和一些简化假设建立的。虽然它为理解 LLM 中的现象提供了很好的直觉，但生成任务的复杂性远超于此。发展更适用于生成模型和 Transformer 架构的“对齐税”理论将是非常有价值的。

相似论文推荐

基于向量语义检索推荐的相关论文。

暂时没有找到相似论文。

Mitigating the Alignment Tax of RLHF

TL;DR 精炼摘要

摘要

思维导图

论文精读

中文精读约 21 分钟读完 · 12,027 字

1. 论文基本信息 (Bibliographic Information)

2. 整体概括 (Executive Summary)

3. 预备知识与相关工作 (Prerequisite Knowledge & Related Work)

4. 方法论 (Methodology - Core Technology & Implementation Details)

5. 实验设置 (Experimental Setup)

6. 实验结果与分析

7. 总结与思考 (Conclusion & Personal Thoughts)

相似论文推荐