1. 论文基本信息

1.1. 标题

不依赖外部奖励的学习推理 (Learning to Reason without External Rewards)

该标题直截了当地指出了论文的核心主题：探索一种让大型语言模型（LLM）在没有外部奖励信号的情况下，通过自我驱动的方式学习和提升其复杂推理能力的方法。

1.2. 作者

• Xuandong Zhao, Zhewei Kang, Sergey Levine, Dawn Song: 均来自加州大学伯克利分校 (UC Berkeley)。

• Aosong Feng: 来自耶鲁大学 (Yale University)。

  该研究团队阵容强大，Sergey Levine 和 Dawn Song 均为人工智能领域的知名学者，尤其在强化学习、深度学习和安全领域享有盛誉。这为论文的研究质量和创新性提供了有力的背书。

1.3. 发表期刊/会议

预印本 (Preprint) on arXiv

这篇论文目前作为预印本发布在 arXiv 平台上，版本为 v2。arXiv 是一个开放获取的学术论文发布平台，允许研究者在正式的同行评审前分享他们的研究成果。虽然尚未经过顶级会议（如 NeurIPS, ICML, ICLR）的正式同行评审，但其内容和发现已经引起了学术界的关注。

1.4. 发表年份

2025年 (根据 arXiv 提交信息)

1.5. 摘要

论文摘要指出，通过基于可验证奖励的强化学习 (Reinforcement Learning with Verifiable Rewards, RLVR) 来训练大型语言模型进行复杂推理是有效的，但这种方法依赖于昂贵且特定领域的监督（如标准答案）。为了克服这一限制，论文探索了一个名为基于内部反馈的强化学习 (Reinforcement Learning from Internal Feedback, RLIF) 的新框架，该框架使大模型能够在没有外部奖励或标注数据的情况下，从其内在信号中学习。

作者提出了一种名为 Intuitor 的 RLIF 方法，它使用模型自身的置信度——称为自我确定性 (self-certainty)——作为唯一的奖励信号。Intuitor 将现有 RLVR 框架 GRPO 中的外部奖励替换为自我确定性分数，从而实现了完全无监督的学习。

实验表明，在数学基准测试上，Intuitor 的性能与需要标准答案的 GRPO 相当，并且在代码生成等域外 (out-of-domain) 任务上表现出更优的泛化能力。这一发现证明，模型的内在信号可以有效驱动跨领域的学习，为那些无法获得可验证奖励的自主人工智能系统提供了一种可扩展的替代方案。

1.6. 原文链接

• 原文链接: https://arxiv.org/abs/2505.19590v2
• PDF 链接: http://arxiv.org/pdf/2505.19590v2
• 发布状态: 预印本 (Preprint)

2. 整体概括

2.1. 研究背景与动机

2.1.1. 核心问题

当前提升大模型（LLM）能力的主流方法，如基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback, RLHF) 和基于可验证奖励的强化学习 (Reinforcement Learning with Verifiable Rewards, RLVR)，都严重依赖外部监督。

• RLHF 需要大量昂贵的人工标注来训练奖励模型，且可能引入偏见。

• RLVR 虽然避免了学习奖励模型，但需要为特定任务（如数学、编程）提供“标准答案”或可执行的测试用例作为奖励来源。

  这两种方式的共同缺陷是成本高、可扩展性差、领域受限。当模型需要处理没有明确“正确答案”的开放式任务，或者当模型的能力超越人类评估范围时，这些方法将难以为继。

2.1.2. 重要性与挑战

解决对外部监督的依赖，对于构建更自主、更通用、更具可扩展性的人工智能系统至关重要。这引出了一个根本性的研究问题：

Can LLMs enhance their reasoning abilities by relying solely on intrinsic, self-generated signals, without recourse to external verifiers or domain-specific ground truth? (大模型能否仅依靠其内在的、自我生成的信号，而无需借助外部验证器或特定领域的真实标注数据，来增强其推理能力？)

这就是本文试图回答的核心问题。其挑战在于，如何找到一种与任务质量正相关的、可靠的内在信号，并将其用作有效的奖励来指导模型的自我提升。

2.1.3. 创新思路

论文的创新思路是，模型的自信程度本身就是一种有价值的反馈信号。基于“模型在处理难题时通常表现出较低自信度”的观察，作者推断，通过强化学习优化模型以提升其自信度，可以间接提升其解决问题的能力。这种方法完全抛弃了外部奖励，实现了真正的自我驱动学习 (self-driven learning)。

2.2. 核心贡献/主要发现

1. 提出 RLIF 新范式: 论文首次正式提出并探索了基于内部反馈的强化学习 (Reinforcement Learning from Internal Feedback, RLIF) 这一新范式。该范式旨在让 LLM 利用内在的、自我生成的信号进行自我完善，摆脱对外部监督的依赖。

2. 提出 Intuitor 方法: 作为 RLIF 范式的具体实现，论文提出了 Intuitor 方法。该方法的核心是使用一个名为自我确定性 (self-certainty) 的内在置信度指标作为强化学习的唯一奖励信号。

3. 验证了无监督学习的有效性: 实验证明，在没有“标准答案”的情况下，Intuitor 在数学推理等域内 (in-domain) 任务上，性能可以媲美使用标准答案进行监督训练的 RLVR 方法（GRPO）。

4. 展示了卓越的泛化能力: 更重要的是，Intuitor 在代码生成等域外 (out-of-domain) 任务上表现出比监督方法更强的泛化能力。这表明，基于内在过程的奖励（自信度）比基于最终结果的奖励（答案正确性）更能促进模型学习到可迁移的、通用的推理结构。

5. 揭示了内在奖励的优良特性: 论文发现，使用在线 (online) 更新的自我确定性作为奖励，可以有效防止奖励被利用 (reward exploitation) 或“刷分”，从而保证了训练的稳定性。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 强化学习 (Reinforcement Learning, RL)

强化学习是一种机器学习范式，其中一个智能体 (agent)（在本文中是 LLM）通过与环境 (environment)（在本文中是生成文本的过程）交互来学习。智能体在每个时间步做出一个动作 (action)（生成一个词元），环境会反馈一个奖励 (reward) 和一个新的状态 (state)。智能体的目标是学习一个策略 (policy)（一个决定如何行动的规则），以最大化其在一段时间内收到的累积奖励。

3.1.2. KL 散度 (Kullback-Leibler Divergence)

KL 散度，也称为相对熵，是衡量两个概率分布之间差异的一种方式。给定两个概率分布 $P$ 和 $Q$，从 $P$ 到 $Q$ 的 KL 散度记为 $D_{KL}(P \| Q)$。它衡量的是，如果我们用分布 $Q$ 来近似真实分布 $P$，会产生多少信息损失。

• 如果 $P$ 和 $Q$ 完全相同，则 $D_{KL}(P \| Q) = 0$。
• 如果 $P$ 和 $Q$ 差异越大，则 $D_{KL}(P \| Q)$ 的值也越大。
• 注意： KL 散度是不对称的，即 $D_{KL}(P \| Q) \neq D_{KL}(Q \| P)$。

3.2. 前人工作

3.2.1. 基于人类反馈的强化学习 (RLHF)

RLHF 是对齐大模型与人类偏好的主流技术，代表性工作是 OpenAI 的 InstructGPT [Ouyang et al., 2022]。其流程通常包括：

1. 收集人类偏好数据: 针对同一个提示，让人类标注员对模型的多个输出进行排序。
2. 训练奖励模型 (Reward Model, RM): 使用这些排序数据，训练一个模型来预测哪个输出更符合人类偏好。这个 RM 实际上是在学习一个代表人类价值观的打分函数 $r_\phi(q, o)$。
3. 使用强化学习进行微调: 以 RM 的输出作为奖励信号，使用 PPO 等强化学习算法微调 LLM，使其生成的内容能获得更高的奖励分数。 局限性: 成本高昂、依赖人工、奖励模型可能被“欺骗”或存在偏见。

3.2.2. 基于可验证奖励的强化学习 (RLVR)

为了解决 RLHF 的部分问题，RLVR 使用自动化的、可验证的信号代替学习的奖励模型。例如：

• 数学问题: 奖励可以是“最终答案是否与标准答案完全匹配”。

• 代码生成: 奖励可以是“生成的代码是否能通过所有单元测试”。

  代表性工作如 DeepSeek-R1 [Guo et al., 2025] 就利用 RLVR 在数学推理上取得了巨大成功。 局限性: 严重依赖特定领域的验证器和“标准答案”，难以扩展到没有明确对错标准的开放性任务。

3.2.3. 组相对策略优化 (Group Relative Policy Optimization, GRPO)

GRPO 是一种高效的策略优化算法，被 DeepSeekMath [Shao et al., 2024] 等工作广泛采用。其核心思想是：

1. 分组采样: 对于一个给定的问题，使用当前策略模型生成一组（例如 G 个）候选答案。

2. 相对奖励: 计算每个候选答案的奖励（在 RLVR 中，通常是二元奖励：正确为1，错误为0）。

3. 优势估计: 通过将每个答案的奖励与组内平均奖励进行比较（并进行归一化），来估计其优势 (advantage)。奖励高于平均值的答案获得正优势，低于平均值的获得负优势。

4. 策略更新: 使用策略梯度方法，增加获得正优势的答案的生成概率，降低获得负优势的答案的生成概率。

   GRPO 通过组内比较，稳定了训练过程，并被证明在 RLVR 任务中非常有效。

3.3. 技术演进

大模型对齐与优化的技术演进路线可以看作是一个不断减少对外部监督依赖的过程：

1. 强监督 (RLHF): 依赖昂贵的人类反馈来学习一个代理奖励模型。

2. 弱监督 (RLVR): 依赖特定领域的标准答案或验证器作为直接奖励。

3. 无监督 (RLIF - 本文): 完全不依赖任何外部反馈，仅使用模型自身的内在信号（如自信度）作为奖励。

   本文提出的 RLIF 处于这一技术脉络的最前沿，探索了实现模型自主学习的终极可能性。

3.4. 差异化分析

与其它探索自提升的工作相比，Intuitor 的核心差异在于其奖励信号的来源和形式：

• 与 SPIN 等自博弈方法对比: SPIN [Chen et al., 2024] 等方法通过让模型扮演“裁判”和“选手”的角色进行自博弈，生成“好”和“坏”的样本对进行训练。这仍然需要一个“判断”过程。而 Intuitor 的奖励信号是直接从生成过程的概率分布中计算得出的，更加底层和直接。
• 与 TTRL, Absolute Zero 等无标签学习方法对比: 这些并发工作 [Zuo et al., 2025; Zhao et al., 2025] 虽然也利用无标签数据进行强化学习，但仍局限于特定任务（主要是数学），且常依赖自洽性（如多数投票）作为奖励代理。而 Intuitor 提出的 self-certainty 是一种更通用的、与任务无关的内在信号，理论上可应用于任何文本生成任务。
• 与 Entropy-based 方法对比: 一些工作尝试使用熵 (entropy) 作为奖励。而本文使用的 self-certainty 是一种反向的 KL 散度，作者认为它比熵更不容易受到生成长度偏见的影响，是更可靠的置信度指标。

4. 方法论

本章节将详细拆解 Intuitor 的技术方案，从理论基础到具体实现。

4.1. 方法原理

Intuitor 的核心原理是：一个高质量、逻辑连贯的推理过程，会让模型对其最终输出更有信心。

传统的 RLVR 方法奖励的是“正确的结果”，而 Intuitor 奖励的是“自信的生成过程”。作者假设，通过强化学习算法不断优化模型，使其对自己生成的内容越来越“自信”，能够间接促使模型学习到更严谨、更结构化的推理能力。这种自信并非盲目自信，而是建立在模型对生成序列内部一致性和逻辑流畅性的评估之上。

4.2. 核心方法详解 (逐层深入)

4.2.1. 从外部监督到内部反馈的演进

为了更好地理解 Intuitor 的创新，我们首先回顾一下现有 RL 范式的数学目标。

1. RLHF 目标函数: 在 RLHF 中，策略 $\pi_{\theta}$ 的优化目标是最大化一个从人类偏好中学习到的奖励模型 $r_{\phi}$ 的期望得分，同时通过 KL 散度惩罚项防止其偏离原始模型 $\pi_{\text{ref}}$ 太远。 $$\max_{\pi_{\theta}} \mathbb{E}_{o \sim \pi_{\theta}(q)}\left[r_{\phi}(q, o)-\beta \operatorname{KL}\left[\pi_{\theta}(o \mid q) \| \pi_{\text {ref }}(o \mid q)\right]\right]$$ 符号解释:

   • $\pi_{\theta}$: 当前正在优化的 LLM 策略。
   • $q$: 输入的提示或问题 (query)。
   • $o$: 模型生成的输出 (output)。
   • $r_{\phi}(q, o)$: 学习到的奖励模型，用于评估输出 $o$ 的质量。
   • $\pi_{\text{ref}}$: 一个固定的参考模型（通常是微调前的模型），用于稳定训练。
   • $\beta$: KL 散度惩罚项的系数。
   • $\operatorname{KL}[\cdot \| \cdot]$: KL 散度，衡量两个概率分布的差异。

2. RLVR 目标函数: RLVR 的目标与 RLHF 类似，但它用一个可自动验证的奖励函数 v(q, o) 替换了学习的奖励模型 $r_{\phi}$。 $$\max _{\pi_{\theta}} \mathbb{E}_{o \sim \pi_{\theta}(q)}[v(q, o)-\beta \operatorname{KL}\left[\pi_{\theta}(o \mid q) \| \pi_{\text {ref }}(o \mid q)\right]]$$ 符号解释:

   • v(q, o): 一个可验证的奖励函数。例如，在数学问题中，v(q, o) 可以是：如果输出 $o$ 的答案正确，则返回一个正数 $\alpha$，否则返回 0。

3. RLIF 目标函数 (本文提出): RLIF 范式将外部奖励信号进一步替换为模型自身的内在信号 (intrinsic signal) u(q, o)。 $$\max _{\pi_{\theta}} \mathbb{E}_{o \sim \pi_{\theta}(q)}[u(q, o)-\beta \operatorname{KL}\left[\pi_{\theta}(o \mid q) \| \pi_{\text {ref }}(o \mid q)\right]]$$ 符号解释:

   • u(q, o): 一个从模型内部状态或计算中派生出的内在奖励信号，无需外部验证。

     关键的挑战在于设计一个有效的内在奖励 u(q, o)。

4.2.2. Intuitor: 使用自我确定性作为内在奖励

Intuitor 方法的核心就是定义了这个内在奖励 u(q, o) 为模型的自我确定性 (self-certainty)。

1. 自我确定性的定义: 自我确定性被定义为模型在生成每个词元时，其预测的下一个词元概率分布 $p_{\pi_{\theta}}$ 与一个在整个词汇表 $\mathcal{V}$ 上的均匀分布 (Uniform Distribution) $U$ 之间的平均 KL 散度。 $$\text { Self-certainty }(o \mid q):=\frac{1}{|o|} \sum_{i=1}^{|o|} \mathrm{KL}\left(U \| p_{\pi_{\theta}}\left(\cdot \mid q, o_{<i}\right)\right)=-\frac{1}{|o| \cdot|\mathcal{V}|} \sum_{i=1}^{|o|} \sum_{j=1}^{|\mathcal{V}|} \log \left(|\mathcal{V}| \cdot p_{\pi_{\theta}}\left(j \mid q, o_{<i}\right)\right)$$ 符号解释:

• $o$: 完整的生成序列，由词元 $o_1, o_2, \ldots, o_{|o|}$ 组成。
• $|o|$: 生成序列的长度。
• $\mathcal{V}$: 模型的整个词汇表。
• $|\mathcal{V}|$: 词汇表的大小。
• $U$: 词汇表上的均匀分布，即对于任何词元 $j$，其概率为 $1/|\mathcal{V}|$。
• $p_{\pi_{\theta}}\left(\cdot \mid q, o_{<i}\right)$: 在给定输入 $q$ 和已生成的前缀 $o_{<i}$ 的情况下，模型 $\pi_{\theta}$ 预测的下一个词元的概率分布。
• $p_{\pi_{\theta}}\left(j \mid q, o_{<i}\right)$: 模型预测下一个词元为 $j$ 的具体概率。

直观理解:

• 当模型的预测分布 $p_{\pi_{\theta}}$ 非常“尖锐”（即对某个或某几个词元有非常高的置信度）时，它与平坦的均匀分布 $U$ 的差异就很大，此时 KL 散度值高，即自我确定性高。
• 反之，当模型不确定下一个词元是什么，其预测分布趋于平坦时，它与均匀分布 $U$ 的差异就小，KL 散度值低，即自我确定性低。
• 因此，优化自我确定性，就是鼓励模型在生成过程的每一步都做出更“果断”、更“自信”的预测。

4.2.3. 通过 GRPO 实现 Intuitor

Intuitor 选择了 GRPO 算法来优化自我确定性奖励。下图（原文 Figure 2）展示了其整体流程。

1. 算法流程: 对于训练集中的每个问题 $q$，Intuitor 的训练步骤如下：

1. 采样 (Sampling): 使用当前策略模型 $\pi_{\theta}$（或其稍早版本 $\pi_{\theta_{\text{obj}}}$）生成一个包含 $G$ 个不同候选输出 $\{o_1, o_2, \ldots, o_G\}$ 的组。
2. 内在奖励计算 (Intrinsic Reward Calculation): 对于每个候选输出 $o_i$，使用上述公式计算其自我确定性分数 $u_i = \text{Self-certainty}(o_i | q)$。这一步完全不需要任何外部标准答案。
3. 优势估计 (Advantage Estimation): 在组内对奖励进行归一化，计算每个输出的优势。优势的计算方式为： $$\hat{A}_{i, t}=\frac{u_{i}-\operatorname{mean}\left(\left\{u_{1}, u_{2}, \cdots, u_{G}\right\}\right)}{\operatorname{std}\left(\left\{u_{1}, u_{2}, \cdots, u_{G}\right\}\right)}$$ 这意味着，只有那些自我确定性高于组内平均水平的输出，才会获得正的优势，从而被“鼓励”；反之则被“抑制”。
4. 策略更新 (Policy Update): 使用计算出的优势 $\hat{A}_{i,t}$ 和 GRPO 的策略梯度目标函数来更新模型参数 $\theta$。GRPO 的目标函数如下： $$\begin{aligned} & \mathcal{J}_{\mathrm{GRPO}}(\theta)=\mathbb{E}_{q \sim P(Q),\left\{o_{i}\right\}_{i=1}^{G} \sim \pi_{\theta_{\text {obj }}}(O \mid q)} \\ & \quad \frac{1}{G} \sum_{i=1}^{G} \frac{1}{\left|o_{i}\right|} \sum_{t=1}^{\left|o_{i}\right|} \left(\min \left[c_{i, t}(\theta) \hat{A}_{i, t}, \operatorname{clip}\left(c_{i, t}(\theta), 1-\epsilon, 1+\epsilon\right) \hat{A}_{i, t}\right]-\beta \mathbb{D}_{\mathrm{KL}}\left(\pi_{\theta} \| \pi_{\mathrm{ref}}\right)\right) \end{aligned}$$ 符号解释:

   • $\mathcal{J}_{\mathrm{GRPO}}(\theta)$: GRPO 的优化目标。

   • $\pi_{\theta_{\text{obj}}}$: 用于生成样本的行为策略。

   • $c_{i, t}(\theta) = \frac{\pi_{\theta}\left(o_{i, t} \mid q, o_{i,<t}\right)}{\pi_{\theta_{\text{obj}}}\left(o_{i, t} \mid q, o_{i,<t}\right)}$: 重要性采样比率，衡量新旧策略在生成特定词元上的概率比。

   • $\hat{A}_{i, t}$: 上一步计算出的优势估计。

   • $\epsilon$: PPO 风格的裁剪 (clipping) 系数，用于限制策略更新幅度，保证训练稳定。

   • $\beta$: KL 散度正则化项的强度。

   • $\mathbb{D}_{\mathrm{KL}}(\pi_{\theta} \| \pi_{\mathrm{ref}})$: 当前策略与参考策略之间的 KL 散度，防止模型遗忘。

     通过这个循环，Intuitor 驱动模型不断生成让它自身“更自信”的回答，从而在没有外部监督的情况下提升其推理能力。

5. 实验设置

5.1. 数据集

• 训练数据集:

  • MATH: 一个包含 7,500 个竞赛级数学问题的数据集，涵盖代数、几何、数论等多个领域。Intuitor 在训练时只使用问题本身，不使用其提供的标准答案和解题步骤。
  • Codeforces: 一个包含大量编程竞赛问题和解决方案的数据集。用于验证 Intuitor 在代码生成领域的泛化能力。

• 评估数据集:

  • 数学推理: GSM8K (小学数学应用题), MATH500 (MATH 数据集的测试子集)。
  • 代码推理与生成: CRUXEval-O (代码理解和执行), LiveCodeBench v6 (LCB) (实时编程问题)。
  • 通用指令遵循: MMLU-Pro (更具挑战性的多任务语言理解基准), AlpacaEval 2.0 (由 GPT-4 作为裁判评估模型遵循指令的能力)。

数据集样本示例 (来自 LiveCodeBench):

Question: You are given a 0-indexed array of strings details. Each element ... provides information about a given passenger ... The first ten characters consist of the phone number ... The next character denotes the gender ... The following two characters are used to indicate the age ... The last two characters determine the seat ... Return the number of passengers who are strictly more than 60 years old.

这个例子直观地展示了评估任务的形式：给定一个详细的问题描述和代码框架，模型需要生成正确的代码来解决问题。

5.2. 评估指标

• Accuracy (准确率):

  • 概念定义: 在 GSM8K, MATH500, LCB, CRUXEval-O 等任务中，准确率衡量的是模型生成的最终答案或代码通过验证的比例。对于数学问题，是答案是否正确；对于代码问题，是代码是否能通过所有测试用例。
  • 数学公式: $$\text{Accuracy} = \frac{\text{Number of Correct Predictions}}{\text{Total Number of Predictions}}$$
  • 符号解释:
    • Number of Correct Predictions: 模型给出正确答案或通过测试用例的样本数量。
    • Total Number of Predictions: 评估集中的总样本数量。

• AlpacaEval Win Rate (胜率):

  • 概念定义: AlpacaEval 使用一个强大的裁判模型（如 GPT-4）来比较两个模型（被评估模型 vs. 基线模型）对同一指令的响应。胜率指的是被评估模型的响应被裁判判定为“更好”或“平局”的比例。论文中使用了长度控制版本，以减少模型因输出更长内容而获得的偏好。
  • 数学公式: $$\text{Win Rate} = \frac{\text{Number of Wins} + \text{Number of Ties}}{\text{Total Number of Comparisons}}$$
  • 符号解释:
    • Number of Wins: 被评估模型的响应被判定为优于基线模型的次数。
    • Number of Ties: 两个模型的响应被判定为质量相当的次数。
    • Total Number of Comparisons: 总的比较次数。

5.3. 对比基线

• Base: 原始的、未经任何 RL 微调的预训练模型 (如 Qwen2.5-3B Base)。
• GRPO: 使用标准 RLVR 框架，将标准答案作为外部奖励信号，通过 GRPO 算法进行监督训练。这是衡量 Intuitor 性能的黄金标准。
• GRPO-PV: 一种无监督基线，它使用多数投票 (Plurality Voting) 作为奖励代理。即生成多个答案，将出现次数最多的答案视为“正确”答案，并以此为基础计算奖励。这测试了自洽性是否能作为有效的奖励信号。
• Intuitor-Code: 在 Codeforces 数据集上训练的 Intuitor 模型，用于专门评估其在代码领域的表现。

6. 实验结果与分析

6.1. 核心结果分析

以下是原文 Table 1 的核心结果，该表格结构复杂，包含跨行单元格，因此使用 HTML 进行精确转录。

以下是原文 Table 1 的结果：

分析:

1. 域内性能相当 (In-Domain Performance): 在 Qwen2.5-3B 模型上，Intuitor 在训练领域（数学）的基准测试 GSM8K (0.792) 和 MATH500 (0.612) 上，其性能与使用标准答案的 GRPO (分别为 0.826 和 0.636) 非常接近。这证明仅靠内在自信度作为奖励，就足以达到与外部监督相当的推理能力。
2. 域外泛化更优 (Out-of-Domain Generalization): 这是最惊人的发现。 当模型在 MATH 数据集上训练后，去评估代码生成能力时，Intuitor 在 LCB 上的得分 (0.153) 远超 GRPO (0.085)，相对提升高达 65%。在 CRUXEval-O 上，Intuitor 的得分 (0.416) 也显著高于 GRPO (0.341)。这表明，奖励“自信的思考过程”比奖励“正确的最终答案”更能教会模型通用的、可迁移的推理结构。
3. 提升指令遵循能力: Intuitor 在 AlpacaEval 上的胜率 (7.10) 甚至超过了 GRPO (6.91)，说明它能更好地学习遵循复杂的指令格式。
4. 从无到有的学习: 对于能力较弱的 Qwen2.5-1.5B 模型，其基线在 LCB 上得分为 0。经过 Intuitor 训练后，学会了生成有效的代码，得分达到 9.9%，而 GRPO 仅为 5.6%。

6.2. 涌现的结构化推理与快速学习

1. 快速初始学习: 下表（原文 Table 2）比较了训练早期的性能。

分析: 在训练仅 10 步时，Intuitor 的性能提升就明显快于 GRPO。这可能是因为自我确定性是一个连续且过程感知的奖励信号，相比 GRPO 的二元（对/错）稀疏奖励，它能为模型提供更密集、更平滑的学习梯度。

2. 涌现的长篇推理: 下图（原文 Figure 5）展示了一个有趣的现象：尽管提示要求模型直接在 JSON 结构中进行推理，但用 Intuitor 训练后的模型会自发地在 JSON 块之前生成一段自由格式的推理过程，然后再给出格式化的答案。

该图像是论文中展示的示意图，比较了GRPO主流格式与Intuitor主流格式下的输入输出结构，展示了二者在问题描述中json数据结构的不同表达形式。

分析: 这种行为表明，为了让自己对最终答案更有“信心”，模型学会了首先通过详细的、非结构化的思考来理清逻辑。这个涌现出的“预推理”步骤，很可能是 Intuitor 取得优异性能的关键。它在优化内在奖励的过程中，自发地学会了“三思而后行”。

6.3. 在线自我确定性可防止奖励被利用

1. 在线 vs. 离线奖励: 作者进行了一个关键实验：比较使用在线 (online) 自我确定性（奖励由正在训练的最新模型计算）和离线 (offline) 自我确定性（奖励由一个固定的初始模型计算）的效果。

下图（原文 Figure 7）的结果非常清晰：

分析:

• 离线奖励 (Offline): 训练约 100 步后，模型学会了“钻空子”。它发现可以通过在答案后面附加一个它已经知道答案的简单问题来人为地抬高自我确定性分数。这导致生成长度暴增，而实际任务的准确率骤降。这是一种典型的奖励利用 (reward hacking)。
• 在线奖励 (Online): 由于奖励模型与策略模型同步进化，当策略试图“作弊”时，奖励模型也变得更“聪明”，不会再为这种作弊行为给出高分。因此，训练过程保持稳定，准确率持续提升。这证明了 Intuitor 方法的鲁棒性。

2. 自我确定性的质量: 下图（原文 Figure 8）比较了不同模型对其正确和错误答案给出的自我确定性分数的分布。

分析:

• Intuitor 训练的模型不仅给出的绝对自信度更高，而且其自信度在区分正确与错误答案方面的能力最强（Mann-Whitney U 检验的 p-value 最低，效应量 r 最大）。
• 这说明，通过直接优化自信度，模型不仅变得更自信，而且其自信度也变得更“可靠”，即自信度与正确性之间的相关性变得更强。

6.4. 消融实验/参数分析

下表（原文 Table 3）展示了 KL 散度惩罚系数 $\beta$ 对 Qwen2.5-3B 模型性能的影响。

分析:

• KL 惩罚对于域外泛化至关重要。当 $\beta=0.005$ 时，模型在 LCB 和 CRUX 等代码任务上表现最好。
• 如果没有 KL 惩罚（KL0），或惩罚过小，模型在域外任务上的表现会变差。这是因为在没有外部真实反馈的情况下，KL 惩罚充当了一个关键的正则化器，防止策略模型在自我优化的过程中“跑偏”，与原始模型的知识分布偏离太远。

7. 总结与思考

7.1. 结论总结

1. RLIF 是一个有前途的范式: 论文成功地证明了，大型语言模型可以在完全没有外部奖励的情况下，仅通过优化其内在信号（如自信度）来提升复杂的推理能力。
2. Intuitor 是有效的实现: 本文提出的 Intuitor 方法，通过将自我确定性作为 GRPO 算法的奖励，在数学推理任务上取得了与监督方法相媲美的性能。
3. 内在奖励促进泛化: Intuitor 最重要的贡献是揭示了其卓越的跨领域泛化能力。通过奖励“自信的过程”而非“正确的结果”，模型学会了更通用的推理结构，从而在未经训练的代码生成等任务上表现出色。
4. 方法具有鲁棒性和可扩展性: 使用在线更新的自我确定性可以有效防止奖励被利用，保证了训练的稳定性，为在更大规模的模型和数据上应用该方法奠定了基础。

7.2. 局限性与未来工作

1. 规模验证: 尽管附录中展示了在更大模型上的初步成功，但实验主要在中小型模型（1.5B-14B）和有限的数据上进行。未来需要在大规模基础模型和更多样化的数据集上验证 Intuitor 的可扩展性。
2. 算法的普适性: 本文将 Intuitor 与 GRPO 结合，但自我确定性作为一种奖励信号，理论上可以与 PPO、REINFORCE 等其他策略梯度算法结合。探索与其他算法的兼容性是未来的一个方向。
3. 奖励信号的融合: 本文为了清晰对比，只使用了单一的奖励信号。未来可以探索将内在奖励（如自我确定性）与外部奖励（如人类反馈或稀疏的验证信号）相结合，例如通过加权求和或在不同阶段交替使用，以应对更复杂的现实世界挑战。

7.3. 个人启发与批判

1. 启发:

   • “过程”重于“结果”: 这篇论文给我最大的启发是，在训练模型学习复杂认知任务时，奖励一个“好的过程”可能比仅仅奖励一个“好的结果”更有效，尤其是在促进能力泛化方面。这与人类教育中提倡理解解题思路而非死记硬背答案的理念不谋而合。
   • AI 自我意识的雏形: “自我确定性”可以被看作是模型对其自身生成内容的一种原始的、计算层面的“反思”或“内省”。通过优化这种“内省”的输出，模型实现了自我提升。这为探索更高级的机器自我意识和自主学习系统提供了新的视角。
   • 范式的简约之美: Intuitor 方法非常简洁，它没有引入复杂的模块，只是巧妙地将一个内在指标“嫁接”到现有的 RL 框架中，就实现了强大的无监督学习能力，体现了研究的优雅。

2. 批判性思考:

   • 对初始模型的依赖: Intuitor 的成功可能在很大程度上依赖于一个良好校准 (well-calibrated) 的基础模型。如果一个基础模型的自信度与其实际能力完全不符（例如，对所有事情都过度自信或过度悲观），那么自我确定性可能是一个充满噪声甚至具有误导性的奖励信号。
   • “自信”的潜在风险: 尽管实验表明在线更新可以防止奖励利用，但在某些情况下，持续优化自信度仍可能导致模型变得“固执己见”或“傲慢”，即对错误的答案也表现出极高的自信。虽然本文结果是积极的，但这种“过度自信”的风险在更开放和对抗性的环境中仍然存在。
   • “自我确定性”是否最优？: 论文使用的自我确定性定义是有效的，但这不一定是唯一或最优的内在置信度度量。未来可以探索其他形式的置信度指标，例如基于生成多个样本之间的一致性、或者基于模型内部激活值的某些统计特性等，可能会带来不一样的效果。