1. 论文基本信息 (Bibliographic Information)

• 标题 (Title): Reinforcement Learning for Reasoning in Small LLMs: What Works and What Doesn't (强化学习在小型语言模型中的推理应用：哪些有效，哪些无效)
• 作者 (Authors):
  • Quy-Anh Dang: 隶属于越南河内国家大学自然科学大学 (VNU University of Science, Vietnam) 和新加坡 Knovel 工程实验室 (Knovel Engineering Lab, Singapore)。
  • Chris Ngo: 隶属于新加坡 Knovel 工程实验室 (Knovel Engineering Lab, Singapore)。
• 发表期刊/会议 (Journal/Conference): 本文目前发布在预印本网站 arXiv 上，尚未经过同行评审，也未在正式的学术会议或期刊上发表。arXiv 是物理学、数学、计算机科学等领域的常用预印本平台，研究者在此分享最新成果，以获得快速反馈。
• 发表年份 (Publication Year): 2025 (根据 arXiv 编号推断，实际提交时间可能在2024年底或2025年初)
• 摘要 (Abstract): 提升大型语言模型 (LLM) 的推理能力通常需要巨大的计算资源和数据集，这限制了在资源受限环境下的应用。本研究探讨了利用强化学习 (RL) 提高小型 LLM 推理能力的潜力，重点研究一个 15 亿参数的模型 DeepSeek-R1-Distill-Qwen-1.5B。实验在严格的约束下进行：使用 4 个 NVIDIA A40 GPU（每个 48GB VRAM），并在 24 小时内完成训练。通过调整组相对策略优化 (GRPO) 算法和构建一个紧凑、高质量的数学推理数据集，我们进行了三个实验来探索模型的行为和性能。结果显示，模型推理能力迅速提升——例如，AMC23 准确率从 63% 升至 80%，AIME24 达到 46.7%，超过了 o1-preview——而这仅仅使用了 7000 个样本和 42 美元的训练成本，远低于基线模型数千美元的成本。然而，在长时间训练中也出现了优化不稳定和长度限制等挑战。这些发现凸显了基于 RL 的微调对小型 LLM 的有效性，为大规模方法提供了一种经济高效的替代方案。我们开源了代码和数据集，为资源有限环境下开发可扩展、具备推理能力的 LLM 提供了见解、权衡分析和基础。
• 原文链接 (Source Link):
  • 官方链接: https://arxiv.org/abs/2503.16219
  • PDF 链接: https://arxiv.org/pdf/2503.16219v1.pdf
  • 发布状态: 预印本 (Pre-print)

2. 整体概括 (Executive Summary)

• 研究背景与动机 (Background & Motivation - Why):

  • 核心问题: 当前，提升语言模型（如 GPT-4o）的推理能力，通常依赖于海量的模型参数、庞大的数据集和极高的计算资源。这种“大力出奇迹”的模式使得只有少数科技巨头能够负担得起，阻碍了先进人工智能技术的普及和在资源受限场景（如个人研究者、中小型企业）的应用。
  • 现有挑战与空白 (Gap): 虽然小型语言模型 (Small LLMs, 参数量在10亿到100亿之间) 因其资源友好而备受关注，但如何经济高效地提升它们的复杂推理能力，仍然是一个悬而未决的难题。现有的小模型微调方法要么依赖大规模数据集，要么计算成本依然高昂，违背了使用小模型的初衷。
  • 创新切入点: 本文提出一个核心问题：我们能否在极其严格的资源限制（少量 GPU、短时间、低成本）下，利用强化学习 (RL) 技术显著提升小型 LLM 的数学推理能力？作者试图验证一种“小成本、大收益”的路径是否可行，并探索其中的具体挑战和解决方案。

• 核心贡献/主要发现 (Main Contribution/Findings - What):

  • 1. 验证了 RL 在小模型推理上的高效率： 本文最核心的贡献是实验证明，通过精心设计的数据和 RL 算法，一个 15 亿参数的小模型可以在极低的成本（约 42 美元）和极少的数据（7000 个样本）下，实现强大的数学推理能力。其在 AIME24 等高难度数学竞赛基准上的表现甚至超越了像 o1-preview 这样的业界顶尖模型。
  • 2. 提供了实用方法论和实践洞察： 论文不仅证明了可行性，还总结了“什么有效，什么无效”。通过三个对比实验，揭示了高质量数据、难易问题混合、以及特定奖励函数（如 cosine reward）在训练过程中的具体作用和挑战（如训练不稳定、输出长度受限等），为后来者提供了宝贵的实践经验。
  • 3. 开源了全套工具和资源： 作者开源了他们的代码、数据集和训练配置，极大地降低了社区复现和跟进研究的门槛。这推动了 AI 技术的民主化，使更多人能参与到开发轻量级、强推理能力的模型中。

3. 预备知识与相关工作 (Prerequisite Knowledge & Related Work)

• 基础概念 (Foundational Concepts):

  • 大型语言模型 (Large Language Models, LLMs): 这是一类基于深度学习，特别是 Transformer 架构的神经网络模型。它们通过在海量文本数据上进行“预训练”，学会了语言的规律、事实知识乃至一定的推理能力。用户可以通过输入提示 (Prompt) 与其交互，让其完成文本生成、摘要、翻译等任务。
  • 小型语言模型 (Small LLMs): 相对于 GPT-3 (1750亿参数) 或 Llama-3 (700亿参数) 等巨型模型，小型 LLM 的参数量通常在 10 亿到 100 亿之间。它们对硬件要求更低，更容易在本地设备或普通服务器上部署和微调。
  • 推理 (Reasoning): 在 LLM 领域，推理特指模型解决需要逻辑、规划和多步思考的复杂问题的能力，而不仅仅是回忆事实。数学问题、代码生成和科学分析都是典型的推理任务。
  • 监督微调 (Supervised Fine-Tuning, SFT): 这是一种在预训练好的 LLM 基础上，使用一组高质量的“问题-答案”对进行进一步训练的方法。其目标是让模型学会遵循特定的指令或模仿某种期望的输出格式。
  • 强化学习 (Reinforcement Learning, RL): 这是一种机器学习范式。其中，一个智能体 (Agent，这里指 LLM) 在一个环境 (Environment) 中通过采取行动 (Action，生成文本) 来获得奖励 (Reward)。RL 的目标是学习一个策略 (Policy)，以最大化累积奖励。在 LLM 训练中，RL 常用于对齐模型行为，使其生成更有用、更准确或更安全的回答。
  • 思维链 (Chain-of-Thought, CoT): 这是一种引导 LLM 进行推理的提示技术。通过在提示中展示一步步解决问题的过程，可以激发模型在回答时也生成类似的、详细的推理步骤，从而提高复杂问题的正确率。
  • 组相对策略优化 (Group Relative Policy Optimization, GRPO): 这是一种为 LLM 优化的 RL 算法。与传统的 RL 算法（如 PPO）需要一个独立的“评论家”模型 (Critic Model) 来评估生成内容的价值不同，GRPO 通过在同一批次内生成多个候选答案，并比较这些答案的奖励得分，来计算“优势” (Advantage)，从而指导策略更新。这种方法省去了评论家模型，大大降低了训练所需的显存和计算量，非常适合资源受限的场景。

• 前人工作 (Previous Works):

  • 提示工程 (Prompting): 早期工作通过设计巧妙的提示来引导 LLM 推理，如 scratchpad (让模型打草稿) 和 CoT (展示解题步骤)。这些方法不改变模型本身，但效果有限。
  • 监督微调 (SFT): 一些研究通过在包含推理过程的数据集上进行 SFT，将推理能力“注入”模型。但这主要集中在大型模型上，且模型可能只是“记忆”解题模式而非真正学会泛化。
  • 基于 RL 的推理增强: 近期，如 OpenAI 的 $o1$ 系列和 DeepSeek-R1 模型，都展示了 RL 在提升推理能力上的巨大潜力。它们通过 RL 让模型从反馈中学习，优化解题过程。然而，这些工作共同的特点是：模型规模巨大（如 DeepSeek-R1 基于 670 亿参数模型）、计算资源消耗惊人、且方法细节不公开，使得普通研究者难以借鉴和复现。

• 技术演进 (Technological Evolution): LLM 的发展经历了从单纯追求模型规模的“预训练”阶段，到更注重模型能力对齐和增强的“后训练” (Post-training) 阶段。后训练主要包括 SFT 和 RL。本文的工作正处在后训练技术从大模型向小模型下沉、从高成本向低成本探索的关键节点上。它试图证明，RL 这种曾经被认为是“奢侈品”的训练技术，同样可以在资源受限的条件下为小模型赋能。

• 差异化分析 (Differentiation): 与之前的工作相比，本文的核心差异在于其目标和约束的独特性：

  • 模型规模: 明确聚焦于 15 亿参数的小模型，而非 70 亿以上的主流模型。
  • 资源限制: 设定了极为苛刻的硬件 (4x A40 GPU)、时间 (24 小时) 和成本 (约 42 美元) 限制。
  • 方法路径: 探索了一条绕过 SFT，直接在预训练模型上应用高效 RL 算法 (GRPO) 的精简路径。
  • 目标导向: 旨在为资源受限的社区提供一套可行的、开源的、经济的小模型推理能力提升方案，而非仅仅追求在排行榜上刷新最高分。

4. 方法论 (Methodology - Core Technology & Implementation Details)

本文的方法论可以拆解为两大核心支柱：高质量数据集的构建和高效的强化学习算法应用。

• 方法原理 (Methodology Principles): 核心思想是“精耕细作”而非“大水漫灌”。作者认为，在资源有限的情况下，与其使用海量但质量参差不齐的数据，不如精心筛选出一个小规模、高质量、难度适中的数据集。同时，在算法层面，选择一种计算开销极低的 RL 算法 (GRPO)，并设计简单有效的奖励函数，从而在有限的算力下实现最大化的性能提升。

• 方法步骤与流程 (Steps & Procedures):

  第一步：策划高质量数学推理数据集 为了用最少的数据达到最好的效果，作者没有从零创建数据集，而是对两个现有的高质量推理数据集进行了“精炼”：

  1. 处理 $s1$ 数据集:

     • 来源: $s1$ 是一个通用的推理数据集，包含数学、物理、化学等多个领域的问题。
     • 过滤流程: a. 保留数学题: 只保留答案中包含 LaTeX 命令 $\boxed{}$ (通常用于标记最终数学答案) 的样本，将数据集从约 5.9 万条缩减至 3.1 万条。 b. 剔除简单题: 使用本文的基座模型 DeepSeek-R1-Distill-Qwen-1.5B 对问题进行求解，如果模型能轻易解决，则认为该问题“过于简单”，予以剔除，剩下 2.1 万条。 c. 去除噪声: 使用一个更强的模型 Qwen2.5-7B-Instruct 来识别并移除包含噪声或由多个子问题构成的复杂问题，最终得到 18,615 条高质量数学题，命名为 open-s1 数据集。

  2. 处理 DeepScaleR 数据集:

     • 来源: DeepScaleR 是一个已经预处理好的数学专用数据集。
     • 过滤流程: a. 剔除简单题: 为了引入多样性，这次使用 Qwen2.e-Math-7B-Instruct (一个数学能力更强的模型) 来剔除简单题，最终得到 21,044 条样本，命名为 open-deepscaler 数据集。

  3. 最终数据集: 将 open-s1 和 open-deepscaler 合并，得到一个包含 39,659 条高质量数学问题的最终训练集。

  第二步：应用强化学习算法 (GRPO) 作者选择 GRPO 算法对 1.5B 的小模型进行训练。

  1. 算法选择: GRPO 的最大优势是不需要独立的评论家模型，显著降低了计算开销。
  2. 训练流程: 对数据集中的每个问题 $q$，GRPO 会让当前策略模型 $\pi_{\theta_{\text{old}}}$ 生成一个小组 (Group) 的 $G$ 个不同答案 $\{o_1, o_2, \ldots, o_G\}$。然后，根据每个答案的奖励得分，计算一个归一化的优势 $A_i$，并用这个优势来更新策略模型 $\pi_{\theta}$，使其倾向于生成更高奖励的答案。
  3. 奖励模型设计: 作者没有使用复杂的神经网络作为奖励模型，而是设计了一套基于规则 (Rule-based) 的奖励系统，既高效又直接：
     • 准确率奖励 (Accuracy Reward): 如果模型生成的最终答案（在 $\boxed{}$ 内）是正确的，奖励为 1，否则为 0。这是一个简单、客观的二元奖励。
     • 格式奖励 (Format Reward): 为了鼓励模型生成结构化的思考过程，如果模型的输出包含了 $<think>$ 和 $</think>$ 标签，就给予一个正分奖励。
     • 余弦奖励 (Cosine Reward): 这是对准确率奖励的改进。它将准确率奖励与一个基于输出长度的余弦函数相结合。对于正确的答案，越短的解法奖励越高；对于错误的答案，越长的解法惩罚越轻。这旨在激励模型在保证正确的前提下，给出更简洁的推理过程。

• 数学公式与关键细节 (Mathematical Formulas & Key Details):

  • GRPO 目标函数: GRPO 的优化目标是最大化以下函数 $\mathcal{T}_{\mathrm{GRPO}}(\theta)$: $$\begin{array}{rl} \mathcal{T}_{\mathrm{GRPO}}(\theta) = \mathbb{E}_{[q \sim P(Q), \{o_i\}_{i=1}^G \sim \pi_{\theta_{\mathrm{old}}}(O|q)]} \\ \frac{1}{G} \sum_{i=1}^G \left( \min \left( \frac{\pi_{\theta}(o_i|q)}{\pi_{\theta_{\mathrm{old}}}(o_i|q)} A_i, \mathrm{clip} \left( \frac{\pi_{\theta}(o_i|q)}{\pi_{\theta_{\mathrm{old}}}(o_i|q)}, 1-\epsilon, 1+\epsilon \right) A_i \right) - \beta \mathbb{D}_{\mathrm{KL}}(\pi_{\theta} || \pi_{\mathrm{ref}}) \right) \end{array}$$

    • 符号解释:
      • $\pi_{\theta}$: 当前正在优化的策略模型。
      • $\pi_{\theta_{\mathrm{old}}}$: 用于生成数据的老策略模型。
      • $\pi_{\mathrm{ref}}$: 一个参考策略模型（通常是预训练模型），用于防止新模型偏离太远。
      • $A_i$: 第 $i$ 个答案的优势值 (Advantage)，衡量该答案比同组平均水平好多少。
      • $\epsilon$: 裁剪超参数，用于限制策略更新的步长，防止更新过大导致训练不稳定。
      • $\beta$: KL 散度惩罚项的权重，用于控制新策略与参考策略之间的差异。
      • $\mathbb{D}_{\mathrm{KL}}(\pi_{\theta} || \pi_{\mathrm{ref}})$: 新策略与参考策略之间的 KL 散度，一个衡量两个概率分布差异的指标。

  • 优势函数 (Advantage Function): 优势值 $A_i$ 的计算方式是 GRPO 的特色，它基于组内分数的标准化： $$A_i = \frac{r_i - \mathrm{mean}(\{r_1, r_2, \ldots, r_G\})}{\mathrm{std}(\{r_1, r_2, \ldots, r_G\})}$$

    • 符号解释:
      • $r_i$: 第 $i$ 个答案的奖励得分。
      • $\mathrm{mean}(\cdot)$: 计算一组奖励的平均值。
      • $\mathrm{std}(\cdot)$: 计算一组奖励的标准差。
      • 这个公式意味着，如果一个答案的奖励高于组内平均水平，它的优势就是正的；反之则为负。标准差用于缩放优势值，使其保持在稳定范围内。

5. 实验设置 (Experimental Setup)

• 数据集 (Datasets): 实验评估使用了五个公认的数学推理基准数据集：

  • AIME24: 2024 年美国数学邀请赛的 30 道题，难度高，考验高中顶尖水平的推理能力。
  • AMC23: 2023 年美国数学竞赛的 40 道题，考验基础数学技能。
  • MATH-500: 从 MATH 基准中抽取的 500 道题，涵盖代数、微积分、几何等多个领域。
  • Minerva: 一个包含科学和数学领域定量推理问题的基准。
  • OlympiadBench: 奥林匹克竞赛级别的双语多模态科学问题基准，难度极高。 选择这些数据集是因为它们覆盖了从基础到竞赛级的不同难度，能够全面评估模型的数学推理能力。

• 评估指标 (Evaluation Metrics):

  • 零样本 Pass@1 (Zero-shot pass@1):
    1. 概念定义 (Conceptual Definition): pass@k 是衡量代码生成或数学解题任务常用的一项指标。pass@1 特指模型在第一次尝试（即只生成一个答案）时就成功解决问题的概率。Zero-shot 表示在评估时，不给模型任何解题示例 (few-shot examples)，完全依赖模型自身的内在能力进行推理。因此，Zero-shot pass@1 是一个非常严格的指标，它衡量的是模型独立、一次性解决问题的核心推理能力。
    2. 数学公式 (Mathematical Formula): 对于一个包含 $N$ 个问题的测试集，如果模型成功解决了其中的 $N_c$ 个问题，则： $\text{pass}@1 = \frac{N_c}{N}$
    3. 符号解释 (Symbol Explanation):
       • $N$: 测试集中的问题总数。
       • $N_c$: 模型在第一次尝试中就正确解答的问题数量。
       • 该指标的取值范围为 0 到 1（或 0% 到 100%），值越高代表模型性能越强。

• 对比基线 (Baselines): 为了证明方法的有效性，作者将自己的模型与一系列具有代表性的模型进行了比较，涵盖不同规模和训练方法：

  • 通用大模型: Llama-3.1-70B-Instruct (Meta 的顶级模型), o1-preview (OpenAI 的前沿推理模型)。
  • 7B (70亿) 参数模型:
    • Qwen-2.5-Math-7B-Instruct: 专门为数学优化的模型。
    • rStar-Math-7B, Eurus-2-7B-PRIME, Qwen2.5-7B-SimpleRL: 其他通过不同方法增强推理能力的 7B 模型。
  • 1.5B (15亿) 参数模型:
    • DeepSeek-R1-Distill-Qwen-1.5B: 本文使用的基座模型（未经训练）。
    • Still-3-1.5B-Preview, DeepScaleR-1.5B-Preview: 其他研究者使用不同方法训练的同尺寸小模型。

6. 实验结果与分析 (Results & Analysis)

作者设计了三个循序渐进的实验，以探索在资源限制下，不同训练策略对小模型推理能力的影响。

• 核心结果分析 (Core Results Analysis):

  实验 1: 仅使用高质量数据的效果

  • 设置: 使用 open-s1 数据集（18,615 个难题）进行训练，奖励函数为“准确率奖励 + 格式奖励”。

  • 结果:

    • 初期快速提升: 在训练开始的 50-100 个全局步骤内，模型性能显著提升，如 AMC23 准确率从 63% 升至 70%（见图 2 左）。
    • 后期性能崩溃: 训练超过 200 步后，性能急剧下降，甚至低于基线。同时，模型开始生成乱码和非英语内容。
    • 长度问题: 模型生成的答案长度在初期下降后又急剧增加，经常超过 4096 tokens 的限制，导致推理过程被截断（见图 3 右）。

  • Insight 1 (洞察 1):

    小模型使用少量高质量数据确实能快速提升推理能力，但如果数据全是难题，在严格的长度限制下，长时间训练会导致模型“走火入魔”，性能反而下降。

    该图像是图表，展示了模型在AMC-2023和MATH-500数据集上的性能随训练步数变化情况。左图显示AMC-2023准确率波动较大，红色虚线为训练初始基线；右图展示MATH-500准确率普遍高于基线但在后期有所下降。

    

    实验 2: 平衡难易问题的效果

  • 设置: 为了解决实验 1 的问题，作者构建了一个混合数据集（共 7000 样本），包含难题和一些相对简单的题。同时将最大长度限制缩减到 3584 tokens。

  • 结果:

    • 性能峰值更高: 模型性能再次快速提升，且峰值远高于实验 1。AMC23 准确率飙升至 80%，MATH-500 达到 85%（见图 2 橙色线）。
    • 不稳定性依旧: 尽管初期效果更好，但在 150-200 步后，性能仍然开始下降，KL 散度变得不稳定，并再次出现多语言乱码问题（见图 4）。

  • Insight 2 (洞察 2):

    在数据中混入简单问题，有助于稳定训练初期的行为，引导模型学习更简洁的推理路径，从而达到更高的性能。但这并未完全解决长期训练的不稳定性问题。

    

    实验 3: 使用余弦奖励控制长度

  • 设置: 使用与实验 2 相同的混合数据集，但将“准确率奖励”替换为“余弦奖励”，以更精细地控制输出长度。同时在系统提示中加入“只用英语回答”的指令。

  • 结果:

    • 长度得到有效控制: 模型输出的长度变得更加稳定，在 1000-3500 tokens 之间波动，避免了实验 1 和 2 中的长度失控问题（见图 5 右）。
    • 性能更稳定但峰值较低: 模型性能有稳定提升，但峰值不如实验 2 那么亮眼 (AMC23 升至 72.5%)。多语言问题依然存在。

  • Insight 3 (洞察 3):

    余弦奖励是稳定输出长度、提升训练一致性的有效手段。但它可能以牺牲一部分峰值性能为代价。对于多语言基座模型，简单的提示指令不足以完全约束其输出语言。

    

    总体性能与成本比较 作者从三个实验中分别挑选了性能最佳的检查点（Open-RS1, Open-RS2, Open-RS3），并与基线模型进行全面对比。

  • 性能对比 (Table 1): 以下是论文中 Table 1 的转录数据：

    Model	AIME24	MATH-500	AMC23	Minerva	OlympiadBench	Avg.
    General Models
    Llama-3.1-70B-Instruct	16.7	64.6	30.1	35.3	31.9	35.7
    o1-preview	44.6	85.5
    7B Models
    Qwen-2.5-Math-7B-Instruct	13.3	79.8	50.6	34.6	40.7	43.8
    rStar-Math-7B	26.7	78.4	47.5		47.1	−
    Eurus-2-7B-PRIME	26.7	79.2	57.8	38.6	42.1	48.9
    Qwen2.5-7B-SimpleRL	26.7	82.4	62.5	39.7	43.3	50.9
    1.5B Models
    DeepSeek-R1-Distill-Qwen-1.5B	28.8	82.8	62.9	26.5	43.3	48.9
    Still-3-1.5B-Preview	32.5	84.4	66.7	29.0	45.4	51.6
    DeepScaleR-1.5B-Preview	43.1	87.8	73.6	30.2	50.0	57.0
    Our Models
    Open-RS1 (100 steps)	30.0	83.8	70.0	29.0	52.4	53.0
    Open-RS2 (50 steps)	30.0	85.4	80.0	30.5	52.4	55.7
    Open-RS3 (50 steps)	46.7	84.4	72.5	26.8	51.3	56.3

    分析:

    • Open-RS3 在最难的 AIME24 基准上取得了 46.7% 的惊人成绩，超过了 o1-preview (44.6%) 和所有其他模型。
    • Open-RS2 在 AMC23 上取得了 80.0% 的最高分，远超其他模型。
    • Open-RS 系列模型的平均分（53.0% - 56.3%）与最强的 1.5B 基线 DeepScaleR-1.5B-Preview (57.0%) 非常接近，但成本完全不在一个数量级。

  • 成本与效率对比 (Figure 1, Table 2, Table 3):

    该图像是图表，展示了零样本通过率（Pass@1）与模型规模及训练成本的对比。左图显示Open-RS模型在AIME24数据集上以46.7%的准确率超过其他模型；右图则展示其训练成本仅约42美元，显著低于其他模型。

    • 成本: 如图 1 右侧所示，Open-RS 的训练成本仅为 42 美元。相比之下，其他模型的成本动辄上千美元，如 DeepScaleR-1.5B 成本高达 3629 美元。

    • 数据效率: Open-RS 仅使用了 7k × 6 = 4.2 万个（样本数×每步生成数）训练数据点，而 DeepScaleR 使用了 40k × 16 = 64 万个数据点。

      以下是 Table 2 和 Table 3 的转录数据： Table 2: 7B 模型训练成本对比

    	rStar-Math-7B	Eurus-2-7B-PRIME	Qwen2.5-7B-SimpleRL	Open-RS
    SFT Data	7.3M	230k	0	0
    RL Data	3.647M × 16	150k × 4	8k × 8	7k × 6
    Hardware & Time	10x 8 H100, 15x 4 A100	1x 8 A100 80GB, 72h	4x 6 A100 80GB, 36h	1x 4 A40 48GB, 24h
    Cost Est.	N/A (非常高)	\$1088	\$1633	\$42

    Table 3: 1.5B 模型训练成本对比

    	DeepScaleR-1.5B-Preview	Still-3-1.5B-Preview	Open-RS
    Base Model	DeepSeek-R1-Distill-Qwen-1.5B	DeepSeek-R1-Distill-Qwen-1.5B	DeepSeek-R1-Distill-Qwen-1.5B
    SFT Data	0	0	0
    RL Data	40k × 16	30k × 8	7k × 6
    Hardware & Time	8x A100 80GB, 240h	1x 8 A100 80GB, 150h	1x 4 A40 48GB, 24h
    Cost Est.	\$3629	\$2268	\$42

• 消融实验/参数分析 (Ablation Studies / Parameter Analysis): 本文没有设置单独的消融实验章节，但三个实验本身构成了一个递进式的对比分析：

  • 实验 2 vs 实验 1: 验证了数据集构成的重要性。加入简单问题显著提升了性能，说明了“课程学习”思想的有效性。
  • 实验 3 vs 实验 2: 验证了奖励函数的作用。将准确率奖励换成余弦奖励，成功稳定了输出长度，证明了通过奖励函数来控制生成行为的可行性。 这些对比清晰地展示了不同策略选择对训练动态和最终性能的影响，起到了类似消融研究的作用。

7. 总结与思考 (Conclusion & Personal Thoughts)

• 结论总结 (Conclusion Summary): 本研究成功证明，在极其严格的资源限制下，利用强化学习（特别是 GRPO 算法）和精心策划的小型高质量数据集，可以显著提升 15 亿参数小模型的数学推理能力。其成果在部分高难度基准上甚至超越了业界顶尖的大模型，而训练成本仅为 42 美元，展示了极高的性价比和数据效率。尽管在长期训练中面临优化不稳定和长度限制等挑战，但这项工作为开发轻量级、强推理能力的 LLM 提供了一条经济可行的路径，并开源了全部资源以促进社区发展。

• 局限性与未来工作 (Limitations & Future Work): 论文作者在附录中坦诚地指出了研究的局限性，并提出了未来的方向：

  • 局限性:
    1. 训练时间不足: 24 小时的训练限制使得模型无法完成对整个数据集的完整训练（一轮都跑不完），长期训练行为未能充分探索。
    2. 长度限制过严: 4096 tokens 的最大长度对于解决某些超级难题来说仍然不够，可能限制了模型的潜力。
    3. 多语言干扰: 基座模型 DeepSeek-R1-Distill-Qwen-1.5B 的多语言背景导致训练后期出现语言漂移，简单的提示指令无法根治。
    4. 领域单一: 评估仅限于数学推理，方法在其他推理领域（如代码、科学）的泛化能力未知。
  • 未来工作:
    1. 延长训练和长度: 增加训练时间，或采用多阶段的长度规划（先短后长），以解决稳定性和难题截断问题。
    2. 解决语言漂移: 引入轻量级的语言奖励函数，或对基座模型进行单语预过滤。
    3. 扩展评估领域: 在更多非数学的推理基准上测试方法的泛化性。
    4. 混合方法探索: 尝试将 GRPO 与蒙特卡洛树搜索 (MCTS) 等搜索算法结合，进一步深化模型的推理能力。

• 个人启发与批判 (Personal Insights & Critique):

  • 启发:
    1. AI 民主化的典范: 这篇论文的价值不仅在于技术本身，更在于其展现的“四两拨千斤”的哲学。它给广大资源有限的研究者和开发者带来了希望：通过巧妙的设计，小模型也能实现惊人的性能。这对于推动 AI 在更多实际场景落地具有重要意义。
    2. 数据质量>数量: 再次印证了在模型训练中“数据质量远比数量重要”的原则。精细的数据筛选和策展是成功的关键。
    3. 实用主义的胜利: 论文中对 GRPO 算法的选择、对规则奖励函数的设计，都体现了强烈的实用主义和工程智慧。它提供了一套可以直接上手操作的“配方”，而非停留在理论层面。
  • 批判性思考:

    1. 训练不稳定的根源: 论文观察到了训练后期的不稳定性，但对其根本原因的分析还不够深入。这究竟是 GRPO 算法在高难度任务上的固有缺陷，还是小模型本身容量不足以稳定消化复杂知识的表现？这值得进一步探究。

    2. 性能的偶然性: 由于训练在达到性能峰值后很快就开始下降，最佳检查点的选择带有一些“偶然性”。这表明当前的方法还不够鲁棒，可能需要更先进的正则化技术或优化策略来保证训练的平稳收敛。

    3. 通用性存疑: 尽管在数学上表现出色，但这种高度特化的训练方法能否迁移到更广泛的常识推理或创意写作任务上，仍然是一个问号。对数学 $\boxed{}$ 格式的强依赖也限制了其直接应用范围。

       总而言之，这是一篇非常扎实、坦诚且极具实践价值的工程性研究报告。它不仅取得了令人印象深刻的结果，更重要的是，它为整个社区指明了一条在“后大模型时代”如何利用有限资源进行创新探索的光明道路。