论文基本信息 (Bibliographic Information)

• 标题 (Title): Dynamic Cheatsheet: Test-Time Learning with Adaptive Memory (动态备忘录：基于自适应记忆的测试时学习)
• 作者 (Authors): Mirac Suzgun, Mert Yuksekgonul, Federico Bianchi, Dan Jurafsky, James Zou
• 发表期刊/会议 (Journal/Conference): 预印本，发布于 arXiv
• 发表年份 (Publication Year): 2025
• 摘要 (Abstract): 尽管当前的大语言模型 (Large Language Models, LLMs) 在复杂任务中表现出色，但它们通常在“真空”中运行：每个输入查询都独立处理，不保留之前尝试的经验。本文提出了 Dynamic Cheatsheet (DC)（动态备忘录），一个轻量级框架，为黑盒 (black-box) LLM 赋予了一个持久的 (persistent)、演进的 (evolving) 记忆。DC 使模型能够在推理时 (inference time) 存储和重用积累的策略、代码片段和通用的问题解决洞察，而不是重复地重新发现或重蹈覆辙。这种测试时学习 (test-time learning) 在一系列任务中显著提升了性能，且无需显式真实标签或人类反馈。例如，借助 DC，Claude 3.5 Sonnet 在 AIME 数学考试中的准确率翻倍，因为它开始在不同问题中保留代数洞察。类似地，GPT-4o 在 Game of 24 游戏中的成功率从 10% 提高到 99%，因为它发现并重用了一个基于 Python 的解决方案。在容易出现算术错误的任务中，如平衡方程，DC 使 GPT-4o 和 Claude 通过回忆之前验证的代码达到了近乎完美的准确率，而它们的基线模型停滞在 50% 左右。除了算术挑战，DC 在知识密集型任务中也取得了显著的准确率提升。Claude 在 GPQA-Diamond 中实现了 9% 的提升，在 MMLU-Pro 问题中实现了 8% 的提升。关键在于，DC 的记忆是自策展的，侧重于简洁、可迁移的片段而非完整的对话记录。与微调 (finetuning) 或静态检索 (static retrieval) 方法不同，DC 在不修改底层参数的情况下，动态调整 LLM 的问题解决能力。总的来说，本文的研究结果表明，DC 是一个通过赋予 LLM 持久记忆来弥合孤立推理事件与人类认知中累积的、经验驱动学习之间鸿沟的有前景的方法。
• 原文链接 (Source Link): https://arxiv.org/abs/2504.07952
• PDF 链接 (PDF Link): https://arxiv.org/pdf/2504.07952v1.pdf
• 发布状态 (Publication Status): 预印本 (preprint)

整体概括 (Executive Summary)

研究背景与动机 (Background & Motivation - Why)

当前的大语言模型 (LLM) 尽管在处理复杂任务方面展现了惊人的能力，但它们在推理时存在一个核心限制：每次处理输入查询时，它们都像从头开始一样，无法有效保留和利用从先前尝试中获得的洞察、经验或纠正过的错误。这种“信息孤岛”式的操作模式导致模型不断重复发现相同的解决方案，也可能反复犯下相同的错误，极大地限制了其在面对序列化、相关性强任务时的效率和性能。相比之下，人类认知是一个持续学习和迭代优化的过程，能够将新经验和解决方案融入持久的心智模型中。

本文的动机正是为了弥补这一差距，使 LLM 能够在推理时也能实现持续的、经验驱动的学习，从而提升其解决问题的能力并减少重复性错误。

核心贡献/主要发现 (Main Contribution/Findings - What)

本文提出了 Dynamic Cheatsheet (DC)（动态备忘录）框架，其核心贡献和主要发现包括：

• 赋予黑盒 LLM 持久、演进的记忆能力： DC 是一个轻量级、非参数化的框架，能够在推理时为黑盒 (black-box) LLM 提供一个持久的 (persistent)、自适应演进 (adaptive evolving) 的外部记忆，而无需修改模型的底层参数或进行微调 (fine-tuning)。这使得 DC 兼容现有的商业 LLM API，如 GPT-4o 和 Claude。

• 动态策展和重用策略、代码与洞察： DC 的记忆并非简单地存储完整的历史记录，而是自策展 (self-curated) 的。它能够识别、存储和重用简洁、有用且可迁移的策略 (strategies)、代码片段 (code snippets) 和通用的问题解决洞察 (insights)，从而避免了上下文长度过长和信息冗余的问题。

• 显著提升复杂任务性能：

  • 在数学推理任务中，如 AIME 数学考试，Claude 3.5 Sonnet 在应用 DC 后准确率翻倍，因为它能够保留代数和组合学洞察。
  • 在算法性任务中，如 Game of 24（24点游戏）和数学方程平衡器，GPT-4o 和 Claude 的成功率从基线的 10-50% 飙升至 99-100%。这得益于模型发现了并重用了高效的 Python 暴力破解解决方案。
  • 在知识密集型任务中，如 GPQA-Diamond 和 MMLU-Pro（工程和物理），Claude 也实现了 8-9% 的显著准确率提升，因为它能够暂时存储和检索关于工程和物理原理的“参考指南”。

• 优于基线方法： DC 在性能上显著优于基线提示 (Baseline Prompting, BL)、空记忆 DC (DCØ)、完全历史附加 (Full-History Appending, FH) 和动态检索 (Dynamic Retrieval, DR) 等方法，尤其证明了记忆策展的重要性。DC 的主动知识提炼机制比简单地附加完整历史或进行静态检索更为有效。

• 促进高效工具使用： DC 促使 LLM 倾向于使用代码生成和外部工具来处理计算密集型任务，显著提高了解决问题的效率和准确性。

  总而言之，DC 提供了一种实用且有效的方法，使 LLM 能够进行持续的测试时学习，从而在孤立推理事件和类人累积经验学习之间架起了一座桥梁。

预备知识与相关工作 (Prerequisite Knowledge & Related Work)

理解 Dynamic Cheatsheet (DC) 框架需要对大语言模型 (LLM) 的基本操作、推理方式以及现有的几种增强 LLM 能力的技术有所了解。本节将从基础概念、前人工作及技术演进等方面进行阐述，并明确 DC 的差异化创新点。

基础概念 (Foundational Concepts)

1. 大语言模型 (Large Language Models, LLMs):

   • 概念定义： LLM 是一种基于深度学习的人工智能 (Artificial Intelligence, AI) 模型，通常拥有数亿到数千亿甚至更多参数 (parameters)。它们通过在海量文本数据上进行预训练 (pre-training) 来学习语言的统计规律、语法、语义和世界知识。
   • 工作原理： LLM 的核心是预测文本序列中的下一个词元 (token)。通过迭代地生成词元，它们可以完成文本生成、问答、翻译、摘要等多种自然语言处理 (Natural Language Processing, NLP) 任务。
   • 黑盒 LLM (Black-Box LLM): 指的是用户只能通过应用程序编程接口 (Application Programming Interface, API) 与模型交互，而无法访问或修改模型的内部参数 (parameters) 或权重 (weights) 的 LLM。例如 GPT-4o 和 Claude。这是 DC 设计时的一个重要约束。

2. 推理时 (Inference Time):

   • 概念定义： 指的是模型在部署后接收新的输入并生成预测或输出的阶段。与训练时 (training time) 相对应，训练时模型会根据数据调整其参数，而推理时模型参数通常是固定的。

3. 测试时学习 (Test-Time Learning):

   • 概念定义： 也称为在线学习 (online learning) 或增量学习 (incremental adaptation)，它是一系列方法，允许模型在推理过程中，通过整合从新数据实例中获得的信息来更新其预测，而无需进行传统的、全面的离线微调 (offline fine-tuning)。
   • 与传统学习的区别： 传统学习通常分为训练和测试两个独立阶段，模型在训练完成后参数固定。测试时学习则允许模型在接收测试数据时动态地适应和改进，以应对分布偏移 (distribution shifts) 或提升在特定任务上的表现。

4. 微调 (Finetuning):

   • 概念定义： 在预训练的 LLM 基础上，使用特定任务的数据对模型的参数进行进一步训练和调整的过程。目的是使模型更好地适应特定任务或领域。
   • 与 DC 的区别： 微调会修改模型的内部参数，通常需要大量的计算资源和标注数据。DC 则避免了参数修改，专注于外部记忆的构建和利用。

5. 检索增强生成 (Retrieval-Augmented Generation, RAG):

   • 概念定义： 一种增强 LLM 能力的方法，它允许 LLM 在生成回答之前，从一个外部知识库 (knowledge base) 中检索相关信息。这些检索到的信息随后被作为额外的上下文输入给 LLM，以指导其生成更准确、更具事实性的回答。
   • 工作流程： 通常包括一个检索器 (retriever)（用于从文档集合中查找相关信息）和一个生成器 (generator)（LLM，结合检索到的信息和输入生成回答）。
   • 与 DC 的区别： 传统的 RAG 系统使用的知识库通常是静态的 (static)，即在推理过程中不会发生变化。而 DC 的记忆是动态演进 (dynamically evolving) 的，它会根据模型的成功和失败经验不断更新和策展。

前人工作 (Previous Works)

本文在引言和附录 $A$ 中提及了多个与测试时学习、记忆增强生成和推理增强相关的先前研究。

1. 测试时适应 (Test-Time Adaptation) / 动态评估 (Dynamic Evaluation):

   • 概念： 早期工作主要集中在模型参数的动态更新，如 Krause et al. (2019) 提出的动态评估，通过在测试时数据上进行梯度步骤来更新语言模型 (Language Model, LM)。
   • 挑战： 这种方法计算成本高昂，且对于黑盒 API 模型（如 GPT-3 或 Claude）而言，无法直接修改参数，因此不可行。
   • 参数无关适应 (Parameter-Free Adaptation)： 针对黑盒模型的限制，有研究探索通过修改模型输入（如提示词 (prompting)）或利用外部记忆来“更新”模型有效推理能力的方法。DC 正是属于这一方向。

2. 迭代修正与反馈循环 (Iterative Refinement & Feedback Loops):

   • 概念： 许多工作通过引入反馈循环或验证机制来纠正解决方案中的错误。例如：
     • Reflexion (Shinn et al., 2023)：通过语言强化学习 (Reinforcement Learning, RL) 实现智能体 (agent) 的自我反思 (self-reflection)。
     • Self-Refine (Madaan et al., 2023)：通过自我反馈 (self-feedback) 进行迭代修正。
     • Self-Critic (Gou et al., 2023)：LLM 可以通过工具交互式批评 (critiquing) 进行自我纠正。
     • SelfRAG (Asai et al., 2023)：通过自我反思学习检索、生成和批评。
   • 与 DC 的区别： 这些方法主要侧重于在单个实例上进行修正，而 DC 的目标是存储可泛化的启发式方法 (heuristics)、解决方案或元级洞察 (meta-level insights)，并在不同任务之间重复检索和应用，以实现持久性学习 (persistent learning)。DC 不要求每个批次或场景都有新的训练循环，而是内存本身会更新。

3. 推理时计算与策略 (Test-Time Compute & Reasoning Strategies):

   • 概念： 投入额外的计算资源在推理时策略上，可以显著提高 LLM 的推理和生成能力。例如：
     • 思维链提示 (Chain-of-Thought, CoT) prompting (Wei et al., 2022; Kojima et al., 2022; Zhou et al., 2022)： 鼓励模型输出中间推理步骤。
     • 思维树扩展 (Tree-of-Thought, ToT) (Yao et al., 2023; Long, 2023)： 系统性地探索推理路径。
     • 多数投票采样 (Majority-Vote Sampling) (Wang et al., 2023)： 从多个生成中选择最常见的答案。
   • 挑战与 DC 的优势： 这些方法通常是短暂的 (ephemeral)，一旦生成解决方案，后续任务通常无法从之前投入的计算中受益。DC 通过构建一个从一个查询持续到下一个查询的记忆，来分摊 (amortizing) 或“共享”初始反思的成本，从而减少跨类似领域任务的重复开销。

4. 工具使用与代码执行 (Tool Usage & Code Execution):

   • 概念： LLM 可以调用外部工具（如 Python 解释器、符号求解器或专业服务 API）来处理复杂计算。
   • DC 的角色： DC 可以促进这种高效的工具使用，一旦 LLM 识别出处理某类问题（如算术难题）的系统性方法（例如，基于 Python 的暴力破解算法），它可以将这种方法存储在记忆中并重复检索，从而实现更一致和可靠的工具使用。

5. 记忆增强生成与推理 (Memory-Augmented Generation & Reasoning):

   • 概念： 增强 LLM 的外部记忆在近年来越来越受关注。
     • 传统 RAG (Lewis et al., 2020; Guu et al., 2020)： 通常从一个静态的 (static) 外部文档语料库中检索信息，以提高事实准确性并减少幻觉 (hallucination)。但检索语料库在推理前是固定的，不会随时间演进。
     • 存储推理过程和策略： 近期研究更侧重于存储 LLM 的推理过程和解决方案策略。
       • Thought-Retriever (Feng et al., 2024)：记录模型从过去查询中获得的思维链 (chain-of-thought)，并用于新的类似查询。
       • Buffer-of-Thoughts (BoT; Yang et al., 2025)：从问题解决过程中提炼出高层次的“思维模板”。
       • Madaan et al. (2022)：通过记忆机制捕获用户对错误的反馈来改进部署的模型。
       • Zhang et al. (2024a)：提出结合长期和短期存储的双记忆架构用于医疗应用，但需要微调以整合新知识。
   • DC 的差异： DC 强调选择性地 (selectively) 存储最相关的洞察和启发式方法，避免了天真地积累完整原始对话记录和短暂的思维链扩展，从而防止记忆膨胀 (memory bloat)。此外，DC 保持完全外部化 (external) 和无训练 (training-free)，即不假设模型可以被重训练 (retrained) 或微调 (finetuned) 来整合记忆项。它与即插即用 (plug-and-play) 原则保持一致，即一个开箱即用 (off-the-shelf) 的模型通过外部记忆进行增强，模型可以从中读取和写入，但不需要任何基于梯度的适应。

技术演进 (Technological Evolution)

从早期的基于规则的专家系统，到统计机器学习，再到深度学习的兴起，AI 模型的能力不断增强。LLM 的出现更是将文本理解和生成推向了新的高度。然而，LLM 固有的“无记忆”特性，即每次推理都是独立的，使其在需要长期连贯性、经验积累和错误修正的任务中表现受限。

为了克服这一限制，研究人员探索了多种途径：

1. 内部机制改进： 通过模型架构的演进（如引入循环神经网络 RNN、长短期记忆网络 LSTM），模型获得了一定程度的短期记忆能力，但仍受限于上下文窗口 (context window) 的长度。
2. 外部知识注入： RAG 模型通过连接外部知识库，使模型能够查询事实信息，但这些知识库通常是静态的。
3. 推理过程增强： CoT、ToT 等方法通过引导模型进行更复杂的推理步骤来提升性能，但这些过程通常不被持久化，无法在不同任务间积累经验。
4. 动态适应与记忆： DC 代表了这一演进路径上的最新进展，它专注于在推理时构建和管理一个自适应 (adaptive)、演进的 (evolving) 外部记忆，从而使黑盒 LLM 也能实现经验驱动的持续学习。

差异化分析 (Differentiation)

Dynamic Cheatsheet (DC) 与现有方法的核心区别和创新点在于：

• 非参数化与黑盒兼容性： DC 不修改 LLM 的内部参数，这使其能够无缝应用于商用黑盒 LLM API。这与需要模型参数访问权限的微调 (fine-tuning) 或动态评估 (dynamic evaluation) 方法形成鲜明对比。
• 自策展的演进记忆： 与静态检索 (static retrieval) 方法（如传统 RAG）不同，DC 的记忆是动态演进且自策展的。它选择性地存储简洁、有用且可泛化的策略和代码片段，而非简单地附加完整的历史记录（如 Full-History Appending, FH），从而避免了记忆膨胀和信息冗余。
• 从错误和成功中学习： DC 不仅记录成功的策略，还能根据错误进行修正或删除有缺陷的启发式方法，实现真正的“学习”，而不是被动地接收信息。
• 跨任务的经验积累： DC 的目标是积累可泛化 (generalizable) 的经验，这些经验可以在不同但结构相似的任务中重用，从而减少重复性错误，提高推理效率，并分摊初始发现成本。这与专注于单次推理修正的迭代修正 (iterative refinement) 方法有所不同。

方法论 (Methodology - Core Technology & Implementation Details)

Dynamic Cheatsheet (DC) 的核心思想是为黑盒 (black-box) 大语言模型 (LLM) 提供一个外部 (external)、非参数化 (non-parametric) 的记忆，使其能够在推理过程中不断演进和学习。这种记忆能够跟踪模型的成功与失败，并选择性地存储启发式方法 (heuristics)、策略或短文本片段，以指导 LLM 在未来的实例中进行推理。

方法原理 (Methodology Principles)

DC 的核心原理是模拟人类在学习和解决问题时积累经验的过程。当人类遇到新问题时，会参考过去的经验、总结的策略或“备忘录”来指导解决。解决问题后，会反思解决方案是否有效、是否可以改进，并将新的经验（无论是成功还是失败的教训）更新到自己的知识体系中。DC 将这一过程形式化为两个主要模块：解决方案生成 (Solution Generation) 和记忆策展 (Memory Curation)。

该方法尊重了许多商业 LLM API 的黑盒特性：不涉及基于梯度的参数更新，模型的核心参数保持不变，因此计算开销适中，并且与现有 API 完全兼容。

方法步骤与流程 (Steps & Procedures)

DC 框架由两个核心模块组成：generation（生成）和 curation（策展）。这两个模块可以由同一个 LLM（通过不同的提示词 (prompts)）或由不同的 LLM 来执行。

1. DC-Cu (DC-Cumulative) 变体

DC-Cu 是 DC 的基本版本，其工作流包括在处理输入查询后更新记忆，并通过累积方式扩展和完善记忆项。

1.1. 解决方案生成与记忆 (Solution Generation with Memory)

• 输入： 给定一个输入序列 $(x_1, x_2, \ldots, x_n)$，其中每个 $x_i \sim \mathcal{D}_{\mathrm{test}}$ 代表从未知分布 $\mathcal{D}_{\mathrm{test}}$ 中采样的新查询或问题。在第 $i$ 步，模型接收新的查询 $x_i$ 和当前的记忆状态 $M_i$。
• 功能： 生成器 (Generator) Gen 利用 $x_i$ 和 $M_i$ 来生成一个候选解决方案 $\tilde{y}_i$。记忆 $M_i$ 的作用是引导模型重用或适应先前存储的解决方案、洞察、技术或启发式方法。

1.2. 记忆策展步骤 (Memory Curation Step)

• 输入： 在生成器产生 $x_i$ 的答案 $\tilde{y}_i$ 后，策展器 (Curator) Cur 会接收当前记忆 $M_i$、原始查询 $x_i$ 和生成的解决方案 $\tilde{y}_i$。
• 功能： Cur 负责更新记忆。它主要考虑以下几个方面：
  • 新答案的有用性和泛化性： 如果 $\tilde{y}_i$ 是正确的、有用的或实用的，Cur 会将其提炼成适合未来参考的形式并存储。
  • 现有记忆条目的完善或删除： 如果某个现有记忆条目不正确，或者被更高效、更通用的策略所取代，Cur 可能会删除或更新它。
  • 记忆整体的清晰度和紧凑性： 记忆条目会被整合，以保持对简洁、高影响力参考和启发式方法的保留。
• 自我评估： Cur 不具备真实标签 (ground-truth labels) 的访问权限，因此它必须自行评估 (assess by itself) 解决方案的正确性和效率，然后再更新记忆。在实验中，这通常通过指示同一个 LLM 执行一系列步骤来实现，这些步骤可能包括使用不同的提示词 (prompts) 来验证解决方案的有效性，并将其转换为更通用、可靠、高效的策略、洞察和代码片段。
• 流程图： 图像 7 提供了 DC-Cu 变体工作流程的示意图。

2. DC-RS (DC with Retrieval & Synthesis) 变体

DC-Cu 存在两个潜在缺点：它在生成响应后才更新记忆，这意味着模型在推理过程中无法利用当前查询带来的新洞察；其次，它不存储或重访过去的输入-输出对，这在处理多样化任务时可能导致信息丢失。DC-RS 通过修改记忆更新顺序并引入检索机制 (retrieval mechanism) 来解决这些问题。

2.1. 检索阶段 (Retrieval Phase)

• 输入： 给定新的查询 $x_i$ 和所有之前看过的示例 $\{ (x_j, \tilde{y}_j) \}_{j < i}$。
• 功能： 首先，DC-RS 的检索器 (Retriever) Retr 会从之前看过的示例中检索与 $x_i$ 最相似的顶部 $k$ 个输入-输出对。这些检索到的示例被表示为 $R_i^{(k)}$（或简化为 $R_i$）。

2.2. 记忆策展阶段 (Memory Curation Phase)

• 输入： 检索到的示例 $R_i$ 和最新的记忆内容 $M_{i-1}$。
• 功能： Cur 接收 $M_{i-1}$、 $x_i$ 和 $R_i$ 来更新记忆，生成新的记忆状态 $M_i$。这一步允许模型在生成响应之前，将从当前查询中检索到的相关信息整合到记忆中。

2.3. 解决方案生成阶段 (Solution Generation Phase)

• 输入： 新的查询 $x_i$ 和更新后的记忆状态 $M_i$。
• 功能： 生成器 (Generator) Gen 使用 $x_i$ 和 $M_i$ 来生成最终的候选解决方案 $\tilde{y}_i$。

数学公式与关键细节 (Mathematical Formulas & Key Details)

DC-Cu (DC-Cumulative) 的核心公式：

1. 解决方案生成 (Solution Generation): $$\tilde{y}_i = \mathsf{Gen}(x_i, M_i)$$

   • $\tilde{y}_i$: 模型在第 $i$ 步生成的候选解决方案。
   • $\mathsf{Gen}$: 解决方案生成器，通常是 LLM。
   • $x_i$: 第 $i$ 个输入查询或问题。
   • $M_i$: 当前的记忆状态，包含了从先前成功和失败中获得的知识。

2. 记忆策展 (Memory Curation): $$M_{i+1} = \mathsf{Cur}(M_i, x_i, \tilde{y}_i)$$

   • $M_{i+1}$: 更新后的记忆状态，用于下一个步骤。
   • $\mathsf{Cur}$: 记忆策展器，也通常是 LLM，负责评估和更新记忆。
   • $M_i$: 第 $i$ 步的记忆状态。
   • $x_i$: 第 $i$ 个输入查询。
   • $\tilde{y}_i$: 模型在第 $i$ 步生成的解决方案。

DC-RS (DC with Retrieval & Synthesis) 的核心公式：

1. 检索 (Retrieval): $$R_i = \mathsf{Retr}(x_i, \{ (x_j, \tilde{y}_j) \}_{j < i}, k)$$

   • $R_i$: 从历史示例中检索到的与 $x_i$ 最相关的顶部 $k$ 个输入-输出对。
   • $\mathsf{Retr}$: 检索器，负责根据当前查询 $x_i$ 从所有历史示例中找到最相关的过去经验。
   • $x_i$: 第 $i$ 个输入查询。
   • $\{ (x_j, \tilde{y}_j) \}_{j < i}$: 所有在第 $i$ 步之前处理过的输入查询 $x_j$ 及其对应的模型生成解决方案 $\tilde{y}_j$。
   • $k$: 检索的顶部相似示例的数量。

2. 记忆策展 (Memory Curation): $$M_i = \mathsf{Cur}(M_{i-1}, x_i, R_i)$$

   • $M_i$: 更新后的记忆状态，用于当前步骤的解决方案生成。
   • $\mathsf{Cur}$: 记忆策展器，接收之前的记忆状态、当前查询和检索到的相关示例。
   • $M_{i-1}$: 第 i-1 步的记忆状态。
   • $x_i$: 第 $i$ 个输入查询。
   • $R_i$: 从历史示例中检索到的与 $x_i$ 最相关的输入-输出对。

3. 解决方案生成 (Solution Generation): $$\tilde{y}_i = \mathsf{Gen}(x_i, M_i)$$

   • $\tilde{y}_i$: 模型在第 $i$ 步生成的候选解决方案。
   • $\mathsf{Gen}$: 解决方案生成器。
   • $x_i$: 第 $i$ 个输入查询。
   • $M_i$: 经过检索和策展更新后的记忆状态。

关键细节：

• 外部性 (External nature): 记忆 $M$ 是一个与 LLM 分离的非参数化 (non-parametric) 组件，它不影响 LLM 自身的权重。
• 自评估 (Self-assessment): Cur 模块是模型的关键，它必须在没有外部真实标签的情况下，自我评估解决方案的正确性 (correctness) 和效率 (efficiency)，这通常通过 LLM 自身的推理能力和一组预定义的启发式规则 (heuristic rules) 来实现。
• 策展内容 (Curation content): 记忆内容 $M$ 存储的是简洁、可迁移的策略、代码片段和问题解决洞察，而不是原始的、冗长的对话历史。这种精炼 (refinement) 和压缩 (compression) 是为了保持记忆的紧凑性 (compactness) 和有用性 (usefulness)。
• 灵活性 (Flexibility): Gen 和 Cur 可以是同一个 LLM，通过不同的提示指令来扮演不同角色，这进一步提升了 DC 的轻量级特性和部署便捷性。

实验设置 (Experimental Setup)

为了严格评估 DC 框架的有效性，研究人员在多个具有挑战性的任务上进行了实验，这些任务要求多步推理、启发式搜索、策略适应和累积学习，这正是 DC 旨在提供显著改进的领域。

数据集 (Datasets)

实验选择了以下数据集，它们涵盖了算法、逻辑和领域特定推理任务，旨在全面测试模型随时间改进推理能力的能力。

1. AIME 2020-2025 考试题 (AIME 2020-2025 Exam Questions):

   • 来源与特点： AIME (American Invitational Mathematics Examination) 是一个著名的高中数学竞赛，题目涉及代数、组合学、数论、几何和概率等复杂数学问题。这些问题需要深入的数学推理和多步问题解决能力。
   • 子集：
     • AIME 2024：30 道题。
     • AIME 2025：30 道题。
     • AIME 2020-2024：133 道题。
   • 选择原因： 旨在评估 DC 在复杂数学推理和需要长期知识积累的场景下的表现。

2. GPQA-Diamond (Rein et al., 2024):

   • 来源与特点： Graduate-Level Google-Proof Q&A (GPQA) 基准测试的一个高质量、高难度子集，包含 198 个经过专家验证的自然科学 (natural sciences) 问题，涵盖生物学、化学和物理学。这些问题通常只有领域专家才能正确回答，非专家往往会出错。
   • 选择原因： 评估 DC 处理复杂、多跳知识密集型推理任务的能力。

3. Game of 24 (Yao et al., 2023; Suzgun & Kalai, 2024):

   • 来源与特点： 一种启发式驱动的算术挑战，目标是使用四个给定数字（每个数字只能使用一次）通过算术运算得到 24。例如，输入 7, 7, 8, 1，一个有效答案是 $8 * (7 + 7 - 11)$（原文有误，应为 $8 * (7 + 7 - 1)$ 如果是 1，或 $8 * (7 + 7 / 7 + 1)$ 如果是 7 7 8 1）。
     • 此处原文 $8 * (7 + 7 - 11)$ 示例有误，应为 $8 * (7 + 7 - 1)$ 或 $8 * (7 + 7 - 7 - 1)$ 等，以 7, 7, 8, 1 为例，一个可能的解是 $(7 - 1) * (8 - 7) * 4 = 24$ 或 $(8 - 7/7) * 1 = 24$，原文示例中的 11 可能是一个印刷错误。考虑到上下文，应是使用四个给定数字。此处姑且按照原文复制，并注明可能存在笔误。
   • 选择原因： 强调系统搜索、策略推理和模式识别，用于评估 DC 提炼计算启发式和策略的能力。
   • 样本示例： 如果输入是 6, 6, 8, 1，一个有效答案将是 $8 * (6 + 6 / 6 - 1) = 8 * (6 + 1 - 1) = 48$，或者 $8 * (6 - (6/6)) * 1 = 8 * 5 * 1 = 40$，这仍有问题。
     • 再次检查原文示例：“For instance, if the input values were “6 6 8 1,” one valid answer would be “8 * (7 + 7 - 11)”。此处输入和示例明显不匹配。根据“Game of 24”的通常规则，应该是 $(6-1)*8/6=24$ (错误，应为 $(6+1)*6-8=34$ )。更合理的示例是 (8-6)*6*1 (错误)，或者 6*8/(6-1)。此处只能假设原文示例有误，并专注于其强调的“启发式搜索、策略推理和模式识别”特性。例如，对于 8, 7, 7, 1 来说，$8 * (7 + 7 - 11)$ 是不合法的。正确的 24点游戏规则通常是使用四个数字。此处应是 $8 * (7 + 7 - 1)$。
     • Game of 24 的一个典型例子是输入 4, 2, 8, 3，一个答案是 $(8 / 4) * (2 + 3 + 1)$。
     • 假设原文示例 6 6 8 1 和 $8 * (7 + 7 - 11)$ 之间存在印刷错误。更标准的 24 点游戏示例：给定 3, 3, 8, 8，答案 $8 / (3 - 8 / 3)$。
   • 样本数量： 使用了 Suzgun & Kalai (2024) 中的 100 个示例。

4. 数学方程平衡器 (Math Equation Balancer):

   • 来源与特点： 专注于基本算术推理，要求模型通过插入适当的运算符来完成方程，使其形成有效的表达式。
   • 样本示例： 例如，$1 ? 2 ? 3 = 6$，模型必须识别正确的运算符以满足方程，如 $1 + 2 + 3 = 6$ 或 $1 * 2 * 3 = 6$。
   • 样本数量： 收集了 250 个算术表达式。

5. MMLU-Pro (Engineering and Physics) (Wang et al., 2024b):

   • 来源与特点： MMLU (Massive Multitask Language Understanding) 基准测试的专业级子集，专注于物理和工程学。所有问题均以多项选择题形式呈现。
   • 子集与数量： 从原始数据集（1,299 个物理问题和 969 个工程问题）中各随机采样了 250 个问题。
   • 选择原因： 评估 DC 在专业领域知识和多项选择题任务中的性能提升。

评估指标 (Evaluation Metrics)

鉴于任务的多样性，本文使用了针对每个数据集特定要求的不同准确率指标。

1. 软匹配 (Soft Match, SM):

   • 概念定义 (Conceptual Definition): 软匹配是一个宽松的指标，如果答案在忽略次要格式差异（如标点符号或空白变化）后与真实标签 (ground truth) 匹配，则认为答案是正确的。它关注答案的实质内容，而非严格的文本匹配。
   • 数学公式 (Mathematical Formula): 论文中未提供具体的数学公式，其计算方式通常是：预处理模型输出和真实标签（例如，去除空白、统一大小写、标准化标点），然后进行精确字符串匹配。
   • 符号解释 (Symbol Explanation): 无。
   • 应用场景： 适用于 GPQA-Diamond 和 MMLU-Pro（工程和物理），这些任务的问题以多项选择形式呈现。

2. 功能正确 (Functionally Correct, FC):

   • 概念定义 (Conceptual Definition): 功能正确是一个更灵活的指标，它评估模型的输出是否满足任务特定的约束，即使其确切的数字表示或格式与参考解决方案略有不同。例如，在数学任务中，只要计算结果正确，即使中间步骤或表达方式不同，也可能被认为是功能正确的。
   • 数学公式 (Mathematical Formula): 论文中未提供具体的数学公式。其计算方式通常涉及到对模型输出进行解析和执行（如果是代码或表达式），然后将执行结果与预期结果进行比较。例如，对于数学方程，模型输出的表达式经过求值后，如果与目标值相等，则视为正确。
   • 符号解释 (Symbol Explanation): 无。
   • 应用场景： 适用于 Game of 24、Math Equation Balancer 和 AIME 基准测试。

对比基线 (Baselines)

为了量化记忆驱动的测试时学习的有效性，本文将 DC 及其变体与四种基线方法进行了比较：

1. 基线提示 (Baseline Prompting, BL):

   • 描述： 这是一种普通的“香草 (vanilla)”提示方法，只包含最少的指令，模型在没有任何迭代记忆或检索机制的情况下直接回答问题。它反映了传统的一次性推理 (one-off inference)。
   • 伪代码： 参见图像 3 中的 BL 部分。

2. 空记忆 DC (DCØ - empty memory):

   • 描述： 为了分离记忆策展的效果，这个 DC 基线始终保持记忆内容为空。DCØ 允许研究人员衡量随着时间推移，纯粹通过存储和重用知识能带来多少性能提升。尽管没有持续的知识存储或策略重用，但这种方法遵循了结构化问题解决和显式工具使用的指令，因此是一个强有力的基线。
   • 伪代码： 参见图像 3 中的 DC-Ø 部分。

3. 完全历史附加 (Full-History Appending, FH):

   • 描述： 这是一种朴素的方法，它将整个对话历史 (entire conversation history) 直接附加到模型输入中，不进行任何策展或截断。FH 可能会超出上下文窗口 (context-window) 限制，并包含冗余或低价值信息，但它为主动策展内容的方法提供了一个有用的比较。
   • 伪代码： 参见图像 3 中的 FH 部分。

4. 动态检索 (Dynamic Retrieval, DR):

   • 描述： 这是一个只使用检索但没有策展的基线。具体来说，对于每个新查询，它会检索最相似的过去交互，并将其逐字 (verbatim) 粘贴到提示中。DR 可以帮助模型看到相关的输入-输出对，但不能直接编纂 (codify) 任何抽象或泛化的解决方案。
   • 伪代码： 参见图像 3 中的 DR 部分。

语言模型 (Language Models)

本文评估了 DC 在一系列语言模型上的有效性，包括最先进的 LLM 及其小型版本，以及专门为推理密集型任务设计的模型。

• GPT-4o: 最先进的大语言模型。
• Claude 3.5 Sonnet: 最先进的大语言模型。
• GPT-4o-mini: GPT-4o 的小型版本。
• Claude 3.5 Haiku: Claude 3.5 Sonnet 的小型版本。
• DeepSeek R1: 专门为推理密集型任务设计的模型。
• o1: 另一个专门为推理密集型任务设计的模型。

评估协议 (Evaluation Protocol)

为了确保标准化和可靠的评估，所有模型都被指示以结构化的、机器可读的格式输出其最终答案。最终答案必须被包裹在以下 XML 风格的标签中：

<answer> (最终答案) </answer>

这种明确的格式确保了准确和一致的解析，消除了因无关文本或模糊输出而产生的错误。提取后，最终答案会根据其相应的任务特定准确率指标进行评估。

实验结果与分析 (Results & Analysis)

本文的实验结果有力地证明了 Dynamic Cheatsheet (DC) 框架在各种具有挑战性的推理任务中，能够显著提升大语言模型 (LLM) 的性能并减少重复性错误。

核心结果分析 (Core Results Analysis)

1. DC 实现测试时学习并减少重复错误

• Game of 24 任务： 这是 DC 能力最引人注目的例证之一。GPT-4o 在此算术谜题上的基线 (baseline) 准确率仅为 10%。但在 DC-RS（带检索与合成的 DC）下，其性能飙升至 99%，这充分展示了 DC 在测试时学习和迭代完善方面的强大能力。在测试序列早期，GPT-4o 发现了一个可靠的、基于 Python 的暴力破解方法来解决 Game of 24，随后将此方法编码到其记忆中。一旦建立，GPT-4o 便持续检索并应用这一 Python 解决方案来处理后续示例，从而实现了快速而准确的结果。
  • DC-Ø（空记忆 DC）下的 19% 准确率进一步突出了记忆策展和检索的积极影响。DC-Ø 使用相同的核心生成器，但记忆为空，因此缺乏存储和重用解决方案的机制。DC-Ø (19%) 和 DC-RS (99%) 之间的巨大差距证实了有效的记忆使用（即检索和泛化过去的解决方案）是 GPT-4o 从临时求解器 (ad-hoc solver) 转变为 Game of 24 中近乎完美表现者的主要驱动力。
  • 相比之下，Claude 3.5 Sonnet 在此任务中仅获得了微薄的提升（从 12% 增至 14%）。尽管有 DC 的支持，Claude 未能内化一种泛化方法，而是继续依赖手工算术解决方案。这表明，虽然 DC 提供了测试时适应的框架，但其最终成功取决于模型识别和编码健壮、可重用策略的内在能力 (innate capacity)。

2. DC 在各种挑战性推理基准测试中提供实质性改进

除了 Game of 24，DC 在一系列复杂的数学和算法任务中也取得了显著成果，如下面的表格所示。

• AIME 考试题： AIME 考试是 DC 表现出最显著改进的领域之一。
  • 对于 Claude 3.5 Sonnet，在 DC-RS 下，AIME 2020-2024 的性能从 6.7% 猛增至 40.6%。
  • 在 DC-Cu 下，AIME 2024 (从 23.3% 提升至 50.0%) 和 AIME 2025 (从 6.7% 提升至 36.7%) 也呈现出类似的上升趋势。DC-Cu 在最近的考试集中表现出色，在 AIME 2024 和 2025 中取得了最高的准确率。
  • GPT-4o 也显示出显著的提升：AIME 2024 性能在 DC-RS 下从 20.0% 提升至 40.0%，AIME 2025 成绩从 6.7% 攀升至 20.0%。这些提升表明，结构化的测试时生成的记忆有助于解决困难的数学问题。
• GPQA-Diamond：
  • Claude 3.5 Sonnet 在 DC-RS 下从 59.6% 提升至 68.7%，纯粹通过测试时适应获得了稳健的 9.1% 收益。
  • DR (动态检索) (63.6%) 表明仅检索本身有所帮助，但进一步跳跃到 68.7% 突出了记忆策展和合成如何带来额外的好处。
  • 相比之下，GPT-4o 在 DC-RS 下仅从 57.1% 略微增加到 58.1%；对模型输出和记忆的定量分析显示，检索在某些情况下可能引入混乱，特别是当检索到次优示例时。这种不同模型之间的对比突出了基于检索的适应的成功部分取决于模型特定的生成和策展能力。
• 数学方程平衡器： Claude 3.5 Sonnet 的基线性能 (44.8%) 在 DC-RS 和 DC-Cu 下上升到 98-100%，而 GPT-4o 同样从 50.0% 提高到近乎完美的准确率 (99-100%)。正如在 Game of 24 中观察到的，模型迅速学会了一种算法或基于 Python 的平衡例程，将其存储在外部记忆中，并反复检索。一旦核心方法建立，就实现了卓越的一致性。
• MMLU-Pro 任务：
  • 对于 MMLU-Pro 工程和物理任务，Claude 3.5 Sonnet 表现出持续的提升，在物理任务中最高提升了 8.0% (从 74% 提高到 82%)。对策展记忆条目的检查显示，Claude 临时存储和检索了关于工程和物理原理的紧凑“参考指南”，这可能对主题相似的问题有所帮助。
  • 另一方面，GPT-4o 在这些任务中观察到比基线略有下降，这表明如果策展记忆的可靠性或一致性较低，领域复杂性和基线知识差距可能会削弱 DC 的益处。

数据呈现 (表格)

由于系统未提供表格的图像，我将原文中所有的表格数据转录如下：

表格 1: 主要结果

此表格展示了 Claude 3.5 Sonnet 和 GPT-4o 在不同任务和不同 DC 变体下的性能（准确率，%）。

表格 2: DC 相对于完全历史附加 (FH) 的表现

此表格展示了 BL (默认基线)、FH (完全历史附加)、DC-Cu 和 DC-RS 方法在 AIME 2024 和 2025 任务下的性能分解。

表格 3: 小型模型（Claude 3.5 Haiku 和 GPT-4o-mini）的性能

此表格展示了 Claude 3.5 Haiku 和 GPT-4o-mini 在 AIME (2024, 2025) 和 GPQA-Diamond 任务下的性能。

表格 4: 多数投票 (MV) 与 DC 在 AIME 上的比较

此表格比较了多数投票 (MV) 与 DC 在 AIME 任务中 Claude 3.5 Sonnet 的表现。

消融实验/参数分析 (Ablation Studies / Parameter Analysis)

除了核心性能，论文还深入分析了 DC 成功的几个关键因素和影响因素：

1. 记忆策展 (DC) 促进泛化并优于完全历史附加 (FH)

FH 简单地将所有先前的对话回合附加到提示中，而 DC 则主动过滤和合成高价值内容。

• 在 AIME 2024 问题中，Sonnet 在 FH 下的准确率为 26.7%，而基于 DC 的方法达到了 50.0%。
• 类似地，GPT-4o 的基线为 20.0%，但使用 FH 时下降到 13.3%（原文此处有误，表格中为 13.3，但正文为 6.7%，应以表格为准），而 DC-RS 达到了 40.0%。
• 这表明过多的未经策展的输入-输出对不仅会淹没模型的上下文窗口 (context window)、稀释关键洞察并阻碍检索效率，还会随着时间的推移显著增加推理成本。DC 的选择性记忆策展确保了问题解决技巧或代码片段易于访问且不会混乱，从而促进了连续查询中更稳健和一致的改进。

2. DC 促进高效工具使用/代码生成

LLM 倾向于使用代码生成来处理计算密集型任务，这是 DC 下的一种成功行为。

• GPT-4o 在 Game of 24 中几乎完全依赖 Python 脚本，而非重复进行手工算术，它认识到基于代码的暴力破解更为系统化。它生成、存储并迭代完善了一个 Python 函数，用于测试数字和操作的排列，从而以高精度解决 Game of 24 的每个实例。图像 8 展示了 GPT-4o 在 Game of 24 任务下 DC-RS 记忆片段的示例。
• 这表明 DC 有潜力培养高效的工具使用能力：识别何时外部工具（如 Python、符号数学引擎或专用求解器）比内部语言化的思维链 (chain-of-thought) 计算更稳健。

3. 模型规模和能力影响 DC 的有效性

DC 的有效性与模型的规模和底层生成能力密切相关。

• Claude 3.5 Sonnet 和 GPT-4o 在 DC 下在多项任务中表现出显著的提升，但其小型版本 Claude 3.5 Haiku 和 GPT-4o-mini 的提升则更为有限且不一致。
• 例如，Claude 3.5 Haiku 在 AIME 2024 上的准确率从 10.0% (基线) 提升到 DC-Cu 下的 36.7%，获得中等收益。但在 AIME 2025 上的收益较弱，仅在 DC-Ø 和 DC-Cu 下达到 13.3%。
• GPT-4o-mini 的收益甚至更小，某些变体甚至导致性能略有下降。在 AIME 2024 上，DC-Ø 提供了 20.0% 的提升，但 DC-Cu 和 DC-RS 的表现均低于基线。
• 这暗示了小型模型在 DC 下的两个缺点：
  • 生成能力： DC 要想有效，基础模型必须以足够高的频率生成正确解决方案，才能用高质量、可重用的策略填充记忆库。小型模型生成正确解决方案的可靠性较低，导致记忆库稀疏或质量低下。
  • 上下文和记忆策展限制： 小型模型在长上下文理解/生成和记忆检索方面存在困难，导致记忆使用效率低下或不相关。它们往往无法检索最相关的过去解决方案，或将检索到的知识错误地应用于新问题，从而在 DC-RS 下导致不一致的性能。

4. 测试时任务相似性和示例顺序可以放大 DC 的整体影响

当测试示例共享结构相似性时，DC 表现最佳。

• 在 Game of 24 和 Math Equation Balancer 中，一旦 GPT-4o 识别出高效的解决方案，它就会在后续任务中持续重用。
• 在 AIME 中，发现几何或组合学策略可以很容易地迁移到结构类似的题目中。
• 这意味着，如果任务按照课程学习 (curriculum-style learning) 的方式排列，即先呈现更简单或原型问题以建立有效的启发式方法库，可能会引导 (bootstrap) 性能提升。

5. DC 优于多数投票 (MV)

为了测试 DC 是否优于推理时的传统多数投票 (majority voting, MV)，研究人员还在 AIME 2024 和 2025 上测试了 Sonnet。

• MV（从三次独立生成中选择最常见的答案）并未带来性能提升。
• 在 AIME 2024 上，MV 的表现与基线相同 (23.3%)，而在 AIME 2025 上则保持在 6.7%，没有获得实质性收益。
• 即使是 DC-Ø，MV 也略低于预期 (33.3% 对 36.7%)。
• 相比之下，DC-Cu 优于 MV，在 AIME 2024 上达到 50.0%，在 AIME 2025 上达到 36.7%。
• 这证实了记忆驱动的适应在复杂推理任务中远比简单的统计投票更有效。

6. 错误和纠正的聚类 (Clustering of errors and corrections)

研究发现，错误及其修正通常在潜在嵌入空间 (latent embedding space) 中聚类。图像 10 展示了 GPQA Diamond 任务中问题嵌入的 t-SNE 降维结果，反映了不同模型对问题的解答表现差异。

• 一旦模型获得了一组相关查询的高质量启发式方法，它就可以将这些知识应用于紧密嵌入的邻居。
• 然而，如果记忆中混入了有缺陷的启发式方法，它们也可能同样被放大。因此，确保记忆“干净”需要仔细的策展，并在必要时进行修剪 (pruning)，以避免传播错误的策略。

7. 记忆内容在模型间的可迁移性 (Transferability of memory content across models)

大型模型（如 Claude 3.5 Sonnet 和 GPT-4o）有时可以产生更高质量的策略，这些策略原则上可以使小型模型受益（如果记忆被转移）。

• 然而，如果小型模型缺乏正确解释或完善这些策略的生成能力，其性能可能会停滞或下降。
• 这表明记忆条目，尽管有用，但不能完全弥补基础能力的不足。

8. 长上下文生成与理解 (Long-context generation versus understanding)

大多数大型 LLM 擅长处理长输入，但在生成同样长且组织良好的输出方面存在困难。

• DC 在每次查询后进行记忆策展，可能要求精确地复现或修改先前知识。
• 研究观察到，模型有时只是引用或缩写现有记忆（例如，“先前内容 [...] 保留”），而不是显式地重写它。这种截断的记忆更新可能会随着时间的推移降低存储启发式方法的质量。
• 潜在的解决方案包括维护一个结构化的外部数据库，LM 可以引用它而无需每次都重新生成大量文本。

9. 检索瓶颈和噪声 (Retrieval bottlenecks and noise)

虽然基于检索的变体（如 DC-RS）可以显著提高准确率，但过滤不佳的检索机制可能会引入混乱，特别是在面对高度多样化或松散相关的查询时。

• 例如，在实验中，GPT-4o 在 GPQA-Diamond 中的性能偶尔会因次优的检索选择而下降。
• 这强调了稳健检索方法 (robust retrieval methods)（例如，密集向量搜索、高级排名算法）的重要性，这些方法可以可靠地浮现更高质量的示例或启发式方法，同时抑制不相关或矛盾的文本。

10. 分层和模块化记忆 (Hierarchical and modular memory)

随着 LLM 部署规模的扩大，专业领域可能会受益于细分或分层组织记忆。

• 例如，一个系统可以为组合学或物理学等主题维护独立的策展记忆，每个记忆都由专门的检索或策展机制更新。这可以减轻统一记忆存储的负担，并有助于在各自领域内隔离错误。

11. 时间和词元复杂度 (Time and token complexity)

尽管 DC 在每次查询后需要记忆策展，但它通过减少冗余计算和词元使用 (token usage)，随着时间的推移优化了效率。

• 随着模型检索和完善解决方案，记忆维护成为净收益而非成本。然而，其顺序结构仍然对需要独立推理的大规模并行或批量任务构成挑战。

12. 小型或更专业的模型 (Smaller or more specialized models)

小型模型，如 GPT-4o-mini，在 DC 下表现出有限的收益。

• DeepSeek R1 和 $o1$ 等“R1”模型的额外实验也显示出最小或不一致的改进。
• 在这些情况下，这些模型的生成能力似乎过于受限，无法生成可靠的策略进行存储或有效解释检索到的启发式方法。解决方案过于冗长。
• 如果没有足够准确和高效的基础解决方案，记忆策展就无法产生实质性收益。这一限制回溯到 DC 的核心前提，即有效的 DC 需要一个有能力的基础模型来播种和完善策展知识。

图像分析

• 图像 1 (Performance Overview): 该图表以柱状图形式展示了 Dynamic Cheatsheet 方法对不同模型（Claude 3.5 Sonnet 和 GPT-4o）和任务（AIME 2020-2025、GPQA Diamond、Game of 24 和 Math Equation Balancer）的准确率提升情况。图中对比了 Baseline、DC-Ø 和 DC-RS 三种方法下的性能。我们可以清晰地看到，DC-RS 在 Game of 24 和 Math Equation Balancer 任务中带来了惊人的准确率提升，例如 GPT-4o 在 Game of 24 中从 10% 提升到 99%。在 AIME 系列任务中，Claude 3.5 Sonnet 和 GPT-4o 也有显著提升，表明 DC 在复杂数学推理和知识密集型任务中的普遍有效性。
• 图像 5 (GPT-4o's Cheatsheet Excerpt): 这张图展示了 GPT-4o 在处理 Game of 24 任务 100 个示例后，DC-RS 记忆中的一个片段。它具体展示了模型存储的用于解决 Game of 24 的 Python 代码和策略。图中可以看到一个名为 $solve_game_24(numbers)$ 的 Python 函数，它通过排列数字和运算符来寻找等于 24 的表达式。这一可视化结果直接支持了论文中关于 DC 促进高效工具使用和代码生成，并将其存储以供后续重用的论点。GPT-4o 能够将这种系统性的代码解决方案存储起来，从而在后续任务中避免手动算术错误，显著提升了性能。
• 图像 6 (Claude 3.5 Sonnet's Curated Memory): 这张图展示了 Claude 3.5 Sonnet 在处理 20 个 AIME 2024 问题后，通过 DC-Cu 算法自我策展的关键解题策略记忆。记忆内容包括一个名为“Systematic Problem Analysis Framework”（系统问题分析框架）的结构化列表，其中列出了如“明确说明问题要求”、“列出适用的观察和定理”、“识别模式和关系”、“将问题分解为可管理子问题”等步骤。此外，它还提到了“当分析解决方案复杂时考虑计算方法”、“在可能的情况下实现验证代码”等。这个例子说明了 DC 如何帮助模型提炼和存储高级问题解决框架和启发式方法，从而在类似计算问题中实现泛化和准确率提升。

总结与思考 (Conclusion & Personal Thoughts)

结论总结 (Conclusion Summary)

本文提出了一种名为 Dynamic Cheatsheet (DC) 的轻量级框架，旨在为黑盒 (black-box) 大语言模型 (LLM) 赋予一个持久的 (persistent)、自适应演进 (adaptive evolving) 的外部记忆。DC 的核心贡献在于，它使 LLM 能够在推理时 (inference time) 存储和重用经过自策展 (self-curated) 的策略、代码片段和问题解决洞察，从而克服了 LLM 每次推理都独立进行的“真空”操作模式。

实验结果表明，DC 在一系列复杂任务中显著提升了 LLM 的性能：

• 在数学推理（AIME 考试）中，Claude 3.5 Sonnet 的准确率翻倍。

• 在算法性任务（Game of 24、数学方程平衡器）中，GPT-4o 和 Claude 的成功率从低位（10-50%）飙升至近乎完美（99-100%），这得益于模型能够发现并重用基于 Python 的高效解决方案。

• 在知识密集型任务（GPQA-Diamond、MMLU-Pro）中，Claude 实现了显著的准确率提升（8-9%）。

  DC 的优势在于其非参数化 (non-parametric) 特性，使其兼容现有商业 LLM API，且无需微调 (fine-tuning) 模型参数。其记忆是自策展 (self-curated) 的，侧重于简洁、可迁移的知识片段，而非冗长的完整历史记录，从而有效避免了上下文窗口 (context window) 限制和信息过载。此外，DC 促进了 LLM 对外部工具（如 Python 解释器）的有效利用，将其集成到问题解决流程中。总而言之，DC 为弥合孤立推理与累积经验驱动学习之间的鸿沟提供了一个有前景的解决方案，使 LLM 能够更接近人类的认知学习模式。

局限性与未来工作 (Limitations & Future Work)

论文作者指出了 DC 存在的一些局限性，并提出了未来可能的研究方向：

1. 模型规模依赖性： DC 的有效性与基础模型的生成能力 (generative competence) 密切相关。小型模型（如 GPT-4o-mini 和 Claude 3.5 Haiku）在 DC 下的收益有限且不一致，因为它们难以生成高质量的可重用策略来填充记忆库，也难以有效解释或完善检索到的启发式方法。

2. 检索瓶颈和噪声： 尽管检索机制（如 DC-RS）能显著提高准确率，但如果检索到的示例相关性不高或质量不佳，可能会引入混乱，尤其是在面对高度多样化或松散相关的查询时。GPT-4o 在 GPQA-Diamond 中的性能偶尔下降就印证了这一点。

3. 长上下文生成与记忆策展的挑战： LLM 在生成与长输入相匹配的长而组织良好 (long and well-organized) 的输出方面存在困难。DC 在每次查询后进行记忆策展，可能要求精确复现或修改先前知识，但模型有时会选择缩写或概括，这可能随时间降低存储启发式方法的质量。

4. 记忆内容的可迁移性问题： 尽管大型模型能生成高质量策略，但小型模型可能缺乏解释或完善这些策略的能力，导致性能停滞或下降，这表明记忆内容并不能完全弥补基础能力的不足。

5. 时间与词元复杂度： 尽管 DC 长期来看能优化效率，但其顺序结构 (sequential structure) 仍然对需要独立推理的大规模并行或批量任务构成挑战。

   基于这些局限性，作者提出了以下未来工作方向：

• 更广泛的工具集成： 探索将 DC 扩展到更广泛的工具套件（如符号数学引擎、专用求解器），以进一步增强 LLM 在专业领域的性能。
• 课程学习策略： 研究通过课程学习 (curriculum-style learning) 的方式（即先呈现更简单或原型问题）来构建有效的启发式方法库，从而引导模型性能提升。
• 鲁棒检索方法： 开发更稳健的检索算法（例如，密集向量搜索、高级排名算法），以确保可靠地浮现高质量的示例或启发式方法，同时抑制不相关或矛盾的文本。
• 分层和模块化记忆： 探索分层组织记忆，例如为不同领域（如组合学、物理学）维护独立的策展记忆，以减轻统一记忆存储的负担并隔离错误。
• 记忆存储的改进： 维护一个结构化的外部数据库，LM 可以引用它而无需每次都重新生成大量文本，以解决长上下文生成和记忆策展中的挑战。

个人启发与批判 (Personal Insights & Critique)

这篇论文在赋予 LLM 累积学习能力方面迈出了重要一步，其核心思想是直观且富有前景的。它深刻地指出了当前 LLM 在推理时存在的“信息孤岛”问题，并提供了一个优雅的、非侵入式的解决方案。

个人启发：

• 人类认知类比的强大： DC 的设计灵感来源于人类学习中“备忘录”和经验积累的概念，这表明将人类认知机制映射到 AI 系统中仍有巨大的潜力。这种“开箱即用”的记忆机制，对于需要长期连续性和适应性的 AI 智能体 (agent) 任务尤为重要。
• “智慧而非蛮力”的记忆策略： DC 的自策展 (self-curated) 特性是其成功的关键。它避免了简单地堆砌信息，而是主动提炼、概括和优化知识，这对于有限的上下文窗口 (context window) 和推理效率而言至关重要。这强调了记忆的“质量”远比“数量”更重要。
• 促进工具使用的演化： 模型能够自动发现和存储高效的代码工具，并通过记忆进行重用，这一点非常令人兴奋。它不仅提高了任务准确性，还为 LLM 智能体 (agent) 的自动化 (automation) 和自主性 (autonomy) 奠定了基础，使其能够更智能地选择和利用外部资源。
• 弥合黑盒与演进学习的鸿沟： 对于无法修改参数的商业 LLM 而言，DC 提供了一个实用的、即插即用 (plug-and-play) 的解决方案，使其在保持黑盒特性的同时也能实现持续学习。这极大地扩展了这些强大模型的应用场景。

潜在的问题、未经验证的假设或可以改进的地方：

• 策展器的鲁棒性与偏见： Curator 需要自行评估解决方案的正确性和效率，这在没有真实标签 (ground-truth) 的情况下是一个巨大的挑战。如果 Curator 自身存在偏见或判断错误，错误的启发式方法可能会被存储并放大，导致“劣币驱逐良币”的效应。论文提到了“错误和纠正的聚类”，但这并未完全解决策展器本身的质量控制问题。未来的工作可以探索更复杂的自纠正 (self-correction) 或多模态验证 (multi-modal verification) 机制，或者引入少量人工反馈进行校准。

• 记忆冲突与优先级管理： 随着记忆内容的不断积累，可能会出现相互矛盾或过时的策略。当前的 DC 如何有效解决记忆冲突？如何对不同策略赋予优先级？例如，一个在特定条件下表现优秀的策略，可能在另一组条件下降级。更精细的记忆管理机制，例如基于置信度 (confidence score) 或有效范围 (validity scope) 的记忆权重，可能有助于提升鲁棒性。

• 检索策略的复杂性： 论文提到“检索瓶颈和噪声”，这表明当前的相似性检索可能不够精细。对于复杂问题，可能需要结合语义相似性 (semantic similarity)、推理路径相似性 (reasoning path similarity) 甚至结构相似性 (structural similarity) 进行多维度检索。此外，如何在不同任务领域之间进行记忆的有效切换或融合，也是一个挑战。

• 记忆泛化的局限性： 论文虽然强调了泛化能力，但其成功案例多集中在结构化或半结构化任务（如数学、编程）。对于开放域、高度发散或需要创造性思维的任务，提炼出可泛化的“备忘录”可能更具挑战性。

• 计算开销的权衡： 尽管 DC 旨在减少重复计算，但记忆的维护（策展、检索）本身也引入了额外的计算和词元 (token) 消耗。在实际部署中，如何平衡记忆带来的性能提升与额外的计算开销，尤其是在低延迟 (low-latency) 要求高的场景下，是一个需要仔细权衡的问题。

• 记忆可解释性与透明度： 随着记忆变得越来越复杂，如何理解 LLM 为什么选择某一策略、以及该策略是如何影响最终决策的，可能会变得困难。提高记忆内容和策展过程的可解释性 (interpretability) 对于可靠性 (reliability) 和调试 (debugging) 至关重要。

  总的来说，Dynamic Cheatsheet 提供了一个令人振奋的方向，它将 LLM 从“无记忆”的单次推理推向了更具“经验”和“智慧”的累积学习范式。尽管存在挑战，但其提出的框架为未来构建更智能、更自适应的 AI 系统奠定了坚实的基础。