1. 论文基本信息

1.1. 标题

DEL-ToM: Inference-Time Scaling for Theory-of-Mind Reasoning via Dynamic Epistemic Logic

1.2. 作者

• Yuheng Wu (斯坦福大学)
• Jianwen Xie (Lambda, Inc.)
• Denghui Zhang (史蒂文斯理工学院)
• Zhaozhuo Xu (史蒂文斯理工学院)

1.3. 发表期刊/会议

该论文以预印本 (arXiv preprint) 形式发布。

1.4. 发表年份

2025年 (根据 Published at (UTC) 信息为 2025-01-01T00:00:00.000Z)。

1.5. 摘要

理论心智 (Theory-of-Mind, ToM) 任务对大型语言模型 (LLMs) 构成了独特的挑战，因为它们通常缺乏动态逻辑推理的能力。在这项工作中，我们提出了 DEL-ToM，一个通过推理时缩放 (inference-time scaling) 而非架构改变来改进可验证的 ToM 推理的框架。我们的方法将 ToM 任务分解为一系列基于动态认知逻辑 (Dynamic Epistemic Logic, DEL) 的信念更新，从而实现了结构化和可验证的动态逻辑推理。我们使用通过 DEL 模拟器自动生成的数据来训练一个验证器，我们称之为过程信念模型 (Process Belief Model, PBM)，以对每个信念更新步骤进行评分。在推理过程中，PBM 评估来自 LLM 的候选信念轨迹 (belief traces)，并选择得分最高的轨迹。这使得 LLMs 能够分配额外的推理时计算资源，以产生更透明的推理。跨模型规模和基准的实验表明，DEL-ToM 持续改进性能，证明了可验证的信念监督 (verifiable belief supervision) 显著增强了 LLMs 的 ToM 能力，而无需重新训练。代码可在 https://github.com/joel-wu/DEL-ToM 获取。

1.6. 原文链接

/files/papers/691c896125edee2b759f3360/paper.pdf (预印本状态)

2. 整体概括

2.1. 研究背景与动机

论文关注的核心问题是大型语言模型 (Large Language Models, LLMs) 在处理理论心智 (Theory-of-Mind, ToM) 任务时的局限性。具体来说，LLMs 往往缺乏动态逻辑推理 (dynamic logical reasoning) 的能力，这使得它们难以理解和预测智能体 (agents) 的信念、欲望和意图。

为什么这个问题在当前领域是重要的？

• 社会智能的基础： ToM 是社会智能 (social intelligence) 的基本组成部分，它使智能体能够推断他人的想法、意图或知识，并预测其行为。对于构建能够与人类有效互动、理解人类期望的人工智能智能体至关重要。
• 低资源部署的挑战： 尽管大型 LLMs 在 ToM 任务上表现出一定能力，但这种能力遵循缩放定律 (scaling law)，小型模型表现有限。这对于资源受限的部署场景（如边缘智能体需要推断用户意图）构成了挑战。
• 现有评估的局限性： 当前对 LLMs ToM 能力的评估通常只比较最终输出与真实标签，无法区分正确答案是源于真实推理还是偶然猜测。这导致了现有 ToM 推理的不可验证性 (unverifiable)，难以在实际应用中落地。

现有研究存在哪些具体的挑战或空白？

• LLMs 缺乏动态逻辑推理能力。
• 小型 LLMs 在 ToM 任务上表现不足。
• LLMs 的 ToM 推理过程不透明，缺乏可验证性。

这篇论文的切入点或创新思路是什么？ 论文从过程可靠性主义 (process reliabilism) 的角度切入，认为可验证的 ToM 推理需要一系列可靠地支持最终结论的中间信念状态。其创新思路在于：

1. 将 ToM 推理形式化为基于动态认知逻辑 (Dynamic Epistemic Logic, DEL) 的多步骤动态信念更新过程。
2. 通过推理时缩放 (inference-time scaling) 策略，利用一个专门训练的验证器——过程信念模型 (Process Belief Model, PBM)，来评估和选择最可靠的信念轨迹 (belief traces)。

2.2. 核心贡献/主要发现

论文提出了 DEL-ToM 框架，并通过实验验证了其有效性，核心贡献和主要发现总结如下：

• 新的 ToM 推理视角： 论文将 ToM 推理视为一个过程可靠性问题，将其建模为多步骤动态信念更新过程。通过这种方式，可以应用推理时缩放来选择更可靠的信念轨迹。
• 基于 DEL 的形式化和 PBM 数据集构建： 论文在动态认知逻辑 (DEL) 框架下形式化了 ToM 推理。利用 DEL 模拟器自动生成无噪声监督的信念过程标签，构建了一个高质量的 PBM 数据集，用于训练能够逐步评估推理过程的 PBM。
• 显著提升 LLMs 的 ToM 性能： 通过在不同模型规模和搜索策略下评估所提出的方法，结果表明 DEL-ToM 持续改进了 LLMs 在标准 ToM 基准测试上的性能。这证明了可验证的信念监督 (verifiable belief supervision) 可以在不重新训练模型参数的情况下，显著增强 LLMs 的 ToM 能力。
• 实现推理时缩放的有效性： 论文展示了通过在推理阶段投入更多计算资源（如增加采样轨迹 $N$ 或使用集束搜索），可以获得更可靠的推理结果，尤其能让小型模型达到与大型闭源模型相当甚至超越的性能，同时保持部署效率和成本效益。
• PBM 的泛化能力： PBM 即使在与训练数据分布不同的 ToM 任务上，也能有效提高模型准确率，表明它作为通用验证器的能力。

3. 预备知识与相关工作

3.1. 基础概念

为了理解 DEL-ToM 框架，需要先了解几个核心概念：

3.1.1. 理论心智 (Theory-of-Mind, ToM)

• 概念定义： 理论心智 (ToM) 是指理解他人心理状态（包括信念、愿望、意图、知识、情感等）并根据这些心理状态预测他人行为的能力。它是个体进行社会交往、合作和理解复杂社会情境的基础。例如，知道“小明以为巧克力在柜子里，但他不知道小红把它拿走了”就是一种 ToM 能力。
• 在 LLM 中的挑战： LLMs 模仿人类语言模式的能力很强，但在动态地、逻辑地推断复杂、多层级信念（例如“A 认为 B 认为 C 认为 X 在哪里”）时，往往面临挑战。

3.1.2. 大型语言模型 (Large Language Models, LLMs)

• 概念定义： 大型语言模型 (LLMs) 是指拥有数十亿甚至数千亿参数的深度学习模型，通过在海量文本数据上进行训练，学习语言的统计规律和语义信息。它们能够执行文本生成、摘要、翻译、问答等多种自然语言处理任务。
• 在 ToM 中的应用： 近期研究表明，大型 LLMs 在 ToM 任务上展现出一定能力，但其推理过程通常是黑箱的，且小模型能力有限。

3.1.3. 动态认知逻辑 (Dynamic Epistemic Logic, DEL)

动态认知逻辑 (DEL) 是一种形式逻辑系统，用于建模和推理关于智能体的知识和信念，以及这些知识和信念如何随着事件的发生而动态变化。它建立在 克里普克可能世界语义 (Kripke's possible-world semantics) 基础上。

• 克里普克可能世界语义 (Kripke's possible-world semantics)： 这是模态逻辑 (modal logic) 的标准语义。它通过一组 可能世界 (possible worlds) 来表示不同的状态或情境。在一个给定的世界中，某些命题为真，而在另一个世界中可能为假。智能体的知识或信念被定义为在所有智能体认为“可能”的世界中都为真的命题。这些“可能”的世界通过 可达关系 (accessibility relations) 连接起来。

• DEL 的核心组成部分：

  • 原子命题 (atomic propositions) $\mathcal { P }$： 表示关于世界的基本事实，例如“巧克力在抽屉里”。
  • 智能体 (agents) $\mathcal { A }$： 参与推理的实体，例如“约翰”、“玛丽”。
  • 认知模型 (Epistemic Model) $\mathcal { M }$： 描述智能体的信念状态，将在方法论中详细解释。
  • 事件模型 (Event Model) $\varepsilon$： 描述发生的动作或事件，以及这些事件如何影响智能体的信念，也将在方法论中详细解释。
  • 产品更新 (Product Update)： 结合认知模型和事件模型，计算事件发生后新的信念状态，同样将在方法论中详细解释。

3.1.4. 过程可靠性主义 (Process Reliabilism)

• 概念定义： 过程可靠性主义 (Process Reliabilism) 是一种认识论 (epistemology) 理论，它认为一个信念是正当的或有证成的 (justified)，当且仅当它是由一个可靠的过程（如视觉、记忆、推理等）产生的。一个可靠的过程是指在正常运作下，倾向于产生真信念的过程。
• 在 ToM 中的应用： 论文借鉴这一思想，提出可验证的 ToM 推理需要一个可靠的中间信念状态序列，而不仅仅是最终结果的正确性。通过 DEL 形式化这个过程，并用 PBM 评估每一步的可靠性。

3.1.5. 推理时缩放 (Inference-Time Scaling)

• 概念定义： 推理时缩放 (Inference-Time Scaling) 是一种在不改变模型架构或重新训练模型参数的前提下，通过在模型推理阶段投入额外计算资源来提升模型性能的策略。这与增加模型规模或在训练阶段投入更多资源形成对比。
• 常见方法： 包括生成多个候选答案并进行选择（例如 N-最佳选择 (Best-of-N, BoN)），或者通过搜索算法（例如 集束搜索 (Beam Search)）探索推理路径。
• 在 DEL-ToM 中的应用： DEL-ToM 利用 PBM 来指导 BoN 和 集束搜索 这两种 推理时缩放 策略，以选择最可靠的信念轨迹。

3.2. 前人工作

论文在相关工作部分提及了多个与 DEL-ToM 相关的研究方向：

3.2.1. DEL 及其与 ToM 的联系

• 历史渊源： DEL 的发展可追溯到 Hintikka 关于知识和信念的可能世界模型 (Hintikka, 1962) 和 Kripke 的形式语义 (Kripke, 1963)。随后，它通过对信息变化的建模 (Baltag et al., 1998) 而演进。
• 形式化统一： Van Ditmarsch et al. (2007) 将 DEL 统一为认知模型、事件模型和产品更新的框架，用于表示和更新智能体的信念。这与 ToM 中关于他人信念推理的核心概念自然吻合。
• 早期认知模型： Bolander and Andersen (2011) 使用 DEL 模拟多智能体环境中的信念变化，展示了其在结构化信念推理中的适用性。
• 逻辑模拟器： Bolander (2014) 和 Hansen and Bolander (2020) 使用基于逻辑的模拟器为信念更新提供符号监督 (symbolic supervision)。
• 本文的定位： DEL-ToM 继承并发展了这一路线，不仅将 DEL 作为建模信念的形式化工具，更将其作为 推理时缩放 的支架，以实现 ToM 任务中组合式和可验证的推理。

3.2.2. LLMs 的推理时缩放

• 替代模型规模增长： 近期工作将 推理时缩放 视为提高推理能力的一种替代方法，而非简单地增加模型规模 (Beeching et al., 2024; Muennighoff et al., 2025)。
• 两种主要范式：
  • 单轨迹缩放 (single-trace scaling)： 鼓励在单个推理路径中进行更深入的推理，通常通过强化学习 (Guo et al., 2025a; Cheng et al., 2025) 或从更强大的教师模型中进行知识蒸馏 (Li et al., 2025)。
  • 多轨迹缩放 (multi-trace scaling)： 并行生成多个推理轨迹，并通过投票 (Wang et al., 2023, 2025) 或外部验证器 (Wang et al., 2024; Sun et al., 2024; Guo et al., 2025b; Saad-Falcon et 1 al., 2025) 选择最佳结果。
• 结合搜索算法： 还有工作将多轨迹生成与搜索算法（如树搜索和集束搜索）结合，逐步优化推理 (Zhang et al., 2024; Lin et al., 2025)。
• 本文的定位： DEL-ToM 遵循 多轨迹缩放 范式，并引入 PBM 指导的选择机制，将 推理时缩放 扩展到 ToM 任务。

3.3. 技术演进

ToM 研究从认知科学和哲学领域发端，探讨人类如何理解他人心智。随着人工智能的发展，特别是 LLMs 的兴起，研究者开始评估这些模型是否具备 ToM 能力。早期评估多停留在最终答案的准确性，但模型的黑箱特性和推理过程的不可验证性成为瓶颈。

与此同时，形式逻辑领域，特别是 DEL，为建模多智能体的知识和信念变化提供了严谨的数学框架。它能够精确描述“A 知道 B 相信 C 做了什么”这样的复杂信念结构。

本文的工作正是在这两个领域交汇处。一方面，它利用 DEL 的形式化能力，为 LLMs 的 ToM 推理过程提供结构化和可验证的骨架。另一方面，它结合了 推理时缩放 的思想，通过引入一个 PBM，在不修改 LLM 本身架构的情况下，提升其 ToM 性能，并增强了推理过程的透明度和可靠性。这种结合标志着 LLMs 从单纯的模式匹配向更深层次的逻辑推理和可解释性迈进。

3.4. 差异化分析

DEL-ToM 与现有工作的核心区别和创新点在于：

• 验证机制的来源： 多数 推理时缩放 方法（尤其是 多轨迹缩放）依赖于投票或由 LLM 自身生成或人类标注的奖励模型。DEL-ToM 则利用 DEL 模拟器自动生成高质量、无噪声的 过程级标签 (process-level labels) 来训练 PBM。这种 DEL 驱动的监督机制保证了验证器的准确性和逻辑严谨性，提供了比其他奖励模型更“真”的 真值 (Ground Truth)。
• 推理过程的结构化与可验证性： 不同于一般 LLM 任务中对最终答案的评估，DEL-ToM 将 ToM 任务分解为基于 DEL 的一系列信念更新步骤。PBM 对每一步进行评分，使得推理过程透明化、结构化，并具备了可验证性，这是现有 LLM ToM 评估方法所缺乏的。
• 聚焦动态逻辑推理： DEL-ToM 明确利用 DEL 的能力来处理 ToM 任务中的 动态逻辑推理，即信念如何随着事件的发生而演变。这使得它能够更好地处理复杂的多阶信念更新。
• 不改变基础 LLM： DEL-ToM 是一种 推理时缩放 框架，这意味着它不需要对底层的 LLM 进行 微调 (fine-tuning) 或重新训练，从而具有更强的通用性和部署灵活性，能够应用于任何现有的 LLM。这与 RL 或 蒸馏 (distillation) 等需要重新训练或微调模型参数的方法形成对比。
• 对小模型的赋能： 论文实验结果表明，DEL-ToM 能够显著提升小型 LLM 的 ToM 性能，使其能够与甚至超越大型 SOTA 模型，这对于资源受限的部署场景具有重要意义。

4. 方法论

DEL-ToM 框架的核心思想是将 理论心智 (ToM) 推理视为一个多步骤的 动态信念更新 (dynamic belief-update) 过程，并通过 动态认知逻辑 (Dynamic Epistemic Logic, DEL) 进行形式化。在此基础上，训练一个 过程信念模型 (Process Belief Model, PBM) 来评估 大型语言模型 (LLMs) 生成的每一步信念更新，从而在推理时选择最可靠的信念轨迹。

4.1. 方法原理

所用方法的核心思想是：复杂的 ToM 推理可以被分解为一系列离散的信念状态更新。每一个行动或事件都会触发一次信念更新，改变智能体关于世界和其他智能体信念的认知。如果能准确地评估和指导这些中间信念更新的质量，就能提升最终 ToM 任务的准确性和可验证性。DEL 提供了一个严谨的数学框架来描述这些信念状态和更新规则，而 PBM 则充当了一个“裁判”，对 LLM 生成的每一步 DEL 形式化的推理进行打分，指导 LLM 寻找最佳推理路径。

4.2. 核心方法详解

4.2.1. 将 ToM 推理形式化为 DEL

论文将 ToM 推理形式化到 DEL 框架中，DEL 基于 克里普克可能世界语义 (Kripke's possible-world semantics)。

• 语言定义： 设 $\mathcal { P }$ 是一个可数的 原子命题 (atomic propositions) 集合，表示关于世界的基本事实（例如，“巧克力在抽屉里”）。设 $\mathcal { A }$ 是一个有限、非空的 智能体 (agents) 集合（例如，“约翰”、“玛丽”）。认知语言 $\mathcal { L } ( \mathcal { P } , \mathcal { A } )$ 由以下 巴克斯-诺尔范式 (Backus-Naur form) 定义：

  $$\varphi : : = p \mid \neg \varphi \mid \varphi \land \varphi \mid B _ { i } \varphi ,$$

  其中 $p \in \mathcal { P }$, $i \in \mathcal { A }$, 且 $\varphi$ 表示 良构公式 (well-formed formulas)。公式 $B _ { i } \varphi$ 被解读为“智能体 $i$ 相信 $\varphi$”。例如，“约翰相信巧克力在抽屉里”可以写成 $B _ { \mathrm { J o h n } } ( c h o c o l a t e \_i n \_ d r a w e r )$。

• 认知模型 (Epistemic Model)： 定义 1 (认知模型). 一个关于智能体集合 $\mathcal { A }$ 和命题集合 $\mathcal { P }$ 的 认知模型 (Epistemic Model) 是一个三元组 $\mathcal { M } = ( W , R , V )$，其中：

  • $W$ 是 可能世界 (possible worlds) 的集合，每个世界是对 $\mathcal { P }$ 的完整赋值；

  • $R : { \mathcal { A } } 2 ^ { W \times W }$ 为每个智能体 $a \in { \mathcal { A } }$ 分配一个 可达关系 (accessibility relation) R _ { a }；

  • $V : \mathcal { P } 2 ^ { W }$ 将每个原子命题 $p \in \mathcal P$ 映射到 $p$ 为真的世界集合。

    一个 状态 (state) 是一个 有基点的认知模型 (pointed epistemic model) $( \mathcal { M } , w )$，其中 $w \in W$ 是被指定的 实际世界 (actual world)。 我们用 w R _ { a } v 表示世界 $v$ 在智能体 $a$ 看来可以从世界 $w$ 到达：在世界 $w$ 中，智能体 $a$ 认为 $v$ 是可能的。

  基于 认知模型 (Epistemic Model) $\mathcal { M } = ( W , R , V )$ 和指定世界 $w \in W$，对于 $\mathcal { L } ( \mathcal { P } , \mathcal { A } )$ 的 满足关系 (satisfaction relation) $\vDash$ 定义如下：

  • ${ \mathcal { M } } , w \models p$ 当且仅当 $w \in V ( p )$；
  • $\mathcal { M } , w \models B _ { a } \varphi$ 当且仅当对于所有 $v \in W$ 使得 w R _ { a } v，我们有 $\mathcal { M } , v \models \varphi$。 （解释：智能体 $a$ 相信 $\varphi$ 意味着在所有 $a$ 认为可能的世界中，$\varphi$ 都为真。）

• 事件模型 (Event Model)： 定义 2 (事件模型). 一个 事件模型 (Event Model) 是一个四元组 $\varepsilon = ( E , Q$ , pre, post)，其中：

  • $E$ 是一个有限、非空的 事件 (events) 集合；

  • $Q : { \mathcal { A } } 2 ^ { E \times E }$ 为每个智能体 $a \in { \mathcal { A } }$ 分配一个事件上的 不可区分关系 (indistinguishability relation) Q _ { a }；

  • pre : $E { \mathcal { L } } ( { \mathcal { P } } , { \mathcal { A } } )$ 为每个 $e \in E$ 分配一个 前置条件 (precondition)，指定事件 $e$ 何时可执行；

  • post : $E { \mathcal { L } } ( { \mathcal { P } } , { \mathcal { A } } )$ 为每个 $e \in E$ 分配一个 后置条件 (postcondition)，描述世界如何因事件 $e$ 发生而改变。

    我们称一个 有基点的事件模型 (pointed event model) $( \varepsilon , e )$ 为一个 行动 (action)，其中 $e \in E$ 是实际发生的事件。

• 产品更新 (Product Update)： 定义 3 (产品更新). 设 $( \mathcal { M } , w )$ 是一个状态，其中 $\mathcal { M } = ( W , R , V )$，设 $( \varepsilon , e )$ 是一个行动，其中 $\varepsilon = ( E , Q$ , pre, post)。假设前置条件得到满足，即 $\mathcal { M } , w \Vdash \mathsf { p r e } ( e )$。那么 产品更新 (product update) 结果是一个新的状态 $( \mathcal { M } ^ { \prime } , ( w , e ) )$，其中更新后的 认知模型 (epistemic model) $\mathcal { M } ^ { \prime } = \left( W ^ { \prime } , R ^ { \prime } , V ^ { \prime } \right)$ 定义如下：

  • $W ^ { \prime } = \{ ( w ^ { \prime } , e ^ { \prime } ) \in W \times E \mid \mathcal { M } , w ^ { \prime } \mid = \mathsf { p r e } ( e ^ { \prime } ) \}$； （解释：新的可能世界集合 $W'$ 由原始世界 $W$ 和事件 $E$ 的笛卡尔积中，满足事件前置条件的世界-事件对组成。）
  • 对于每个 $a \in { \mathcal { A } }$， ${ \cal R } _ { a } ^ { \prime } = \{ ( w ^ { \prime } , e ^ { \prime } ) , ( v ^ { \prime } , f ^ { \prime } ) ) \in$ $W ^ { \prime } \times W ^ { \prime } \mid w ^ { \prime } R _ { a } v ^ { \prime } \wedge e ^ { \prime } Q _ { a } f ^ { \prime } \}$； （解释：新的可达关系 $R_a'$ 由原始可达关系 $R_a$ 和事件的不可区分关系 $Q_a$ 共同决定。如果智能体 $a$ 在旧世界中认为 $v'$ 是 $w'$ 的可能世界，并且在事件发生时认为 $f'$ 和 $e'$ 是不可区分的，那么在新状态中，$a$ 仍然认为 (v', f') 是 (w', e') 的可能世界。）
  • $( w ^ { \prime } , e ^ { \prime } ) \in V ^ { \prime } ( p )$ 当且仅当 $\mathsf { p o s t } ( e ^ { \prime } ) \mid = p$ 或 $( \mathcal { M } , \boldsymbol { w ^ { \prime } } \models p \wedge { \mathsf { p o s t } } ( e ^ { \prime } ) \not \Vdash \neg p )$，对于每个 $p \in \mathcal P$。 （解释：新的赋值函数 $V'$ 决定原子命题 $p$ 在新世界 (w', e') 中是否为真。这取决于事件 $e'$ 的后置条件是否直接使 $p$ 为真，或者在原始世界 $w'$ 中 $p$ 为真且 $e'$ 的后置条件不使 $\neg p$ 为真。）

• 将 DEL 应用于 ToM 推理的示例： 论文通过图 2（图像 2）中的状态 4-6 来阐述 DEL 的应用。

  • 在 状态 4：玛丽和爱丽丝都在场，观察到巧克力在桌子上，因此 $\mathcal { M } , w _ { 4 } \ : | = \ : t a b l e$ （巧克力在桌子上为真）并且 $R _ { M } = R _ { A } = \left\{ \left( w _ { 4 } , w _ { 4 } \right) \right\}$（玛丽和爱丽丝只认为实际世界 $w_4$ 是可能的）。
  • 在 行动 5：玛丽离开厨房，其 前置条件 (precondition) $\mathsf { p r e } ( e _ { 5 } ) = { \top }$（总是为真），后置条件 (postcondition) $\mathsf { p o s t } ( e _ { 5 } ) = t a b l e$（事实不变），所以玛丽将不再观察后续行动。
  • 在 行动 6：爱丽丝将巧克力移到橱柜中，其 前置条件 (precondition) $\mathsf { p r e } ( e _ { 6 } ) = { \mathsf { T } }$，后置条件 (postcondition) $\mathsf { p o s t } ( e _ { 6 } ) ~ =$ cupboard $\wedge$ —table（巧克力在橱柜里且不在桌子上）。
  • 经过 产品更新 (product update) 后，实际状态 $( \mathcal { M } , w _ { 6 } )$ 满足 $\mathcal { M } , w _ { 6 } \doteq c u p b o a r d$（巧克力实际在橱柜里）。
  • 爱丽丝的 可达关系 (accessibility relation) $R _ { A } ^ { \prime }$ 指向 橱柜世界 (cupboard-worlds)，而玛丽的 可达关系 (accessibility relation) $R _ { M } ^ { \prime }$ 仍然指向 桌子世界 (table-world)（因为她离开了，不知道后续移动）。
  • 因此，推导出： $$\begin{array} { r l } & { \mathcal { M } , w _ { 6 } \vdash B _ { \mathrm { M a r y } } B _ { \mathrm { A l i c e } } \varphi } \\ & { \iff \forall v ( w _ { 6 } R _ { M } ^ { \prime } v \Rightarrow \mathcal { M } , v \vdash B _ { A } \varphi ) } \\ & { \iff \mathcal { M } , w _ { 4 } \vdash B _ { \mathrm { A l i c e } } \varphi } \\ & { \iff \forall u ( w _ { 4 } R _ { A } ^ { \prime } u \Rightarrow \mathcal { M } , u \vdash \varphi ) } \\ & { \iff \mathcal { M } , w _ { 4 } \vdash \varphi , } \end{array}$$ 其中 $\varphi$ 表示“巧克力在桌子上”。这说明玛丽认为爱丽丝相信巧克力在桌子上。此例表明 DEL 推理的核心在于在每个状态下构建正确的 可达关系 (accessibility relations) $R$，找到与智能体信念兼容的世界。

4.2.2. 构建过程信念模型 (PBM)

过程信念模型 (PBM) 旨在评估 LLM 生成的 信念轨迹 (belief traces) 的每一步。

• 通过 DEL 生成过程级标签 (Generating Process-Level Labels via DEL)：

  • 论文将 DEL 模拟器 (DEL simulator) 集成到 Hi-ToM 生成器中 (Wu et al., 2023)，合成了 20,000 个带有 过程标签 (process labels) 的 ToM 故事。
  • 对于每个故事，在每个行动步骤，根据行动的语义以及观察是公开还是私密的，更新 可达关系 (accessibility relations) $R$，并记录信念状态到轨迹集合中。
  • 这些 DEL 生成的标签是无噪声的，保证了正确性。

• 数据集组装 (Dataset Assembly)：

  • 对于每个合成的故事，论文提示 GPT-4o-mini (Hurst et al., 2024) 以 DEL 格式生成逐步的信念更新。
  • 然后将 LLM 生成的轨迹与 DEL 生成的每步标签配对，形成训练实例，为 过程级奖励建模 (process-level reward modeling) 提供正例和负例监督。

• 训练 PBM (Training the PBM)：

  • PBM 是一个评分函数 $f : \mathcal { Q } \times \mathcal { S } \mathbb { R } ^ { + }$，它为 GPT-4o-mini 生成的信念轨迹 $s$ 中的每一步 s _ { i } 赋予一个分数，给定 ToM 问题 $q$。

  • 这被视为一个 二元分类任务 (binary classification task)：根据 DEL 生成的信念轨迹，每一步被标记为正确或不正确。

  • 模型使用以下 二元交叉熵损失 (binary cross-entropy loss) 进行训练：

    $$\begin{array} { l } { \displaystyle \mathcal { L } _ { \mathrm { P B M } } = - \sum _ { i = 1 } ^ { K } { y _ { s } \log f ( s _ { i } ) } } \\ { \displaystyle - \sum _ { i = 1 } ^ { K } ( 1 - y _ { s _ { i } } ) \log ( 1 - f ( s _ { i } ) ) , } \end{array}$$

    其中：

    • $K$ 是步骤的数量。
    • y _ { s _ { i } } 是 二元标签 (binary label)，表示步骤 $s_i$ 是否正确（1 代表正确，0 代表不正确）。
    • $f ( s _ { i } )$ 是 PBM 对步骤 $s_i$ 预测的得分（介于 0 和 1 之间）。
    • 损失函数 (Loss function) 的目标是最小化预测得分与真实标签之间的差异。

4.2.3. 推理时缩放流程 (Inference-Time Scaling Pipeline)

论文探讨了两种 推理时缩放 策略，利用 PBM 来指导 信念轨迹 的排名和选择。

• 集束搜索 (Beam Search)： 集束搜索 是一种解码方法，在生成过程中维护多个部分信念轨迹。

  • 在每个行动步骤，LLM 观察到目前的轨迹，并为当前状态提出多个候选信念更新。
  • PBM 对这些候选进行评分，并选择一个得分较高的子集以继续推理。
  • 这个过程重复进行，直到所有行动都被处理完毕。
  • 形式化过程：
    1. 用从模型中采样的 $k$ 个候选第一步更新初始化 $k$ 个 集束 (beams)。
    2. 用 $b$ 个下一步候选扩展每个 集束，生成 $k \times b$ 条部分路径。
    3. 用 PBM 对每条路径进行评分，按最新一步的得分进行排名。
    4. 保留得分最高的 $k$ 条路径，并迭代此过程，直到达到序列结束或最大深度。

• N-最佳选择 (Best-of-N, BoN)： BoN 方法则不同，LLM 在阅读整个故事后，生成 $N$ 条完整的信念轨迹。

  • PBM 对这些轨迹中的每一步进行评分。

  • 将 步级评分 (step-wise scores) 聚合为 过程级奖励 (process-level reward)。

  • 重新排名候选轨迹，识别出最可靠的轨迹作为最终输出。

  • 用于计算轨迹级分数的聚合规则：

    • 最后一步 (Last)：使用最后一步的 PBM 分数。
    • 最小值 (Min)：使用所有步骤中的最低分数。
    • 平均值 (Avg)：使用所有步骤分数的平均值。
    • 乘积 (Prod)：将所有步骤的分数相乘。
    • 多数投票 (Majority)：不使用 PBM，而是通过简单多数投票选择最终答案（仅聚合最终答案，而非过程）。

  • 基于聚合分数的两种排名策略：

    • 香草 BoN (Vanilla BoN)：选择 PBM 分数最高的单个轨迹。

    • 加权 BoN (Weighted BoN)：将轨迹按其最终答案分组，形成候选集合 $\mathcal { V } = \{ y _ { 1 } , y _ { 2 } , . . . \}$。然后对每个组内的 PBM 分数求和，并选择总分最高的答案 $\hat { y }$：

      $$\boldsymbol { \hat { y } } = \arg \operatorname* { m a x } _ { \boldsymbol { y } \in \mathcal { V } } \sum _ { i = 1 } ^ { N } \mathbb { 1 } \left( \boldsymbol { y } _ { i } = \boldsymbol { y } \right) \cdot \mathrm { P B M } ( \boldsymbol { p } , t _ { i } ) ,$$

      其中：

      • $\boldsymbol { \hat { y } }$ 是被选中的最终答案。
      • $\mathcal { V }$ 是所有不同最终答案的集合。
      • $N$ 是生成的总轨迹数量。
      • $\mathbb { 1 } \left( \boldsymbol { y } _ { i } = \boldsymbol { y } \right)$ 是 指示函数 (indicator function)，当轨迹 $t_i$ 的最终答案 $y_i$ 等于当前考虑的答案 $\boldsymbol { y }$ 时，其值为 1，否则为 0。
      • $\mathrm { P B M } ( \boldsymbol { p } , t _ { i } )$ 是 PBM 为轨迹 $t_i$ 计算的 过程级奖励 (process-level reward)（基于上面选择的聚合规则）。 （解释：这个公式意味着对于每一个可能的最终答案 $\boldsymbol{y}$，我们都找出所有导向这个答案的轨迹，并将这些轨迹的 PBM 评分加总。最终选择总分最高的答案作为模型输出。）

5. 实验设置

5.1. 数据集

实验在两个 ToM 数据集上进行评估：

• Hi-ToM (Wu et al., 2023)： 这是一个用于评估 LLMs 高阶 ToM 推理能力的基准数据集。在本文中，评估仅限于 单章节故事 (one-chapter stories)。
  • 特点： Hi-ToM 故事通常涉及多个智能体，以及复杂的信念层级（例如，“A 认为 B 认为 C 认为 X”），这要求模型进行多步的信念更新和推理。
• Kosinski's dataset (Kosinski, 2024)： 这个数据集包含手写场景，带有 错误信念 (false-belief) 和 真实信念 (true-belief) 控制。
  • 特点： 实验中，评估范围被限制在 意外转移任务 (unexpected transfer task)。这类任务通常涉及一个物体被移动而主角不知情，模型需要根据主角的过时信念来预测其行为。这代表了一种更经典的 ToM 任务类型，用于测试 PBM 在 域外 (out-of-domain) 数据上的泛化能力。

数据集中的具体样本示例 论文提供了 提示模板 (Prompt Templates)，其中包含一个 Hi-ToM 风格的示例故事和问题，以及预期的 推理轨迹 (Trace)。这有助于理解数据的形态和推理过程的要求。

以下是原文附录 A 中提供的示例故事片段和问题格式：

Here is a story that unfolds in chronological order.

You will be asked a question about the story, which may involve either: (1) Locating an object, or (2) Inferring an agent's mental state (e.g., what A thinks B thinks C thinks).

To solve it, think step-by-step. At each step, repeat the current line from the story, then explain its effect on beliefs. Use [Null] if someone does not yet have knowledge. If a belief chain cannot be formed (e.g., some agent exited too early), freeze belief at the last available step.

<Note> {note}

In public or private communication:

- The speaker believes the listener will believe the claim. If the listener exited the room earlier than the speaker, they will believe it.

  If the question is zero-order (e.g., "Where is X really?"), then in each step, only track the actual location of the object (e.g., "X is in [Y]"). You do not need to track nested beliefs.

Here is an example: <Story>

1 Amelia, Chloe, Liam, Owen and Benjamin entered the TV_room.   
2 The celery is in the red_envelope.   
3 Amelia made no movements and stayed in the TV_room for 1 minute.   
4 Chloe lost his watch.   
5 Amelia exited the TV_room.   
6 Chloe moved the celery to the green_bucket.   
7 Chloe exited the TV_room.   
8 Liam moved the celery to the red_bathtub.   
9 Liam exited the TV_room.   
10 Owen made no movements and stayed in the Tv_room for 1 minute.   
11 Owen exited the TV_room.   
12 Benjamin made no movements and stayed in the TV_room for 1 minute.   
13 Benjamin exited the TV_room.   
14 Amelia, Chloe, Liam, Owen and Benjamin entered the waiting_room.   
15 Liam publicly claimed that celery is in the white_bathtub now.   
16 Benjamin privately told Liam that the celery is in the blue_drawer now.

<Question> Where does Owen think Liam thinks Chloe thinks the celery is?

<Trace>   
## Step 1 ##   
Amelia, Chloe, Liam, Owen and Benjamin entered the Ty_room. Everyone is present, but the celery's location is still unknown. Owen thinks Liam thinks Chloe thinks the celery is in [Null] ## Step 2 ##   
The celery is in the red_envelope.   
Everyone observes this.   
Owen thinks Liam thinks Chloe thinks the celery is in [red_envelope]

## Step 3 ##

Amelia made no movements and stayed in the TV_room for 1 minute.   
No effect.

Owen thinks Liam thinks Chloe thinks the celery is in [red_envelope]

## Step 4 ##   
Chloe lost his watch.   
Irrelevant.   
Owen thinks Liam thinks Chloe thinks the celery is in [red_envelope]   
## Step 5 ##   
Amelia exited the TV_room.   
Irrelevant.   
Owen thinks Liam thinks Chloe thinks the celery is in [red_envelope]   
## Step 6 ##   
Chloe moved the celery to the green_bucket.   
Only Chloe, Liam, Owen, Benjamin are present. They all see this move. Owen thinks Liam thinks Chloe thinks the celery is in [green_bucket]   
## Step 7 ##   
Chloe exited the TV_room.   
Chloe's belief frozen; still [green_bucket]   
Owen thinks Liam thinks Chloe thinks the celery is in [green_bucket]   
## Step 8 ##   
Liam moved the celery to the red_bathtub.   
Only Liam, Owen, Benjamin present. They observe the move. Chloe not present, so her belief unchanged.   
Owen thinks Liam thinks Chloe thinks the celery is in [green_bucket]   
## Step 9 ##   
Liam exited the TV_room.   
No change.   
Owen thinks Liam thinks Chloe thinks the celery is in [green_bucket]   
## Step 10 ##   
Owen made no movements and stayed in the Tv_room for 1 minute.   
Irrelevant.   
Owen thinks Liam thinks Chloe thinks the celery is in [green_bucket]   
## Step 11 ##   
Owen exited the TV_room.   
Owen's belief frozen.   
Owen thinks Liam thinks Chloe thinks the celery is in [green_bucket]   
## Step 12 ##   
Benjamin made no movements and stayed in the TV_room for 1 minute.   
Irrelevant.   
Owen thinks Liam thinks Chloe thinks the celery is in [green_bucket]   
## Step 13 ##   
Benjamin exited the TV_room.   
No change.   
Owen thinks Liam thinks Chloe thinks the celery is in [green_bucket]   
## Step 14 ##   
Everyone entered the waiting_room.   
No effect on beliefs.   
Owen thinks Liam thinks Chloe thinks the celery is in [green_bucket]

## Step 15 ##

Liam publicly claimed that celery is in the white_bathtub now.

ven hears this statement. However, public speech only affects first- and second-order beliefs (e.g., what Liam believes, what Owen thinks Liam believes, and what Liam thinks Owen believes). It does not change Owen's belief about what Liam thinks Chloe thinks.

wen thinks Liam thinks Chloe thinks the celery is in [green_bucket]

## Step 16 ##

Benjamin privately told Liam that the celery is in the blue_drawer now.   
Owen does not hear this, but more importantly, private communication only affects beliefs between the speaker and the listener. It can change what Liam believes (based on exit order), or what Liam thinks Benjamin believes (based on exit order), or what Benjamin thinks Liam believes (always change ) - but it cannot affect higher-order beliefs. So this does not change Owen 's belief about what Liam thinks Chloe thinks.

Give a step-by-step trace as in the example. Then, give the final answer in one line like:

Final Answer: [your choice]

5.2. 评估指标

论文使用 最终答案准确率 (final answer accuracy) 作为主要的评估指标。

• 概念定义： 最终答案准确率 (final answer accuracy) 衡量模型在 ToM 任务中对问题给出正确最终答案的比例。在 ToM 任务中，这通常意味着模型正确预测了某个智能体关于物体位置或另一个智能体信念的最终状态。
• 数学公式： $$\text{Accuracy} = \frac{\text{Number of Correct Predictions}}{\text{Total Number of Predictions}}$$
• 符号解释：
  • Number of Correct Predictions：模型给出正确最终答案的问题数量。
  • Total Number of Predictions：评估中所有问题的总数量。

5.3. 对比基线

论文将 DEL-ToM 方法与一系列 LLMs 进行了比较，这些模型涵盖了不同的规模和开源/闭源类型：

• 开源模型系列：
  • Qwen3 系列：0.6B, 1.7B, 4B, 8B (Yang et al. 2025)
  • Llama3.2 系列：1B, 3B (Grattafiori et al., 2024)
• 闭源模型：
  • gpt-4.1
  • gpt-4o
  • gpt-4.1-mini
  • gpt-4o-mini
• 其他基线模型：

  • 04-mini (与 gpt-4o-mini 类似)

  • gpt-4.1-nano

  • Qwen3-235B-A22B (Yang et al., 2025)

  • DeepSeek-V3 (Liu et al., 2024)

  • OLMo-2-0325-32B (Walsh et al., 2025)

    这些基线模型代表了当前 LLM 领域的不同规模和能力水平，包括了最新的开源模型和主流的闭源 API 模型，确保了比较的全面性和代表性。所有模型都在其默认生成设置下进行评估，并使用一致的提示格式。

5.4. 平台与 PBM 训练

• 平台： 所有实验均在单个 NVIDIA GH200 GPU 节点上进行。为了高效的批处理推理和大规模解码，使用了 vLLM 框架 (Kwon et al., 2023)。
• PBM 训练： PBM 是基于 Llama3.1-8B-Instruct (Grattafiori et al., 2024) 进行 微调 (fine-tuning) 的。模型使用论文合成的数据集进行训练，训练了 1 个 周期 (epoch)。

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. Hi-ToM 数据集上的结果

以下是原文 Table 1 展示的 Hi-ToM 数据集上使用 BoN 和 集束搜索 (Beam Search) 进行 推理时缩放 的结果：

• PBM 的普遍提升效果： 从 Table 1 可以看出，无论是在 BoN 还是 集束搜索 设置下，整合 PBM 都一致地提升了所有 LLMs 的 ToM 推理性能。
  • 例如，Llama3.2-3B 的平均准确率提高了 33.6 个百分点（从 47.4 到 81.0）。
  • Qwen3-4B 的平均准确率提高了 9.4 个百分点（从 75.1 到 84.5）。
  • 即使是 gpt 系列的闭源模型，也显示出明显的性能提升。gpt-4o-mini 的平均准确率从 75.0 提升到 93.5，提升了 18.5 个百分点。
• 高阶信念推理的挑战与提升： 随着信念阶数（例如，0-th Order 到 4-th Order）的增加，基线模型的性能通常会下降，反映了高阶 ToM 推理的固有难度。然而，PBM 在所有信念阶数上都带来了显著的性能提升，尤其是在高阶信念任务中，提升幅度往往更大。例如，Llama3.2-3B 在 4-th Order 任务上从 36.8 提升到 75.0，提升了 38.2 个百分点。
• 集束搜索的特殊表现： 值得注意的是，Qwen3-8B 在基线设置下表现不如 Qwen3-4B，但经过 PBM 指导的 集束搜索 后，其准确率达到 87.0，成为表现最佳的模型之一，这表明 PBM 能够解锁模型潜在的高阶推理能力。

6.1.2. 与最先进 LLMs 的比较

以下是原文 Table 2 展示的 Hi-ToM 数据集上与最先进 LLMs 的比较结果：

• 小模型超越大模型： Table 2 的结果强调了 PBM 在 推理时缩放 ToM 推理方面的有效性。较小的开源模型在应用 PBM 后，能够匹敌甚至超越许多更大的 LLMs。
  • 例如，Qwen3-4B+PBM 的平均准确率达到 84.5，超过了 gpt-4.1 (83.5)、DeepSeek-V3 (82.5) 和 OLMo-32B (63.0)。
  • Llama3.2-3B+PBM (81.0) 表现与 gpt-4.1-mini (78.0) 相当。
• 这表明 DEL-ToM 提供了一种高效的途径，使得资源受限的部署场景也能实现强大的 ToM 能力，而无需依赖庞大的模型。

6.1.3. 缩放测试时计算以进行 ToM 推理

以下是原文 Figure 3 展示的 Qwen3-4B 在 Hi-ToM 数据集上不同预算 $N$ 下 BoN 解码的准确率：

该图像是图表, 展示了 Qwen3-4B 在 Hi-ToM 数据集上的 Vanilla 和 Weighted 最佳解码策略的准确性。图中展示了不同预算 $N$（表示路径数量）下的准确率变化，其中 (a) 为 Vanilla 策略，(b) 为 Weighted 策略。

Figure 3: Accuracy of BoN decoding on Qwen3-4B across different budgets $N$ in the Hi-ToM dataset. Results are shown for (a) Vanilla and (b) Weighted aggregation strategies.

• PBM 对性能的指导作用： Figure 3 显示，只有在 PBM 的指导下，增加采样的信念轨迹数量 $N$ 才能有效提升 ToM 性能。当 $N$ 增加时，基线模型（没有 PBM 指导）的性能几乎没有提升，甚至可能因为引入更多噪声而下降。
• 聚合策略的有效性： 在 PBM 指导下，最小值 (min) 和 乘积 (prod) 聚合策略表现最可靠，它们能有效识别并惩罚轨迹中的错误步骤。
• 平均值和最后一步策略的局限性： 平均值 (avg) 和 最后一步 (last) 策略在 加权聚合 (weighted aggregation) 下表现往往不佳，这可能因为它们对早期或中间步骤的错误不够敏感，或者容易被部分正确的轨迹误导。
• 多数投票的失败： 多数投票 (majority voting) 未能提高准确率。论文在附录 B 中提供了理论分析，解释了 多数投票 容易受到 投票稀释 (vote dilution) 的影响：如果轨迹中正确步骤的概率 $q^K$ 较低（对于小模型或困难的 ToM 问题），错误的轨迹可能会聚集在某些错误的答案上，从而主导投票结果。这表明 ToM 任务需要评估中间信念状态，而非简单聚合最终答案。

6.1.4. BoN vs. 集束搜索

实验结果表明，BoN 和 集束搜索 这两种 推理时缩放 策略在准确率上表现相当。然而：

• 集束搜索的局限性： 集束搜索 在较小或较弱的模型上往往难以可靠地生成有效的中间推理步骤，这使得 PBM 的评估变得不可行。
• BoN 的优势： 相比之下，BoN 可以一次性生成完整的信念轨迹。即使某些步骤存在噪声，PBM 也能有效地工作，并且通过 vLLM 等高吞吐量后端可以高效生成大量候选轨迹。
• 推荐： 因此，论文推荐 BoN 作为 ToM 推理中首选的 推理时缩放 方法。

6.1.5. 域外 ToM 数据集上的结果

以下是原文 Table 3 展示的 Kosinski (Kosinski, 2024) 数据集上 BoN ($N=1024$) 推理时缩放 的结果：

• PBM 的泛化能力： 尽管 PBM 是在 Hi-ToM 风格的合成数据上训练的，但 Table 3 的结果表明它能泛化到来自不同分布的 Kosinski 数据集。在所有模型上，PBM 都提高了准确率。
  • 例如，Qwen3-4B 的平均准确率从 84.4 提升到 89.4。
  • Qwen3-1.7B 的提升尤为显著，从 18.1 提升到 40.6。
• 鲁棒性： 这证明 PBM 作为一个真正的验证器，能够判断 ToM 推理过程是否合理，而不是仅仅过拟合到训练数据的分布。这凸显了 PBM 在 域外 (out-of-domain) ToM 任务上的鲁棒性。

6.1.6. PBM 基准测试

以下是原文 Table 4 展示的 PBM 在测试集上跨信念阶数的分类准确率：

• PBM 自身的准确性： Table 4 评估了 PBM 作为 分类器 (classifier) 的独立可靠性。
  • Llama3.1-8B 作为 PBM 表现出更高的准确率（平均 90.0%），这表明更大的基础模型能够更好地学习验证推理步骤。
  • Llama3.2-3B 作为 PBM 的准确率略低（平均 86.7%）。
• 高阶信念的挑战： 随着信念阶数（例如，从 0-th Order 到 4-th Order）的增加，PBM 的分类准确率普遍下降。这表明评估更深层次的 递归信念 (recursive beliefs) 本身就是一项更具挑战性的任务，即使对于验证器也是如此。

6.1.7. PBM 质量对任务准确率的影响

以下是原文 Table 5 展示的在 Hi-ToM 上使用不同 PBM 进行 BoN 推理时缩放 的准确率：

• 验证器质量与任务性能的关联： Table 5 的结果明确了 PBM 质量对最终任务性能的影响。用一个较弱的 PBM (Llama3.2-3B-Instruct) 替换较强的 PBM (Llama3.1-8B-Instruct)，在所有基础模型和信念阶数上都导致了准确率的下降。
  • 例如，Qwen3-4B 使用 8B PBM 时平均准确率为 84.5，而使用 3B PBM 时降至 75.0。
• 这建立了一个明确的联系：更强的 PBM 能够提供更可靠的监督和选择，从而带来更好的 推理时缩放 结果。

6.1.8. PBM 行为的定性分析

论文提供了一个定性分析示例，以理解 PBM 何时成功、何时失败。

场景示例： 初始状态：所有人都知道芦笋在蓝色橱柜里。当前，夏洛特和伊丽莎白在房间里，亚历山大刚离开。夏洛特对亚历山大关于伊丽莎白的信念持有二阶信念。

步骤 $n$：

• 行动： 伊丽莎白喜欢红盒子。
• 状态： 不相关。夏洛特认为亚历山大认为伊丽莎白认为芦笋在蓝色橱柜里。
• 预测： 正确 (+)。真值 (Ground Truth)：正确 (+)。
• 注释： 此步骤正确。该陈述与芦笋无关；信念没有更新。PBM 正确地捕捉到了这种不变性。

步骤 $n { \mathrel { + { 1 } } }$：

• 行动： 伊丽莎白把芦笋移到了绿桶里。
• 状态： 发生此事时，只有伊丽莎白和夏洛特在场。夏洛特看到了这个移动。夏洛特认为亚历山大认为伊丽莎白认为芦笋在绿桶里。
• 预测： 正确 (+)。真值 (Ground Truth)：错误 (-)。
• 注释： 此步骤不正确。由于亚历山大不在场，他无法观察到伊丽莎白的行动。因此，他的信念（如夏洛特所感知）不应改变。PBM 基于部分在场情况过度泛化了信念更新。

分析：

• PBM 能够处理简单的、不相关的陈述，识别出不会引起信念更新的事件。
• 然而，在涉及 嵌套的、对视角敏感的更新 (nested, perspective-sensitive updates) 时，PBM 可能会失败。在这个例子中，PBM 错误地认为亚历山大的信念会更新，因为它未能完全捕捉到亚历山大的缺席导致他无法感知事件这一关键信息。这揭示了验证多智能体推理中一个关键的挑战。

6.2. 讨论

6.2.1. API 使用的成本效率

以下是原文 Table 6 展示的每百万词元 (tokens) 的 API 价格：

• 弥合差距与成本效益： 应用 PBM 缩小了小型模型与大型模型之间的性能差距。例如，gpt-4.1-mini 的性能接近 gpt-4.1，而 gpt-4o-mini 提升了 18.5 个百分点，超越了 gpt-4o。
• 成本优势： 尽管采样了 $N=4$ 个输出，mini 模型仍然更具成本效益。gpt-4.1-mini 每百万 词元 (token) 成本为 2.10 美元，gpt-4o-mini 为 0.825 美元，远低于大型模型的 10.50 美元和 13.75 美元。
• 输入成本优化： 由于所有 $N$ 个样本共享相同的输入提示，输入成本只需支付一次，只有输出 词元 (tokens) 随 $N$ 增加而缩放。这使得 PBM 指导的小批量 推理时缩放 成为使用大型模型的更经济替代方案。

6.2.2. 随模型规模缩放

以下是原文 Figure 4 展示的在 Hi-ToM 数据集上，应用 PBM 前后不同 LLMs 的平均准确率缩放趋势：

该图像是图表，展示了在 Hi-ToM 上应用 PBM 前后不同 LLM 模型的平均准确率的变化趋势。纵轴为平均准确率，横轴为模型规模（以十亿为单位）。"Ori" 代表基线准确率，PBM 则代表使用了推理时间缩放的情况。

Figure 4: Scaling trend of average accuracy before and after applying PBM across different LLMs on Hi-ToM. "Ori" denotes baseline accuracy; ${ \mathrm { ^ 6 + P B M ^ { \prime } } }$ denotes accuracy with inference-time scaling.

• PBM 增强缩放趋势： Figure 4 表明 PBM 持续提升性能并强化了 缩放趋势 (scaling trend)。对于 Llama3.2 系列，配备 PBM 后准确率曲线变得更陡峭，暗示着大型模型在 推理时干预 (inference-time intervention) 下受益更多，泛化能力更强。
• 解锁潜在能力： Qwen3-8B 在 香草 (vanilla) 设置下表现不如 Qwen3-4B，但在应用 PBM 后成为性能最佳的变体。这表明 PBM 不仅提升了准确率，还能解锁基础模型中潜在的 高阶推理能力 (higher-order reasoning abilities)。

6.2.3. 与基于强化学习的方法比较

• 计算成本与优化难度： 近期工作 (Lu et al., 2025) 探索使用 GRPO (Shao et al., 2024) 等 强化学习 (RL) 方法对 LLMs 进行 微调 (fine-tuning) 以增强 ToM 能力。然而，GRPO 需要大量的计算资源，且优化难度大。
• PBM 的轻量和高效： 相比之下，DEL-ToM 中的 PBM 轻量高效：它只需不到三小时在单个 GH200 GPU 上训练，并且可以应用于任何目标模型而无需重新训练。
• 通用性和非侵入性： RL 方法通常需要为每个模型重新训练，甚至可能降低模型在不相关任务（如 GSM8K）上的性能。DEL-ToM 通过保持模型参数不变来避免此问题。这使得 PBM 成为一种实用、通用且 非侵入性 (non-invasive) 的改进 ToM 推理的替代方案。

7. 总结与思考

7.1. 结论总结

DEL-ToM 框架通过将 理论心智 (ToM) 任务中的信念更新与 动态认知逻辑 (Dynamic Epistemic Logic, DEL) 形式化相结合，并通过训练一个 过程信念模型 (PBM) 对推理过程进行验证，显著增强了 大型语言模型 (LLMs) 的 ToM 推理能力。该方法的核心优势在于其 推理时缩放 (inference-time scaling) 策略，能够在不改变 LLM 架构或重新训练模型参数的前提下，通过选择最可靠的信念轨迹来提升性能。实验结果表明，DEL-ToM 在不同模型规模和基准测试上都实现了持续的性能提升，甚至能使小型模型达到或超越大型闭源模型的表现。这证明了 DEL 驱动的 可验证信念监督 (verifiable belief supervision) 对于提升 LLMs 动态逻辑推理能力的重要性，并为在资源受限环境中部署具备 ToM 能力的 LLMs 开辟了新途径。

7.2. 局限性与未来工作

论文作者指出了当前方法的几个局限性：

• 对形式逻辑模拟器的依赖： DEL-ToM 的准确性高度依赖于 形式逻辑模拟器 (formal-logic-based simulator) 提供的准确 信念监督 (belief supervision)。这种监督可能无法泛化到所有类型的推理或现实世界的语言使用场景，尤其是在 DEL 难以完全捕捉的模糊或非形式化情境中。
• 集束搜索的限制： 集束搜索 (beam search) 对于 指令遵循能力 (instruction-following capabilities) 较弱的模型效果不佳，这限制了其在实际部署中的应用。
• 未来工作：
  • 更高效的轨迹选择方法： 探索更高效的 信念轨迹 (trace) 选择机制，以进一步优化 推理时缩放 的效果。
  • 扩展到更广泛领域： 将 DEL-ToM 的方法扩展到 ToM 之外的更广泛的推理领域，验证其通用性。

7.3. 个人启发与批判

7.3.1. 个人启发

• 逻辑与 LLM 结合的有效路径： DEL-ToM 提供了一个将传统形式逻辑的严谨性与 LLMs 的强大语言能力相结合的有效范例。它展示了形式逻辑并非只是理论工具，而是可以作为 LLM 推理过程的骨架和验证器，弥补 LLM 缺乏结构化逻辑推理的短板。这种“模型内推理，逻辑外验证”的模式，对于提升 LLM 的可解释性和可靠性具有重要启示。
• 推理时缩放的巨大潜力： 论文再次强调了 推理时缩放 (inference-time scaling) 对于优化 LLM 性能的巨大潜力，尤其是在成本和部署受限的场景。通过精巧的 验证器 (verifier) 设计，即使是小型模型也能在特定复杂任务上取得媲美甚至超越大型模型的表现，这对于 AI 普惠化具有重要意义。
• 可验证性是关键： 强调了 ToM 推理中 可验证性 (verifiability) 的重要性。以往仅关注最终答案的评估方式无法真正揭示模型是否理解了 ToM，而 DEL-ToM 通过 过程信念模型 (PBM) 对中间步骤的监督，使得 LLM 的推理过程变得透明和可审计。这对于 LLM 在高风险决策场景（如医疗、法律）的应用至关重要。
• DEL 作为标签生成器的价值： DEL 模拟器作为 过程级标签 (process-level labels) 的自动生成工具，解决了高质量 奖励模型 (reward model) 数据集难以获取的痛点。这种“理论驱动数据生成”的方式，为构建更准确、更鲁棒的 LLM 辅助系统提供了新思路。

7.3.2. 批判与潜在改进

• DEL 形式化的局限性： 虽然 DEL 提供了严谨的框架，但现实世界的 ToM 场景往往包含模糊、不确定性、情感和社会背景等非形式化因素，这些是 DEL 难以完全捕捉的。例如，人类的信念并非总是逻辑完备或一致的。DEL-ToM 在这些更复杂的、非理想化的 ToM 场景中的表现可能受限。
• PBM 对信念阶数的敏感性： 实验结果显示 PBM 对 信念阶数 (belief order) 越高，其自身的分类准确率越低，这表明验证更深层次的 递归信念 (recursive beliefs) 依然是一个挑战。这可能会限制 DEL-ToM 在处理极高阶 ToM 任务时的效果。未来的工作可以探索如何增强 PBM 处理这种复杂性的能力，例如引入更强大的编码器或采用多任务学习来提升对不同信念阶数的泛化。
• 成本与性能权衡： 尽管 DEL-ToM 实现了 推理时缩放，但增加 $N$（采样轨迹数量）必然会增加推理成本。对于某些实时性要求高的应用，即使是相对较低的 $N$ 也可能带来不可接受的延迟。如何在性能、成本和延迟之间找到最佳平衡，是实际部署中需要进一步探索的问题。
• 对 LLM 输出格式的依赖： PBM 的训练和应用依赖于 LLM 能够按照 DEL 要求的特定格式输出中间信念步骤。如果 LLM 的 指令遵循能力 (instruction-following capabilities) 较弱，或者输出格式不稳定，可能会影响 PBM 的有效性。
• 泛化到开放域 ToM 的挑战： DEL 模拟器生成的合成数据虽然质量高，但可能无法完全覆盖开放域 ToM 任务的复杂性和多样性。尽管论文在 Kosinski 数据集上展现了泛化能力，但对于更广阔的、非结构化的 ToM 场景，DEL-ToM 可能需要更复杂的 DEL 建模或结合其他技术来应对。