1. 论文基本信息

1.1. 标题

Enhancing Conversational Agents with Theory of Mind: Aligning Beliefs, Desires, and Intentions for Human-Like Interaction（通过心智理论增强对话智能体：对齐信念、欲望和意图以实现类人交互）

1.2. 作者

Mehdi Jafari*、Yuncheng Hua、Hao Xue、Flora Salim*

1.3. 隶属机构

UNSW Sydney, Australia (澳大利亚新南威尔士大学)

1.4. 发表年份

2025年

1.5. 摘要

大型语言模型 (LLM) 驱动的代理人工智能 (AI) 的自然语言交互预计在不久的将来仍将是主导范式。尽管人类本能地将其交流与心理状态对齐——这种能力被称为心智理论 (Theory of Mind, ToM)——但当前基于 LLM 的系统在这方面表现出显著的局限性。本研究考察了开源语言模型 (LLaMA) 在多大程度上能够捕捉和保留与 ToM 相关的信息，以及它如何有效地促进生成响应中一致的 ToM 推理。我们进一步调查了对 ToM 相关组件，例如信念 (beliefs)、欲望 (desires) 和意图 (intentions) 的显式操作是否可以增强响应对齐。在两个 LLaMA 3 变体上进行的实验表明，整合 ToM 信息对齐能够提高响应质量，对于 3B 和 8B 模型分别达到了 67% 和 63% 的胜率 (win rates)。这些发现强调了 ToM 驱动策略在改善基于 LLM 的对话智能体对齐方面的潜力。

1.6. 原文链接

https://arxiv.org/abs/2502.14171

1.7. PDF 链接

https://arxiv.org/pdf/2502.14171v5.pdf 发布状态： 预印本 (Preprint)，发布于 2025-02-20T00:39:05.000Z。

2. 整体概括

2.1. 研究背景与动机

当前，基于大型语言模型 (LLM) 的人工智能助手正在深度融入人类生活的各个领域。然而，随之而来的是对其潜在负面能力和系统性缺陷的担忧。这些问题包括：虚假对齐 (fake alignment) (Greenblatt et al., 2024)、欺骗 (deception) (Park et al., 2024)、操纵 (manipulation) (Sharma et al., 2023) 等，以及 奖励作弊 (reward hacking) (Pan et al., 2024b) 和 目标泛化失败 (goal misgeneralization) (Tennant et al., 2024) 等系统性故障。为了解决这些挑战，对齐 (alignment) 被视为一个关键框架，旨在确保 AI 系统能够符合人类的价值观和意图。

尽管 LLM 在处理形态学和句法等具体语言元素方面表现良好，但它们在 社交语境 (social contexts) 和 非字面语言 (non-literal language) 方面的对齐仍然是一个开放的挑战。这种缺陷与语言的 语用学 (pragmatics) 方面有关，而 心智理论 (Theory of Mind, ToM) 对于人类理解这些细微差别至关重要。ToM 是一个分析对话者行为的理论框架，其基础是对心理和情感状态的理解，它能够进一步细分为心理学中的 信念-欲望-意图模型 (Belief Desire Intention, BDI model)。人类在交流中会本能地将其沟通与心理状态对齐，但当前的 LLM 系统在这方面存在显著局限。

因此，论文试图解决的核心问题是：如何增强 LLM 对人类心理状态（即 ToM）的理解和利用能力，从而使其在对话中展现出更类人的交互和更一致的对齐。现有研究在评估 LLM 的 ToM 能力方面存在争议，且鲜有研究尝试提取 LLM 内部的 ToM 表示并将其应用于更通用的社交场景（例如谈判或讨价还价）中以指导响应生成。这构成了本文的切入点和研究动机。

2.2. 核心贡献/主要发现

本研究的核心贡献和主要发现体现在以下几个方面：

• ToM 信息在 LLM 内部的表示与可读性： 论文首次证明了在开放源代码语言模型 (LLaMA) 的内部激活空间中，存在与 心智理论 (ToM) 相关的信息表示。通过 线性探测 (linear probing) 和 LatentQA 等技术，可以有效地从 LLM 的内部状态中读取和提取这些 ToM 相关信息，回答关于对话方信念、欲望和意图的问题。并且发现 LatentQA 在此任务上表现优于 线性探测 (linear probing)，且最佳性能常出现在模型的中间层。
• ToM 推理的一致性评估： 论文通过在 FanToM 和 NegotiationToM 等数据集上进行实验，评估了 LLM 在生成响应中 ToM 推理的一致性。尽管当前最先进的 LLM 在 ToM 一致性方面仍存在局限，但研究表明 LatentQA 方法在提取 ToM 信息方面显示出潜力，且在计算效率和可控性方面优于 思维链 (Chain-of-Thought, CoT) 和 微调 (fine-tuning) 方法。
• ToM 驱动的响应对齐与可控性： 论文引入了一种利用 信念 (beliefs)、欲望 (desires) 和 意图 (intentions) 等 ToM 组件来增强 LLM 响应对齐的方法。通过显式操作 LLM 内部的 ToM 相关表示，可以引导模型生成更符合人类行为和意图的对话响应。在 NegotiationToM 数据集上的实验表明，ToM 信息对齐显著提高了响应质量，对于 LLaMA 3B 和 8B 模型分别实现了 67% 和 63% 的胜率。
• 理论与实践潜力： 这些发现不仅为理解 LLM 内部如何表征复杂认知概念提供了新的视角，也为开发更具类人交互能力和更可控的对话智能体开辟了新的途径。研究强调了 ToM 驱动策略在改进基于 LLM 的对话智能体对齐方面的巨大潜力。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 心智理论 (Theory of Mind, ToM)

概念定义： 心智理论 (Theory of Mind, ToM) 是一种认知能力，指的是个体理解他人（或自己）拥有信念、欲望、意图、知识、情感等心理状态，并能够根据这些心理状态来推断和解释他们的行为的能力。简单来说，就是能够“读懂”他人的心思。在人类社会互动中，ToM 是实现有效沟通、共情、协作和预测他人行为的基础。

与 LLM 的关系： 论文探讨 LLM 是否能表现出类似人类的 ToM 能力，即从对话中推断参与者的心理状态，并据此生成更恰当、更具语用感知的回应。

3.1.2. 信念-欲望-意图模型 (Belief Desire Intention, BDI Model)

概念定义： 信念-欲望-意图模型 (Belief Desire Intention, BDI Model) 是 心智理论 (ToM) 的一个重要子框架，尤其在心理学和人工智能领域用于描述智能体的心理状态。

• 信念 (Beliefs)： 智能体对世界的认知和看法，即它认为什么是真的。信念可以是关于事实的，也可以是关于他人的信念。

• 欲望 (Desires)： 智能体希望达到的目标、期望或偏好。它们驱动智能体的行动。

• 意图 (Intentions)： 智能体决定采取的行动计划，是欲望和信念的结合，代表着智能体承诺去实现某个欲望。

  与 LLM 的关系： 论文利用 BDI 模型作为形式化结构来建模对话智能体的心理状态，并尝试显式地操纵 LLM 中与这些组件相关的内部表示，以实现更精细的控制和对齐。

3.1.3. 大型语言模型 (Large Language Models, LLMs)

概念定义： 大型语言模型 (Large Language Models, LLMs) 是基于深度学习，特别是 Transformer 架构的机器学习模型，它们在海量的文本数据上进行训练，以学习语言的统计规律。LLM 能够理解、生成和处理人类语言，执行多种自然语言处理 (NLP) 任务，例如文本生成、问答、翻译和摘要等。

与论文的关系： 本文的核心研究对象就是 LLM，具体使用了开源的 LLaMA 模型系列，探究它们在 心智理论 (ToM) 方面的能力。

3.1.4. 对齐 (Alignment)

概念定义： 在人工智能，特别是 LLM 领域，对齐 (Alignment) 指的是确保 AI 系统按照人类的价值观、意图、偏好和道德规范来运行。其目标是让 AI 的行为与人类目标保持一致，避免产生有害、不真实或不符合预期的输出。这包括防止 AI 出现虚假信息、欺骗、偏见和伦理问题。

与论文的关系： 论文将 ToM 视为实现 LLM 对齐的一个关键框架，认为理解和利用 ToM 可以帮助 LLM 更好地与人类价值观和意图对齐，从而生成更“人类化”的交互。

3.1.5. 解释性 (Interpretability)

概念定义： 解释性 (Interpretability) 在 AI 领域指的是理解模型如何做出决策的能力。由于深度学习模型（如 LLM）通常是“黑箱”系统，其内部运作复杂，难以直观理解，因此解释性研究旨在揭示模型内部的机制、权重或激活模式如何影响其输出。这对于建立对 AI 系统的信任、调试错误、确保公平性以及满足法规要求至关重要。

与论文的关系： 本文利用 探测 (probing) 和 LatentQA 等解释性方法来探究 LLM 内部是否存在 心智理论 (ToM) 相关信息的表示，并试图通过操纵这些内部表示来控制模型的行为。

3.1.6. 探测 (Probing)

概念定义： 探测 (Probing) 是一种常用的解释性方法，用于检测预训练模型（尤其是 LLM）内部表示中是否编码了特定的语言学或语义信息。其基本思想是训练一个简单的分类器（通常是线性分类器，称为 探测器 (probe)）来预测模型内部隐藏状态 (hidden states) 中的特定属性，例如词性、句法依赖关系或本文中的 心智理论 (ToM) 相关信息。如果探测器能够以高于随机水平的准确率预测这些属性，则表明模型内部表示中包含了这些信息。

与论文的关系： 论文使用 线性探测 (linear probing) 来检测 LLM 内部激活空间中是否存在 ToM 相关信息。

3.1.7. 补丁 (Patching)

概念定义： 补丁 (Patching) 是一种通过修改模型组件来识别其内部结构与特定行为之间关系的方法。它涉及在模型的特定部分进行干预，例如替换或修改某些层的激活值或注意力权重，然后观察这种修改如何影响模型的输出。通过系统性地改变模型内部的“补丁”，研究人员可以推断出哪些内部机制对模型的特定功能至关重要，并尝试控制这些功能。

与论文的关系： 论文中虽然没有直接使用“补丁”一词来描述其 ToM 操作，但通过修改 LLM 内部的 ToM 相关表示 R(S) 为 R'(S)，并观察对生成文本的影响，其理念与 补丁 (patching) 在一定程度上是相通的，都是通过干预内部状态来探索和控制模型行为。

3.1.8. LatentQA

概念定义： LatentQA 是 $Pan et al. (2024a)$ 提出的一种新的解释性方法，它将理解 LLM 内部表示的问题框架化为 视觉问答 (Visual Question Answering, VQA) 的变体。具体而言，模型的内部激活（例如残差流中的向量）被视为“图像”，而一个解码器模型则被训练来“看”这些激活并回答关于它们的问题。这使得研究人员能够用自然语言来询问模型内部表示的含义，从而提高解释的效率和性能。

与论文的关系： LatentQA 是本文中用于提取 ToM 相关信息和实现 ToM 控制生成的核心方法之一。它允许研究人员以更精细和可控的方式与 LLM 的内部状态进行交互。

3.1.9. 思维链 (Chain-of-Thought, CoT)

概念定义： 思维链 (Chain-of-Thought, CoT) 是一种 提示工程 (prompt engineering) 技术，通过向大型语言模型提供一系列中间推理步骤，引导模型生成更复杂、更准确的答案。与直接要求模型给出最终答案不同，CoT 提示鼓励模型像人类一样，将问题分解为多个步骤，逐步推理，从而提高模型在多步推理任务上的性能。

与论文的关系： 论文在评估 ToM 一致性时，将 CoT 提示作为一种基线方法进行比较，以探究其在揭示 ToM 能力方面的表现。

3.2. 前人工作

本研究建立在多项关于 大型语言模型 (LLM) 对齐 (alignment)、解释性 (interpretability) 和 心智理论 (ToM) 评估的现有工作之上。

3.2.1. LLM 对齐与安全

• 新兴风险： Greenblatt et al. (2024) 讨论了 LLM 中的 虚假对齐 (fake alignment)，Park et al. (2024) 探讨了 欺骗 (deception)，而 Sharma et al. (2023) 关注 操纵 (manipulation)。这些工作凸显了 LLM 在与人类互动中可能出现的负面行为。
• 系统性失败： $Pan et al. (2024b)$ 指出 奖励作弊 (reward hacking)，Tennant et al. (2024) 讨论 目标泛化失败 (goal misgeneralization)，这些都是 LLM 在追求自身目标时可能出现的意外行为。
• 对齐框架： $Ji et al. (2024)$ 和 Street (2024) 将 对齐 (alignment) 概念化为确保 AI 系统与人类价值观和意图保持一致的框架。本文通过 ToM 视角，进一步深化了对齐的研究。

3.2.2. LLM 的解释性与内部表示

• 内部表示分析： Gould et al. (2023) 研究了 注意力头 (attention heads)，Zhao et al. (2024b) 和 Nanda et al. (2023) 探索了 残差流 (residual streams)，Ghandeharioun et al. (2024) 关注 最后一个词的嵌入 (last word's embedding)，以及 $Pan et al. (2024a)$ 提出了结合多种值的方法。这些研究旨在揭示 LLM 内部如何编码信息。
• 探测技术： Nanda et al. (2023)、Karvonen 和 Ivanitskiy et al. (2023) 利用 探测 (probing) 揭示了 LLM 内部的 世界模型 (world models)，Gurnee and Tegmark (2024) 发现了时间/空间信息，Zhao et al. (2024b) 揭示了内部知识冲突。$Li et al. (2024)$ 探索了跨语言 LLM 性能。
• 补丁与控制： Chen et al. (2024b) 通过 补丁 (patching) 操纵社会认知，Karvonen 增强游戏玩法。Zhao et al. (2024a) 提出了基于补丁的 LLM 安全增强。
• 自然语言解释： Ghandeharioun et al. (2024) 和 Katz et al. (2024) 探索使用自然语言解释 LLM 内部表示。Chen et al. (2024a) 和 Ghandeharioun et al. (2024) 利用模型解码能力来解释激活。
• LatentQA： $Pan et al. (2024a)$ 提出的 LatentQA 方法，将问题框定为 视觉问答 (Visual Question Answering)，提高了效率和性能，是本文方法论的关键组成部分。

3.2.3. LLM 中的心智理论 (ToM)

• ToM 的出现： Kosinski (2024a) 认为 LLM 可能发展出推断信念和意图的能力。Street (2024) 和 $Lee et al. (2024)$ 讨论了 ToM 对人机协作和特定应用（如心理健康支持）的潜在价值。
• 争议与质疑： 然而，$Sap et al. (2022)$ 的研究对 LLM 的 ToM 能力提出质疑，而 Shapira et al. 甚至提出 LLM 在某些情境下可能超越人类。Ullman (2023) 警告了零假设方法在研究 ToM 出现时的潜在陷阱。
• ToM 基准测试： Chan et al. (2024)、$Kim et al. (2023)$、Amirizaniani et al. (2024)、Kosinski (2024b)、Nickel et al. (2024) 和 Chen et al. (2024c) 等研究旨在评估 LLM 的 ToM 能力。
• 内部 ToM 表示： Ullman (2023)、$Zhu et al. (2024)$ 和 Bortoletto et al. (2024) 使用 探测 (probing) 技术调查 LLM 内部层中的 ToM 表示。
• 显式设计“心智模块”： $Qiu et al. (2024)$、Sclar et al. (2023) 和 Sarangi et al. (2025) 尝试显式设计“心智模块”或利用求解器来提取和反思欲望和信念。

3.3. 技术演进

LLM 领域在 对齐 (alignment) 和 解释性 (interpretability) 方面持续发展。从最初的 监督微调 (supervised fine-tuning) (Ouyang et al., 2022) 和 强化学习 (reinforcement learning)，到 直接偏好优化 (direct preference optimization, DPO) (Rafailov et al., 2024)，模型的对齐能力不断增强。在解释性方面，研究从分析模型内部的特定组件（如 注意力头 (attention heads)）发展到更复杂的探测和 补丁 (patching) 技术。LatentQA 的出现，使得用自然语言解释模型内部表示成为可能，为模型理解和控制提供了更高效和精细的手段。

在 心智理论 (ToM) 方面，早期研究主要集中于评估 LLM 是否“拥有”ToM 能力，结果褒贬不一。随着技术发展，研究开始深入到 LLM 内部，探究 ToM 信息的编码方式，并尝试显式地利用这些信息。本文的工作正处于这一演进的尖端，它不仅仅是评估 ToM，更是将 ToM 作为一个可控的内部表示，用于指导和增强对话智能体的对齐。

3.4. 差异化分析

本文的方法与相关工作中的主要方法相比，核心区别和创新点在于：

• ToM 表示的提取与应用： 现有研究主要集中于评估 LLM 的 ToM 能力或设计外部的“心智模块”。本文则首次尝试从 LLM 的内部表示中提取 ToM 相关信息（信念、欲望、意图），并进一步探索这些信息在指导和增强对话生成对齐方面的实际应用。这是从“理解 ToM”到“利用 ToM”的重大转变。

• 对齐的 ToM 驱动策略： 论文提出并验证了通过显式操纵 LLM 内部的 ToM 相关组件来提升响应对齐的可行性。这不同于传统的 监督微调 (supervised fine-tuning) 或 强化学习 (reinforcement learning) 等对齐方法，而是在更细粒度的层面（ToM 状态）上实现模型的行为控制。LatentQA 方法在此过程中发挥了核心作用，提供了对内部表示进行读取和修改的机制。

• 通用社交场景中的对齐： 尽管有一些工作试图设计“心智模块”，但鲜有研究将其应用于 通用社交场景（如谈判或讨价还价）中，以利用 ToM 信息来指导 LLM 响应的对齐。本文填补了这一空白，使用了 CaSiNo 和 CRAIGSLISTBARGAIN 等真实世界对话数据集来验证方法的有效性。

• 对“虚幻 ToM”的关注： 论文通过强调 ToM 一致性 (consistency) 的评估，旨在减轻 虚幻 ToM (illusory ToM) 的影响。这表明研究不仅关注 ToM 信号的存在，更关注其稳定性和可靠性。

  总而言之，本文的创新之处在于其将 解释性 (interpretability) 技术与 心智理论 (ToM) 结合，形成了一个可以读取、验证和操纵 LLM 内部 ToM 状态的框架，并最终将其应用于提升对话智能体的对齐质量，从而实现更具人类感知和控制的交互。

4. 方法论

本研究旨在解决三个核心研究问题 (RQs)，并针对每个问题的输入-输出结构设计了相应的研究方法。

4.1. 问题形式化 (Problem Formulation)

论文首先形式化了在 因果语言建模 (causal language modeling) 中追踪和利用 心智理论 (ToM) 的问题。考虑一个序列 $S = \{ t _ { i } \mid i = 1 , 2 , \ldots , n _ { 1 } \}$，其中 $t_j$ 是一个给定词元 (token)。故事由一组指定角色 $P = \{ p _ { i } \ | \ i = 1 , 2 , \dots , m \}$ 的心理状态驱动。每个角色 $p$ 在任何给定时间点都拥有一组 信念 (beliefs) $B ( p ) = \{ b _ { i } \ | \ i = 1 , 2 , \dots , n _ { 2 } \}$、欲望 (desires) $D ( p ) = \{ d _ { i } \ | \ i = 1 , 2 , \dots , n _ { 3 } \}$ 和 意图 (intentions) $I ( p ) = \{ i _ { i } \ | \ i = 1 , 2 , \dots , n _ { 4 } \}$。

模型的目标是根据上下文线索生成一个合适的延续 $C = \{ t _ { i } \mid i = j , j + 1 , \ldots , n _ { 1 } \}$。这个延续 $C$ 应该与历史 $H = \{ t _ { i } \ | \ i = 1 , 2 , \dots , j - 1 \}$ 保持连贯，无论哪个角色对故事情节影响最大。实现这一目标的关键是追踪每个参与角色的心理状态 $M = \{ B ( p ) \cup D ( p ) \cup I ( p ) \mid \forall p \in P \}$。

为了实证研究 ToM 相关信息是否编码在 LLM 的激活空间中，论文提出检查模型内部表示 R(S) 在多大程度上能够通过回答 ToM 相关问题来重建 $M$。由于 R(S) 的高维度可能导致 虚幻 ToM (illusory ToM) (Kim et al., 2023)，因此采用的方法是通过以不同符号表示的相同 ToM 推理问题来探测模型，或测量 ToM 组件（意图、信念、欲望）在组合分析时的一致性。

此外，为了评估模型是否在生成输出时实际利用了 ToM 相关信息，研究还涉及改变具有影响力的角色所归属的信念、欲望和意图等 ToM 相关组件，并测量生成文本的相应变化。如果 ToM 改变后的表示 R'(S) 生成的延续 $C''$ 比未改变的 R(S) 生成的延续 $C'$ 更接近预期延续 $C$，则表明 ToM 操作是有效的。

本研究包括三个独立的组成部分，每个部分都使用相关数据集并通过合适的指标进行评估。

4.2. RQ1: 读取 ToM (Reading ToM)

目的： 调查 心智理论 (ToM) 相关信息在现实世界人类对话的内部激活空间中的表示程度。

4.2.1. 线性探测 (Linear Probing)

线性探测 (linear probing) 是一种将内部表示映射到离散标签 $y$（代表 ToM 相关信息）的分类任务。 核心思想： 训练一个线性分类器来预测模型内部隐藏状态中的特定属性。 数学公式： $$\hat { y } = \operatorname { s o f t m a x } ( W h ( S ) + b )$$ 符号解释：

• $\hat{y}$：预测的 ToM 相关标签。
• $\operatorname{softmax}(\cdot)$：softmax 函数，将模型的原始输出转换为概率分布。
• $W$：线性分类器的权重矩阵。
• h(S)：从 LLM 的残差流中提取的对话输入 $S$ 的最后一个词元 (token) 的隐藏状态 (hidden state)。
• $b$：线性分类器的偏置向量 (bias vector)。

4.2.2. LatentQA

LatentQA 是一种将解释性问题框架化为 视觉问答 (Visual Question Answering) 的方法。 核心思想： 将 LLM 的内部表示视为“上下文”，训练一个解码器模型来生成关于这些表示的 ToM 相关标签。 方法步骤：

1. 获取内部表示： 将对话 $S$ 输入到一个 冻结 (frozen) 的目标模型中，获取其内部表示 $R ( S ) = \{ h ( t _ { i } ) | i = 1 , 2 , . . . , n \}$，即当完整的对话 $S$ 输入到目标模型时产生的一系列激活向量。

2. 解码器训练： 训练一个解码器模型，该模型同时接收 ToM 问题和内部表示 R(S) 作为上下文。解码器通过 真实标注 (ground-truth) 的 ToM 注释 $y$ 进行训练，旨在从目标模型的激活中提取并 语言化 (verbalize) 相关信息。

3. 信息流向： 如 Figure 2 (黄色部分) 所示，解码器模型接收 ToM 问题和 R(S)，并生成正确的标签 $\hat{y}$。用于训练解码器的反向传播路径如图 2 中的橙色虚线所示，仅在训练阶段激活。

   该图像是示意图，展示了ToM（心智理论）对话生成模型的工作流程。左侧为目标模型，右侧为解码模型，展示了在对话中如何生成与ToM相关的回答和反馈。箭头颜色代表不同的信息流动，如ToM推理和引导推理等。

Figure 2: The LatentQA interpretability pipeline is employed for ToM-alignment. In this setup, yellow illustrates how to interpret ToM from a conversation, while cyan demonstrates how to use a steered model to generate aligned uttrances. The backpropagation paths for each component are highlighted with dashed arrows, which are active only during the training phase and not during the inference phase.

4.3. RQ2: ToM 的一致性 (Consistency of ToM)

目的： 评估 ToM 相关信息的可靠性和非虚幻性。

4.3.1. 任务形式

将任务概念化为 文本生成 (text generation) 问题，包括二元选择 (binary)、多项选择 (multiple-choice)、基于信念 (belief-based) 和事实性 (factual) 问题，这些问题均源自涉及两个或更多参与者的对话。

4.3.2. 采用方法

• LLM 微调 (Fine-tuning)： 使用对话、问题和答案对 LLM 进行 微调 (fine-tuning)。
• 思维链 (CoT) 提示： 采用 思维链 (Chain-of-Thought, CoT) 提示技术。
• LatentQA： 在与 RQ1 相同设置下应用 LatentQA 模型。

4.3.3. 评估标准

为了评估 ToM 信息的一致性，采用了更严格的标准。如果模型正确回答了多项选择问题，但对同一 ToM 场景的相关事实性问题提供了冲突的响应，那么即使其中一个响应在技术上是正确的，该答案也不被视为有效。这确保了对 ToM 理解的逻辑连贯性。

4.4. RQ3: ToM 控制生成 (ToM-controlled Generation)

目的： 探讨如何利用 ToM 相关表示来增强 LLM 的可控性 (controllability) 和对齐 (alignment)。

4.4.1. 核心方法

通过修改目标模型的内部表示，从 R(S) 变为 R'(S)，来调查 LLM 通过 ToM 组件进行的可控性。 方法步骤：

1. ToM 修改： 修改 R'(S) 旨在针对对话中关键角色的 信念 (beliefs)、欲望 (desires) 或 意图 (intentions) 进行。
2. 梯度流与表示增强： 如 Figure 2 (蓝色部分) 所示，通过比较生成的答案与假设 ToM 问题的实际答案来计算梯度流，这将通过 反向传播 (backpropagation) 优化解码器模型。随后，这个梯度流被用来增强目标表示，以提高特定 ToM 组件（例如意图）的表示效率。
3. 响应生成与比较： 在 ToM 改变（增强）阶段之后，仅使用目标模型生成对齐（ToM 改变）的响应 $C''$。然后将 $C''$ 与未改变模型生成的响应 $C'$ 进行比较。图 2 中的青色路径代表使用目标模型生成响应。
4. BDI 框架应用： 为了促进通过不同 ToM 组件修改目标模型，本研究采用了 BDI 范式。BDI 框架分解为三个不同的组件：信念、欲望和意图，每个组件都促进了目标模型表示的适应。

5. 实验设置

5.1. 数据集

5.1.1. RQ1 (读取 ToM)

为确保语言的语用学方面得到充分考虑，并包含多种语言变体和可靠的语用标记，研究使用了真实世界的人类对话数据集。

• CaSiNo (Chawla et al., 2021):
  • 来源与内容： 一个关于野餐物品（食物、水和木柴）谈判对话语料库。
  • 特点： 在这些对话中，最重要的物品或价格可能会被明确或隐含地揭示，因为对话方可能以暗示的方式使用语言。
  • 用途： 用于评估模型从对话中推断 ToM 相关信息的能力。
• CRAIGSLISTBARGAIN (He et al., 2018):
  • 来源与内容： 一个侧重于在 Craigslist 平台上对二手物品进行谈判的数据集。
  • 特点： 同样包含明确或隐含的价格信息，用于评估模型在讨价还价场景中理解 ToM 的能力。
  • 用途： 用于评估模型从对话中推断 ToM 相关信息的能力，特别是价格预测。

5.1.2. RQ2 (ToM 一致性) 和 RQ3 (ToM 控制生成)

为了验证 ToM 的非虚幻性并提供更大的实验可控性，需要具有丰富注释的数据集。

• FanToM (Kim et al., 2023):
  • 来源与内容： 一个旨在压力测试机器 心智理论 (ToM) 交互的基准数据集。
  • 特点： 包含系统的 ToM 问题和答案，用于评估模型在各种 ToM 问题类型上的理解一致性。
  • 用途： 用于评估 ToM 的一致性。
• NegotiationToM (Chan et al., 2024):
  • 来源与内容： 一个用于压力测试机器 心智理论 (ToM) 的谈判场景基准数据集。
  • 特点： 其 言语级别 (utterance-level) 的注释使其特别适合用于探索利用 ToM 增强对齐的可能性。丰富注释方案，包括 信念 (beliefs)、欲望 (desires) 和 意图 (intentions)，为修改 ToM 的个体组件和测量输出文本的相应变化提供了精确控制。
  • 用途： 用于评估 ToM 的一致性，也是 ToM 控制生成实验（RQ3）的主要数据集。

5.1.3. 数据集划分 (Train-Test Split)

• CaSiNo 和 CRAIGSLISTBARGAIN： 直接遵循原始数据集提供的训练、验证和测试划分。
• NegotiationToM 和 FanToM： 由于没有预设划分，本研究生成了一组可重现的划分，具体如下：
  • 测试集：30% 的数据保留用于测试。
  • 训练集和验证集：剩余 70% 的数据进一步按 80:20 的比例划分为训练集和验证集。
  • 随机种子 (random state) 设置为 42 以确保可重现性。

5.2. 评估指标

5.2.1. RQ1 (读取 ToM)

• CaSiNo 数据集：
  • 指标名称： Exact Match Accuracy (精确匹配准确率)
  • 概念定义： 该指标衡量模型对 CaSiNo 数据集中每个代理 (Agent) 或同时对两个代理 (Both) 的 ToM 相关信息（如物品优先级）的预测与真实标注完全一致的百分比。这是一个分类任务的常用指标，直接反映了模型预测的精确度。
  • 数学公式： $$\text{Accuracy} = \frac{\text{Number of Correct Predictions}}{\text{Total Number of Samples}}$$
  • 符号解释：
    • $\text{Accuracy}$：精确匹配准确率。
    • $\text{Number of Correct Predictions}$：模型预测与真实值完全一致的样本数量。
    • $\text{Total Number of Samples}$：总样本数量。
• CRAIGSLISTBARGAIN 数据集：
  • 指标名称： R^2 Score (决定系数)
  • 概念定义： $R^2 Score$（也称作 决定系数 (Coefficient of Determination)）是回归模型中衡量模型对因变量变化的解释程度的指标。它表示因变量的总方差中，有多少比例可以由自变量（模型预测）解释。$R^2$ 值的范围通常在 0 到 1 之间，越接近 1 表示模型对数据的拟合效果越好。负值表示模型比简单地预测因变量的平均值还要差。
  • 数学公式： $$R^2 = 1 - \frac{SS_{\text{res}}}{SS_{\text{tot}}} = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}$$
  • 符号解释：
    • $R^2$：决定系数。
    • $SS_{\text{res}}$：残差平方和 (Sum of Squares of Residuals)，表示模型预测值与真实值之间的差异。
    • $SS_{\text{tot}}$：总平方和 (Total Sum of Squares)，表示真实值与真实值平均值之间的差异。
    • $y_i$：第 $i$ 个样本的真实值。
    • $\hat{y}_i$：第 $i$ 个样本的模型预测值。
    • $\bar{y}$：所有真实值的平均值。

5.2.2. RQ2 (ToM 一致性)

• FanToM 数据集：
  • 指标名称： $ALL*$ 和 ALL
  • 概念定义：
    • $ALL*$：一个严格的指标，要求模型在对话中对同一段信息的所有六种 ToM 问题类型（如信念、意图、事实性等）都给出正确答案，才算作一次成功的预测。它旨在评估模型在不同提问方式下对 ToM 的一致性理解。
    • ALL：与 $ALL*$ 类似，但可能在问题类型或严格性上略有不同，具体定义参照原始 FanToM 论文 (Kim et al., 2023)，在此处作为参考项进行对比。
  • 数学公式： 论文未提供 $ALL*$ 和 ALL 的具体数学公式，但其核心是基于一系列 ToM 问题的 精确匹配准确率 (Exact Match Accuracy) 的组合。如果所有子问题都正确，则总分计为 1，否则为 0。
  • 符号解释： (同上 Exact Match Accuracy 的解释)
• NegotiationToM 数据集：
  • 指标名称： Desire Exact Match (%) (欲望精确匹配百分比), Belief Exact Match (%) (信念精确匹配百分比), Intention Micro.F1 (%) (意图微平均 F1 分数), All Exact Match (%) (所有组件精确匹配百分比)。
  • 概念定义：
    • Desire Exact Match (%) 和 Belief Exact Match (%)：衡量模型对对话中代理的欲望和信念预测与真实标注完全一致的百分比。
    • Intention Micro.F1 (%)：由于意图可能涉及多个标签，微平均 F1 分数 (Micro-averaged F1 Score) 更适合评估多标签分类任务。Micro-F1 综合考虑了所有类别下的 真阳性 (True Positives)、假阳性 (False Positives) 和 假阴性 (False Negatives)，计算全局的精确率和召回率，然后计算 F1 分数。
    • All Exact Match (%)：衡量模型对对话中一个代理的信念、欲望和所有意图预测都完全正确（精确匹配或 F1 分数达到阈值）的百分比。
  • 数学公式 (Micro-averaged F1 Score): 首先定义 Micro-averaged Precision (微平均精确率) $P_{\text{micro}}$ 和 Micro-averaged Recall (微平均召回率) $R_{\text{micro}}$： $$P_{\text{micro}} = \frac{\sum_{c=1}^{C} TP_c}{\sum_{c=1}^{C} (TP_c + FP_c)}$$ $$R_{\text{micro}} = \frac{\sum_{c=1}^{C} TP_c}{\sum_{c=1}^{C} (TP_c + FN_c)}$$ 然后计算 Micro-averaged F1 Score： $$F1_{\text{micro}} = 2 \times \frac{P_{\text{micro}} \times R_{\text{micro}}}{P_{\text{micro}} + R_{\text{micro}}}$$
  • 符号解释：
    • $C$：类别的总数（对于多标签意图，是所有可能的意图标签的总数）。
    • $TP_c$：类别 $c$ 的 真阳性 (True Positives) 数量，即模型正确预测为类别 $c$ 的实例数。
    • $FP_c$：类别 $c$ 的 假阳性 (False Positives) 数量，即模型错误地将其他类别的实例预测为类别 $c$ 的实例数。
    • $FN_c$：类别 $c$ 的 假阴性 (False Negatives) 数量，即模型错误地将类别 $c$ 的实例预测为其他类别的实例数。

5.2.3. RQ3 (ToM 控制生成)

• 指标名称： Win Rate (胜率)
• 概念定义： 胜率 (Win Rate) 衡量的是 ToM 对齐模型 ($C''$) 生成的响应在与未对齐模型 ($C'$) 生成的响应进行比较时，被人类裁判或高级 LLM 裁判认为更接近 真实标注 (ground truth) 人类响应 ($C$) 的比例。这是一种成对比较的评估方法，直观反映了 ToM 对齐策略的有效性。
• 数学公式： $$\text{Win Rate} = \frac{\text{Number of Wins}}{\text{Number of Wins} + \text{Number of Losses}}$$
• 符号解释：
  • $\text{Win Rate}$：胜率。
  • $\text{Number of Wins}$：ToM 对齐模型生成的响应被裁判判定为优于未对齐模型的次数。
  • $\text{Number of Losses}$：ToM 对齐模型生成的响应被裁判判定为劣于未对齐模型的次数（平局通常不计入输赢）。

5.3. 对比基线 (Baselines)

本研究将自己的方法与以下基线模型和策略进行了比较：

• 线性探测 (Linear Probing)： 在 RQ1 中作为 LatentQA 的基线，用于评估从 LLM 内部表示中提取 ToM 相关信息的效率和准确性。
• 未对齐模型 (Out-of-the-box Model)： 在 RQ3 中，将未经过 ToM 对齐的原始 LLM 生成的响应 ($C'$) 作为基线，与 ToM 对齐模型生成响应 ($C''$) 进行比较，以量化 ToM 对齐策略带来的提升。
• LLM 微调 (Fine-tuning)： 在 RQ2 中，传统的 LLM 微调 方法被用作基线，与 LatentQA 和 CoT 提示进行比较，以评估在 ToM 一致性任务上的表现。
• 思维链 (CoT) 提示： 在 RQ2 中，CoT 提示被用作评估 ToM 一致性的基线方法之一，特别是在与 GPT-4o-mini 等先进模型结合时。

5.4. 实验模型与设置

• 目标模型： 选用 LLaMA 3 家族的变体模型进行实验，包括 1B、3B 和 8B 参数量的模型。
• 层深度： 为了分析层深度对 ToM 推断准确性的影响，实验在三个不同的深度级别 (浅层 (Shallow)、中间层 (Middle)、深层 (Deep)) 提取内部表示 R(S)。
  • 对于 3B 和 8B 模型：浅层 (第 5 层)，中间层 (第 15 层)，深层 (第 25 层)。
  • 对于 1B 模型：浅层 (第 3 层)，中间层 (第 8 层)，深层 (第 14 层)。
  • 在 ToM 一致性实验中，R(S) 的深度被设定为中间层（即第 15 层），以最小化对句法信息的依赖，同时保留足够的语义 ToM 相关信息。
• 裁判 LLM (Judge LLMs)： 用于评估 ToM 对齐响应 ($C''$) 质量的裁判模型包括 ol (推理模型)、OpenAI 的 GPT-4o 模型和 Google 的 Gemini 1.5 Pro 模型。裁判提示词 (prompt) 旨在优先考虑语法连贯性和 ToM 对齐，同时避免奖励对露营特定术语的直接引用（详见附录 B）。为了避免偏见，响应顺序进行了简单打乱。
• 超参数 (Hyperparameters)：
  • LatentQA：超参数直接沿用其官方实现。
  • 微调 (Fine-tuning) (附录 I)：
    • max_seq_length：NegotiationToM 为 2000，FanToM 为 2500。
    • per_device_train_batch_size：32 (NegotiationToM) / 8 (FanToM)。
    • gradient_accumulation_steps：4 (NegotiationToM) / 2 (FanToM)。
    • warmup_steps：5。
    • epochs：5。
    • learning_rate：5e-4。
    • optim：$adamw_8bit$。
    • weight_decay：0.01。
    • lr_scheduler_type：linear。
    • seed：3407。
    • target_modules：["q_proj", "k_proj"]。
  • 线性探测 (Linear Probing) (附录 J)：
    • 采用 scikit-learn 库中的 LogisticRegression（分类）和 Ridge（回归）。
    • PCA 降维 (n_components)。
    • 超参数网格搜索：classifier__C: [0.1, 1, 10], classifier__penalty: ['l1','l2', 'elasticnet'], classifier__solver: ['liblinear', 'saga', 'lbfgs']。

5.5. 模板和示例

• 裁判 LLM 提示模板： 附录 B 提供了用于裁判 LLM 的详细提示模板，包括对 ol 模型和其他模型的专用提示。
• LatentQA 问答模板： 附录 C 包含了针对 CaSiNo、CRAIGSLISTBARGAIN、NegotiationToM 和 FanToM 数据集为 LatentQA 生成问答对的模板。
• CoT 推理模板： 附录 E 提供了 ToM 一致性实验中使用的 7-shot CoT 模板。
• ToM 引导问题模板： 附录 D 提供了用于引导 ToM 组件的问题模板。
• 可控性实验采样方法： 附录 G 详细说明了如何选择用于可控性实验的样本。
• ToM 引导 LLM 参数： 附录 H 提供了用于使用 ToM 相关信息引导 LLM 的参数信息。

6. 实验结果与分析

6.1. 读取 ToM (Reading ToM)

以下是原文 Table 1 的结果：

核心结果分析： 从 Table 1 的结果可以得出三个主要观察点：

1. LatentQA 优于线性探测： LatentQA 在读取 ToM 方面的性能明显优于 线性探测 (linear probing)。这表明，尽管 ToM 相关信息可能部分存在于 LLM 的单个激活组件（例如残差组件或单个词元的嵌入）中，但仅仅依赖单个组件可能无法捕获足够的信息来重建说话者的潜在心理状态。LatentQA 能够以更全面的方式利用内部表示。

2. ToM 信息表示的层深度：

   • LatentQA： 使用 LatentQA 读取 ToM 时，最高性能通常在中间层 (intermediate layers) 观察到，六个实验中有五个支持这一趋势。一个可能的解释是，较浅的层可能缺乏足够的语义丰富性，而较深的层可能不如中间层适合表示 ToM 相关信息。这可能是由于预训练阶段的数据大部分是 自我中心 (self-centric) 的，使得模型难以泛化到多样化的叙事结构，即使较早的层可能已经编码了与 ToM 相关的表示。
   • 线性探测： 相反，在使用 线性探测 (linear probing) 读取 ToM 时，更深层 (deeper layers) 表现出更高的性能。这可能暗示 线性探测 捕获的 ToM 相关信息在模型推理的后期阶段更加明确或线性可分。
   • 这两种方法在层深度上的表现差异需要进一步的实验来理解和验证。

3. 预测非预训练任务的成功： 模型在预测卖家或买家心目中的价格方面取得了成功。这尤其值得注意，因为这项任务并不直接符合任何预训练目标，并且 LLM 也不是专门为回归任务设计的。这一结果可以根据 预测正交性假设 (Prediction Orthogonality Hypothesis) (Bereska and Gavves, 2024) 来解释，即 LLM 在预训练中学到的通用表示可能包含了足够丰富的信息，使其能够解决与其主要任务正交的其他任务。

   总结 RQ1： 鉴于这些结果，可以肯定地说，心智理论 (ToM) 相关信息确实表示在 LLM 的内部层中，并且这些信息的有效性似乎与模型的规模直接相关，更大的模型通常能捕获更丰富的 ToM 信息。

6.2. ToM 的一致性 (Consistency of ToM)

以下是原文 Table 2 的结果：

注：表中 CT 指 CoT (Chain-of-Thought)，FT 指 Fine-tuning。

核心结果分析： 通过比较 Table 2 中不同方法在一致性指标上的表现，可以得出以下结论：

1. 当前 LLM 在 ToM 一致性方面的局限： 即使是最先进的 LLM，目前也未能表现出对 心智理论 (ToM) 的一致性理解 (回答了 RQ2)。$ALL*$ 和 ALL 分数相对较低，尤其是 CoT 方法在 FanToM 数据集上的表现为 0.0，表明模型在面对严格一致性要求时仍存在显著挑战。

2. LatentQA 的潜力： 尽管存在局限性，但 LatentQA 方法在提取 ToM 信息方面显示出前景，相较于 CoT 推理和 微调 (fine-tuning)。从表 2 可以看出，LatentQA 在 FanToM (ALL*) 和 NegotiationToM (ALL) 上的表现通常优于或与 微调 (FT) 相当，并且明显优于 CoT。此外，论文提到 LatentQA 需要更少的计算资源，并提供更细粒度的可控性。

3. 个体 ToM 组件与组合指标的差异： 尽管论文在正文中未展示详细的 Table 3 和 Table 4（但在附录中提供了），但其讨论指出，在个体 ToM 组件（如信念、欲望、意图）上的 LatentQA 与 微调 (fine-tuned) 模型之间的性能差距，比组合指标（ALL）上的差距更为显著。然而，随着所用 LLM 规模的增加，组合指标上的性能似乎趋于一致。

4. 数据集固有的模糊性： 论文指出，观察到的 ToM 不一致性部分可能归因于数据集本身的固有模糊性。即使是人类的表现，在 FanToM 数据集上的 ALL 分数也仅为 87.5%，在 NegotiationToM 数据集上为 43.78%，这表明即使对人类而言，这些任务也具有挑战性。

   总结 RQ2： 虽然 LLM 在表示 ToM 相关信息方面的一致性仍然有限且不完善，但研究结果表明，从模型的内部表示中提取这些信息并进行对齐（通过强化正确的 ToM 相关信息）可以达到中等实用水平的准确性。

6.3. ToM 控制生成 (Controllability of ToM)

以下是原文 Figure 3 的结果：

该图像是一个图表，展示了不同 ToM 组件（信念、愿望、意图）下 LLaMA 模型的响应胜率。横轴显示了不同实验的名称，纵轴表示胜率。图中分为三条线，分别对应 LLaMA 3.2-3B 和 LLaMA 3.2-8B 模型。成功的案例在附录 K 中详细说明，失败案例的趋势在附录 L 中呈现。

Figure 3: The win rate of ToM-aligned model responses is compared to that of the out-of-the-box model across various experiments. Each subsection focuses on a specific ToM component aligned with the ground truth of the conversation. The name of the altered ToM for each experiment is displayed below, while the number of samples for each experiment is indicated above each bar. Successful examples are detailed in Appendix K, while general trends observed in failure cases are presented in Appendix L.

核心结果分析： 可控性实验的结果（如 Figure 3 所示）表明，利用 心智理论 (ToM) 来引导 LLM 生成对齐响应是一个有前景的研究方向。

1. 显著的胜率提升： 跨所有实验的加权平均胜率显示，对于 3B 模型，ToM 对齐模型实现了 67.15% 的胜率，对于 8B 模型则为 63.25%。这意味着 ToM 驱动的策略能够显著提高 LLM 生成响应的质量，使其更符合人类行为和意图。

2. 意图标签的差异表现： 结果表明，表现最差的意图标签是 ShowEmpathy (展现同情) 和 Describe-Need (描述需求)。这可能是因为模型在预训练数据中自然地学会了表达这些常见的意图，因此通过 ToM 对齐带来的额外提升空间较小。

3. 模型规模与对齐效果： 有趣的是，尽管 3B 模型在读取 ToM 方面的准确性低于 8B 模型，但经过对齐后，3B 模型通常比 8B 模型有更大的改进。这可能归因于未对齐的 8B 模型本身具有更高的固有能力，即其原始输出已经足够好，导致 ToM 对齐带来的边际收益相对较小。

4. 理论意义与细粒度控制： 从理论角度来看，这一发现具有重要意义，因为它表明 ToM 表示可以在不同层面以细粒度的方式进行引导，前提是任务框架得当。例如，可以操纵一阶 ToM（如智能体对世界的信念），也可以影响智能体对其他智能体信念的信念。当前的方法通过相对复杂的语言结构来针对信念组件，成功地展示了这一点（详见附录 D）。

   总结 RQ3： ToM 相关的表示可以被有效地利用，以增强 LLM 的可控性和对齐能力，使其生成更具人类感知的响应。

6.4. 讨论 (Discussion)

6.4.1. ToM 相关信息的提取

如 Table 1 所示，LatentQA 相较于 线性探测 (linear probing) 表现更优，这暗示 ToM 相关信息在 LLM 内部可能并非完全集中于单一激活组件，而是以分布式的方式存在。依赖单一组件可能无法充分重建说话者的心理状态。此外，LatentQA 在中间层表现最优，而 线性探测 在深层表现更好，这可能与预训练数据的 自我中心 (self-centric) 特性以及不同方法对信息捕获的偏好有关。LLM 成功预测未在预训练中明确出现的价格任务，则印证了 预测正交性假设 (Prediction Orthogonality Hypothesis) (Bereska and Gavves, 2024)，即模型可能在通用表示中隐式地捕获了这些能力。总体而言，ToM 相关信息在 LLM 内部层中存在，且其有效性随模型规模增加而增强。

6.4.2. ToM 的一致性

Table 2 的结果表明，尽管 最先进的 (state-of-the-art) LLM 在 ToM 一致性方面仍有局限，但 LatentQA 方法在提取 ToM 方面展现出潜力，尤其是在计算效率和精细可控性方面优于 CoT 和 微调 (fine-tuning)。个体 ToM 组件上的性能差距在大型 LLM 中趋于一致。观察到的 ToM 不一致性部分可归因于数据集的固有模糊性，因为即使人类在此类任务中也未能达到完美一致性。

6.4.3. 利用 ToM 实现可控性

Figure 3 的可控性实验结果支持利用 ToM 来引导 LLM 生成对齐响应的潜力。3B 和 8B 模型分别达到 67.15% 和 63.25% 的胜率。表现较差的意图标签如 ShowEmpathy 和 Describe-Need 可能因为它们在预训练数据中已很常见。3B 模型在对齐后改进大于 8B 模型，可能因为 8B 模型本身已有更高的内在能力。从理论上看，这表明 ToM 表示可以在不同层面（例如一阶 ToM 或对其他智能体信念的信念）进行细粒度引导。

7. 总结与思考

7.1. 结论总结

本研究全面探讨了从 大型语言模型 (LLM) 内部层中提取 心智理论 (ToM) 相关信息的方法。论文系统地分析了模型深度、规模以及不同的提取技术对 ToM 信息捕获的影响，并评估了这些信息对形成一致 ToM 表示的贡献。最重要的是，本研究提出了一种创新方法，利用这些 ToM 信息来引导 LLM 生成更具对齐性的响应。实验结果表明，LatentQA 方法在提取 ToM 信息方面表现出优越性，且 ToM 驱动的对齐策略能显著提升对话响应的质量，使之更接近人类行为，为 3B 和 8B LLaMA 3 模型分别带来了 67% 和 63% 的胜率。这些发现不仅加深了对 LLM 内部认知机制的理解，也为构建更具人类感知和可控性的对话智能体奠定了基础。

7.2. 局限性与未来工作

7.2.1. 局限性

• 方法论局限： 依赖 LLM 进行响应评估可能是一个潜在缺陷。尽管 LLM 在语言感知方面通常有效，但鉴于语言语用学与 ToM 之间的密切关系，人类裁判进行评估可能会产生更可靠的结果。
• 技术局限与挑战：
  1. 可控性实验数据集： 由于缺乏合适的替代方案，可控性实验仅在一个数据集上进行。这要求数据集既包含 ToM 相关注释，又具有 言语级别 (utterance-level) 的注释，这是一项挑战。
  2. 超参数敏感性： 生成对齐响应并非总是稳定过程，它严重依赖于超参数调整，这通常并非易事，并可能影响实验的可重现性。
  3. 模型选择： 研究仅集中于单个 LLM 家族。这是由于广泛的实验设置所致，限制了对多个模型家族的探索。此外，研究优先调查模型规模的影响，并将参数限制在 80 亿以下的模型。
  4. 基线不一致性： 本研究主要关注 概念验证 (proof of concept)，而非比较不同方法。然而，观察到了一些与基线不一致的地方。例如，在 ToM 读取实验中，8B 模型使用 Unsloth 提供的 4 位精度版本报告了更高的准确率，优于其他实验中使用的全精度模型。在 ToM 一致性实验中，论文的实现未能达到预期。特别是，FanToM 的参考文章报告称，在相似条件下，3B Flan-T5-XL 模型表现显著优于本实验中的 3B 和 8B LLaMA3 模型。由于 FanToM 文章未发布其实现，论文作者正在努力找出这种不一致的来源。
• 实践局限： 在自动化和实际应用方面，用于模型引导的问答对设计目前由人类专家完成。要集成到真实世界的基于 LLM 的代理平台中，这一过程需要动态执行，使用 LLM 作为规划器来即时执行引导流程。

7.2.2. 未来工作

• 整合到真实世界 LLM 代理： 将本研究中开发的技术整合到实际的基于 LLM 的代理中，以验证其在复杂、动态环境中的有效性。
• 完善评估方法： 进一步改进评估方法，例如引入更精细的人类评估或开发更鲁棒的自动评估指标，以更准确地衡量 ToM 对齐的质量。
• 扩展模型范围： 将实验范围扩展到更广泛的语言模型，以验证研究发现的一致性和鲁棒性。
• 跨领域泛化： 探索 ToM 驱动的对齐方法在不同目标领域（如教育、医疗、客户服务）的泛化能力。

7.3. 个人启发与批判

7.3.1. 个人启发

这篇论文提供了一个非常令人振奋的方向，将 解释性 (interpretability) 技术与 心智理论 (ToM) 的认知概念相结合，旨在让 LLM 不仅仅是语言的生成器，更是能够理解和模拟人类心理状态的智能体。

• 从“黑箱”到“可控白箱”的桥梁： LatentQA 方法通过将内部激活视为“问题”，并训练解码器来“回答”这些问题，为我们打开了 LLM 内部的“黑箱”。这不仅仅是理解模型如何工作，更是提供了精细控制模型行为的潜在路径。当我们可以通过修改内部的 信念 (beliefs)、欲望 (desires) 和 意图 (intentions) 来影响模型输出时，我们离构建真正意义上的“智能”和“可信”的 AI 又近了一步。
• 对齐的深层含义： 传统的 对齐 (alignment) 更多关注行为层面的规范，而 ToM 驱动的对齐则深入到认知层面，尝试让 AI 理解人类行为背后的心理动机。这意味着未来的 AI 不仅能“做对”，还能“懂你”，从而实现更深层次的共情和协作，在心理健康支持、个性化教育等领域具有巨大潜力。
• “虚幻 ToM”的警示与应对： 论文中强调 ToM 一致性的重要性，警示了 虚幻 ToM (illusory ToM) 的风险，这提醒研究者不能仅仅满足于模型表面上的“聪明”，而要深入探究其认知能力的真实性和鲁棒性。这种批判性思维对于 AI 领域的发展至关重要。

7.3.2. 批判

尽管论文提出了令人兴奋的进展，但仍有一些潜在问题和可以改进的地方：

• 评估指标的人类依赖性： 论文承认其评估主要依赖于 LLM 裁判。虽然这在效率上有所帮助，但 LLM 裁判本身可能存在其固有的偏见或对 ToM 的不完善理解，从而影响评估结果的客观性。未来的工作如果能大量引入人类专家进行评估，将极大地增强结果的可信度。

• ToM 操纵的泛化性与鲁棒性： ToM 操纵是否能在更广泛的、未见过的社交场景中保持其有效性和鲁棒性？目前实验主要基于谈判和讨价还价场景。在更复杂、更开放的对话情境中，如何动态、智能地识别并操纵正确的 ToM 组件，仍是一个巨大的挑战。

• 超参数敏感性问题： 论文提到生成对齐响应高度依赖超参数调整，这会影响可重现性。这意味着当前方法可能需要大量的工程努力和专业知识才能稳定复现和应用，降低了其实用性。未来的研究需要探索更鲁棒的训练和引导机制，减少对精细超参数调优的依赖。

• “黑箱”内部机制的深层理解： 尽管 LatentQA 允许我们“读取”和“操纵” ToM 信号，但我们仍然不完全清楚 LLM 内部究竟是如何表征这些复杂的认知概念的。例如，信念、欲望、意图在模型内部是作为离散单元存在，还是以高度抽象和分布式的方式编码？更深入的 机械解释性 (mechanistic interpretability) 研究可能会揭示这些深层机制。

• 伦理风险的规避： 论文在伦理考虑部分提到了 隐私 (privacy)、自主权 (autonomy) 和 操纵 (manipulation) 等风险。当 AI 能够深入理解并操纵人类的心理状态时，其滥用的可能性也随之增加。如何设计内置的防护措施，确保 ToM 驱动的 AI 始终服务于人类福祉而非被恶意利用，是一个极其重要的、需要持续关注的问题。这不仅是技术问题，更是社会和哲学问题，需要跨学科的共同努力。

• 基线不一致性问题： 论文指出的 FanToM 数据集上与参考论文的基线性能差异，是一个需要尽快解决的技术细节。这可能会影响研究结论的普遍性和可比性，解决此问题将增强本研究的严谨性。

  总体而言，这篇论文为 LLM 与 ToM 的结合开辟了新道路，但同时也凸显了未来研究在技术鲁棒性、泛化性、深层机制理解和伦理规避方面的巨大空间。