1. 论文基本信息

1.1. 标题

VitaBench: Benchmarking LLM Agents with Versatile Interactive Tasks in Real-world Applications

1.2. 作者

论文的主要作者为美团龙猫团队 (Meituan LongCat Team)。贡献列表中列出了详细作者名单：Chengcheng Han, Dengchang Zhao, Hongyan Hao, Hui Su, Kefeng Zhang, Man Gao, Qi Gu, Wei He, Xi Su, Xiaodong Cai, Xueyuan Hao, Xunliang Cai, Yu Yang, Yueqing Sun, Yunke Zhao, Zhikang Xia。其中，魏鹤 (Wei He) 博士来自复旦大学 (Fudan University)，顾琪 (Qi Gu) 来自美团 (Meituan)，他们是本文的通讯作者。

1.3. 发表期刊/会议

本文于2025年9月30日发布于 arXiv，目前处于预印本 (preprint) 状态。arXiv 是一个开放获取的预印本服务器，允许研究人员在正式同行评审和发表前分享他们的研究成果，使其能够快速传播和获得反馈。

1.4. 发表年份

2025年

1.5. 摘要

随着基于大型语言模型 (Large Language Model, LLM) 的智能体 (agent) 越来越多地部署到真实世界场景中，现有的基准测试 (benchmark) 已无法充分捕捉它们在处理海量信息、利用多样化资源和管理动态用户交互方面的内在复杂性。为了弥补这一空白，本文引入了 VitaBench，一个具有挑战性的基准，用于评估智能体在基于真实世界环境的多功能交互任务中的表现。VitaBench 从外卖、到店消费和在线旅游服务等日常应用中汲取灵感，构建了迄今为止最复杂的生命服务模拟环境，其中包含 66 种工具。通过一个消除领域特定策略 (domain-specific policies) 的框架，VitaBench 能够灵活组合这些场景和工具，从而产生 100 个跨场景任务 (cross-scenario tasks，主要结果) 和 300 个单场景任务 (single-scenario tasks)。每个任务都源于多个真实用户请求，要求智能体在时间和空间维度上进行推理、利用复杂的工具集、主动澄清模糊指令，并在多轮对话中跟踪用户意图的变化。此外，本文提出了一种基于评分标准 (rubric-based) 的滑动窗口评估器 (sliding window evaluator)，能够对复杂环境和随机交互中的多样化解决方案路径进行稳健评估。全面的评估结果显示，即使是最先进的模型，在跨场景任务上的成功率也仅为 30%，在其他任务上的成功率也低于 50%。总的来说，本文相信 VitaBench 将成为推动人工智能智能体在实际真实世界应用中发展的重要资源。代码、数据集和排行榜可在 https://vitabench.github.io/ 获取。

1.6. 原文链接

https://arxiv.org/abs/2509.26490 PDF 链接: https://arxiv.org/pdf/2509.26490v2.pdf

2. 整体概括

2.1. 研究背景与动机

近年来，大型语言模型 (LLM) 在各种真实世界应用中展现出惊人的能力。基于 LLM 的智能体 (agent) 能够理解复杂指令、执行多步骤任务并与环境进行交互，这预示着它们在自动化、服务等领域拥有巨大潜力。然而，现有用于评估这些智能体的基准测试 (benchmark) 存在显著局限性，未能充分反映真实世界应用中固有的复杂性。具体来说，当前基准往往：

• 信息处理有限: 难以有效捕捉智能体处理海量、多源信息的复杂性。

• 资源利用不足: 无法充分测试智能体利用多样化工具和外部资源的能力。

• 交互动态性缺失: 缺乏对动态用户交互、模糊指令澄清和用户意图跟踪等复杂对话场景的考量。

• 领域政策依赖: 许多基准过度依赖预定义的领域特定政策 (domain-specific policies) 和受限的行动空间 (constrained action spaces)，这限制了智能体的自主探索能力，使其难以应对真实世界的开放性和不确定性。

• 用户行为简化: 多数基准未能充分考虑真实用户在多轮交互中表现出的多样化行为属性和对话模式。

  为了解决这些研究空白，本文旨在回答一个核心研究问题：“真实世界应用中智能体的任务复杂性究竟包含哪些方面？”这一问题驱动了 VitaBench 的设计，旨在提供一个更具挑战性、更贴近实际的评估平台。

2.2. 核心贡献/主要发现

VitaBench 的核心贡献在于提供了一个全新的、针对 LLM 智能体在真实世界应用中复杂交互任务的基准测试，并揭示了现有模型的显著局限性：

• 提出多维度任务复杂性框架: 首次将任务复杂性形式化为推理 (reasoning)、工具 (tool) 和交互 (interaction) 三个维度，为基准设计和评估提供了系统性指导。
• 构建最复杂的生命服务模拟环境: 从外卖、到店消费和在线旅游服务等真实日常应用中提取任务，集成了 66 种工具，构建了迄今为止最复杂、最接近真实的模拟环境。
• 创新性的基准构建方法:
  • 通过抽象真实世界服务和建模工具间的依赖关系（通过前置条件 pre-conditions 和后置条件 post-conditions），实现了工具的灵活组合，并消除了对领域特定策略的依赖，显著提高了推理复杂性。
  • 利用真实平台数据构建用户画像和任务指令，并通过语言模型实现用户模拟器，确保了交互的真实性和动态性。
  • 生成了 100 个跨场景任务和 300 个单场景任务，这些任务要求智能体进行跨领域推理、处理模糊指令和跟踪用户意图。
• 开发鲁棒的评估器: 提出了基于评分标准 (rubric-based) 的滑动窗口评估器 (sliding window evaluator)，能够稳健地评估复杂环境和随机交互中的多样化解决方案路径，并具有高可靠性（$Cohen's κ ≥ 0.81$）。
• 揭示现有模型的显著局限性: 综合评估结果表明，即使是最先进的 LLM 模型，在跨场景任务上的成功率也仅为 30%，在单场景任务上的成功率也低于 50%，这凸显了当前 LLM 智能体在应对真实世界复杂性方面的巨大挑战。
• 深入分析错误模式: 对失败案例进行分析，发现推理错误 (61.8%) 是主要原因，其次是工具使用错误 (21.1%) 和交互管理失败 (7.9%)，并指出智能体缺乏自我意识和错误恢复能力。

3. 预备知识与相关工作

3.1. 基础概念

为了理解 VitaBench 及其评估的意义，需要了解以下几个核心概念：

• 大型语言模型智能体 (LLM Agent): 基于大型语言模型构建的软件实体，能够理解自然语言指令，通过规划、感知、行动和反思等循环与环境进行交互，以实现特定目标。它们通常通过调用外部工具 (tool) 或应用程序编程接口 (API) 来扩展其能力，并与用户进行多轮对话。
• 基准测试 (Benchmark): 在人工智能领域，基准测试是一组标准化的任务、数据集和评估指标，用于衡量不同模型或算法在特定能力上的表现，从而促进研究进展和模型比较。
• 工具 (Tools) / 应用程序编程接口 (APIs): 在 LLM 智能体语境中，工具是智能体可以调用的外部函数或服务，例如搜索、日历、数据库查询、预订服务等。API 是这些工具提供的接口，允许智能体以编程方式与它们交互。智能体需要理解何时、如何调用正确的工具，并正确传递参数。
• 部分可观察马尔可夫决策过程 (Partially Observable Markov Decision Process, POMDP): POMDP 是一种用于建模决策过程的数学框架，其中系统的状态不能被决策者完全观察到。它由以下几个关键元素组成：
  • 状态 (State): 描述环境的完整信息。
  • 行动 (Action): 智能体可以执行的操作。
  • 观察 (Observation): 智能体从环境中获得的信息，通常是对真实状态的间接或不完整的反映。
  • 转移函数 (Transition Function): 描述了在给定当前状态和行动下，系统转移到下一个状态的概率。
  • 观察函数 (Observation Function): 描述了在给定当前状态和行动下，智能体获得特定观察的概率。
  • 奖励函数 (Reward Function): 描述了智能体在特定状态或执行特定行动后获得的奖励。
  • POMDP 框架非常适合建模 LLM 智能体与复杂环境（如 VitaBench）的交互，因为智能体通常无法完全了解数据库的所有信息或用户的完整意图，只能通过观察（工具反馈、用户回复）来推断。
• 评分标准 (Rubric): 在评估中，评分标准是一套预先定义的标准或准则，用于客观地评价任务完成情况或表现质量。在 VitaBench 中，rubric 被用于细致地拆解任务目标，并通过 LLM-as-a-Judge 机制进行自动化评估。
• 滑动窗口 (Sliding Window): 一种处理序列数据（如对话历史）的技术，通过在序列上移动一个固定大小的窗口来处理局部信息。在 VitaBench 的评估器中，它用于解决长对话的上下文限制问题，确保评估器能聚焦于当前相关部分。
• LLM-as-a-Judge: 一种新兴的评估范式，利用一个强大的 LLM 来作为评估员，对另一个 LLM 智能体的表现进行打分或判断，尤其适用于开放式、复杂任务的评估，以弥补传统基于规则或固定答案评估的不足。

3.2. 前人工作

本文在 相关工作 (Related Work) 部分通过表格和文字描述，对比了 VitaBench 与一系列现有智能体-用户交互基准测试的差异。以下是其中提及的一些关键前人工作：

• ToolTalk [Farn and Shin, 2023]：一个用于对话情境中工具使用的基准。它主要关注预定义对话轨迹，限制了智能体的自主性。
• IN3 [Qian et al., 2024]：一个专注于隐式用户意图理解的基准，但其工具复杂性较低（0个工具）。
• MINT [Wang et al., 2024a]：强调自然语言作为工具和语言反馈，但工具数量有限（8个）。
• ToolSandbox [Lu et al., 2025]：一个交互式评估基准，拥有34个工具，并处理工具间的依赖性，但在跨场景和交互复杂性方面有所不足。
• DialogTool [Wang et al., 2025]：关注多轮对话中的有状态工具使用，有31个工具，并支持跨场景，但在推理复杂性方面（例如多方面复合信息、目标模糊性）未完全解决。
• UserBench [Qian et al., 2025]：一个以用户为中心的智能体交互环境，引入了丰富的用户行为建模，但工具数量少（5个），且工具依赖性不强。
• τ-Bench [Yao et al., 2024] 和 $τ^2-Bench$ [Barres et al., 2025]：这些基准关注真实世界领域的工具-智能体-用户交互，并处理较长的对话轮次（τ-Bench 30-50轮，$τ^2-Bench$ 30-80轮），但 τ-Bench 依赖于预定义策略，$τ^2-Bench$ 在推理复杂性和工具复杂性方面仍有提升空间。

3.3. 技术演进与差异化分析

现有工作虽然在某些方面（如工具使用、多轮对话、用户建模）有所侧重，但VitaBench 指出，没有一个现有基准能够同时在推理、工具和交互这三个关键复杂性维度上全面挑战智能体。

• 技术演进: 从早期的简单工具调用、到多轮对话中的工具使用、再到考虑用户意图和行为，LLM 智能体基准一直在向更真实、更复杂的交互环境发展。τ-Bench 系列的工作开始强调真实世界领域的工具-智能体-用户交互，并引入了更长的对话。
• VitaBench 的差异化和创新点:

  • 综合复杂性: VitaBench 通过其提出的三维复杂性框架，旨在同时解决多方面复合信息、目标模糊性（推理复杂性）、大量工具和复杂工具依赖（工具复杂性）、多轮对话、用户画像和用户行为（交互复杂性）等挑战。它拥有 66 个工具，远超大多数现有基准。

  • 去领域特定策略: VitaBench 的工具设计通过前置条件和后置条件编码领域规则，避免了传统基准中需要冗长政策文档来指导智能体的做法，这鼓励了智能体的自主探索和推理。

  • 真实性和动态性: 通过借鉴真实平台数据构建用户画像和任务指令，并使用 LLM 驱动的用户模拟器，VitaBench 能够模拟更真实、更具动态性的用户交互，包括用户意图的漂移、模糊指令的澄清等。

  • 跨场景任务: 引入了跨场景任务，要求智能体在不同领域之间切换上下文并协调工具使用，这是现有基准较少涉及的深层复杂性。

  • 鲁棒评估: 提出的滑动窗口评估器解决了长对话和多样化解决方案路径的评估难题，并通过 $Cohen's κ$ 验证了其高可靠性。

    通过这些创新点，VitaBench 致力于提供一个能够真正衡量 LLM 智能体在未来真实世界应用中表现的严苛测试平台。

4. 方法论

VitaBench 的核心目标是构建一个能够全面评估 LLM 智能体在真实世界应用中复杂交互任务的基准。为实现这一目标，它首先将智能体任务形式化为部分可观察马尔可夫决策过程 (POMDP)，并定义了一个三维的任务复杂性框架。接着，通过系统化的方法构建了基准，并设计了一个鲁棒的评估器。

4.1. 方法原理

VitaBench 的方法原理基于以下核心思想：

1. 形式化为 POMDP: 将 LLM 智能体与环境的交互建模为 POMDP，以捕捉真实世界中信息不完整和环境动态变化的特点。
2. 三维任务复杂性: 提出一个包含推理 (Reasoning)、工具 (Tool) 和交互 (Interaction) 三个维度的任务复杂性框架，用于系统地指导基准设计和评估，确保所构建的任务能够全面挑战智能体的关键能力。
3. 真实世界抽象: 通过对真实世界的“生命服务”应用进行系统抽象，提炼出可复用的工具和模拟环境，并消除对硬编码领域特定策略的依赖，从而提高基准的普适性和挑战性。
4. 动态交互评估: 通过用户模拟器和滑动窗口评估器，克服了传统评估方法在处理多轮、动态、不确定交互时的局限性。

4.2. 核心方法详解

4.2.1. POMDP 形式化

VitaBench 将智能体任务形式化为一个部分可观察马尔可夫决策过程 (Partially Observable Markov Decision Process, POMDP)。对于一个特定的环境 $e \in { \mathcal { E } }$，智能体任务被建模为五元组 $( \mathcal { U } , \bar { S } , \mathcal { A } , \mathcal { O } , \mathcal { T } , r ) _ { e }$，其中：

• $\mathcal { U }$: 指令空间 (Instruction space)，包含所有可能的初始任务指令。

• $\bar { S }$: 状态空间 (State space)，描述环境的完整状态。在 VitaBench 中，$\mathcal { S }$ 包含数据库状态 $\mathcal { S } _ { \mathrm { d b } }$ 和用户状态 $\mathcal { S } _ { \mathrm { u s e r } }$，即 ${ \cal S } = { \cal S } _ { \mathrm { d b } } \otimes { \cal S } _ { \mathrm { u s e r } }$。

• $\mathcal { A }$: 行动空间 (Action space)，智能体可以执行的所有行动集合。它包括两种类型：工具调用 (tool invocation) 和与用户的交互对话 (interactive dialogue)。

• $\mathcal { O }$: 观察空间 (Observation space)，智能体从环境中获得的信息。它包括工具调用后的数据库反馈 $\mathcal { O } _ { \mathrm { d b } }$ 和与用户的对话历史 $\mathcal { O } _ { \mathrm { u s e r } }$，即 $\mathcal { O } = \mathcal { O } _ { \mathrm { d b } } \otimes \mathcal { O } _ { \mathrm { u s e r } }$。

• $\mathcal { T }$: 状态转移函数 (State transition function)，描述了在给定当前状态和行动下，环境如何转移到下一个状态。

  • 对于 API 调用，转移函数是确定性的 $\mathcal { T } _ { \mathrm { d b } }$，通过 Python 函数实现。
  • 对于用户交互，转移函数是随机的 $\mathcal { T } _ { \mathrm { u s e r } }$，通过语言模型实现。

• $r$: 奖励函数 (Reward function)， $r : S \times \mathcal { A } \to \mathbb { R }$，在交互结束后计算，值域为 [0, 1]。

  给定指令 $u \in \mathcal { U }$，初始状态 s _ { 0 } 代表给定提示的词元序列和数据库的初始状态。智能体接收初始观察 $o _ { 0 } \in \mathcal { O }$ (通常包括用户首轮请求和可用工具集)。基于其策略 $\pi _ { \theta }$，由 $\theta$ 参数化的 LLM 智能体生成行动 $a _ { 1 } \sim \pi _ { \theta } ( \cdot | o _ { 0 } )$。随后，状态转移到 $s _ { 1 } \in S$，智能体接收反馈 $o _ { 1 } \in \mathcal { O }$。在每一步 $t$，智能体基于历史 $( o _ { 0 } , a _ { 1 } , o _ { 1 } , \dots , a _ { t - 1 } , o _ { t - 1 } )$ 生成行动 $a _ { t } \sim \pi _ { \theta } ( \cdot | o _ { 0 } , a _ { 1 } , o _ { 1 } , \dots , a _ { t - 1 } , o _ { t - 1 } )$。智能体持续与环境交互直至任务完成，形成一个轨迹 $\tau$： $$\tau = ( s _ { 0 } , a _ { 1 } , s _ { 1 } , a _ { 2 } , s _ { 2 } , \ldots , a _ { T } , s _ { T } ) \sim \pi _ { \theta } ( \tau | e , u ) ,$$ 其中 $T$ 表示总交互轮数。需要注意的是，轨迹 $\tau$ 捕获了完整的状态转移，而智能体只能访问从状态 s _ { t } 派生出的部分观察 o _ { t }。

4.2.2. 智能体任务复杂性框架

在 POMDP 形式化基础上，并借鉴多视角复杂性框架 [Liu and Li, 2012]，VitaBench 将任务复杂性形式化为三个维度，捕捉智能体在真实世界应用中面临的挑战： $$\mathcal { C } _ { \mathrm { t a s k } } = \langle \mathcal { C } _ { \mathrm { r e a s o n } } , \mathcal { C } _ { \mathrm { t o o l } } , \mathcal { C } _ { \mathrm { i n t e r a c t } } \rangle .$$ 其中：

• $\mathcal { C } _ { \mathrm { r e a s o n } }$：推理复杂性 (Reasoning complexity) 量化了在部分可观察性下处理大量环境信息的认知需求。这通过观察空间 $\mathcal { O }$ 的熵 $H ( { \mathcal { O } } )$ 和部分可观察程度 $\eta = 1 - \frac { | \mathcal { O } | } { | S | }$ 来表征。推理复杂性还涉及在任务中识别和处理多个推理点。

• $\mathcal { C } _ { \mathrm { t o o l } }$：工具复杂性 (Tool complexity) 捕捉了在导航广泛行动空间时的结构复杂性。工具被建模为一个有向图 $G = ( V , E )$，其中 $V$ 代表单个工具， $E$ 编码工具间的依赖关系。工具复杂性通过图的密度 $|E| / (|V|(|V|-1))$ 和任务相关子图的覆盖率 $V_{\text{task}}$ 来衡量。跨场景设置通过扩展跨多个领域的行动空间 $\mathcal { A }$ 进一步增加了这一复杂性。

• $\mathcal { C } _ { \mathrm { i n t e r a c t } }$：交互复杂性 (Interaction complexity) 反映了管理与用户动态多轮对话的挑战。它通过对话轮次 (turn)、用户资料属性 (profile attributes) 和用户行为 (user behavior) 的多样性来衡量。此外，真实用户表现出动态状态 $\boldsymbol { S _ { \mathrm { u s e r } } }$，其在交互过程中不断演变，要求智能体持续适应策略。

  这些维度共同构成了 VitaBench 的任务复杂性框架，为基准设计和评估提供了系统指导。

4.2.3. 基准构建

VitaBench 的构建分为两个阶段：

4.2.3.1. 阶段 I: 框架设计

• 真实世界抽象: VitaBench 通过系统性地抽象真实世界的“生命服务”应用（如外卖、到店消费、在线旅游），从中识别和提取核心实体和工具。最终构建了跨三个领域共 66 种工具，这些工具捕捉了真实服务的关键功能。
• 工具依赖建模: 工具间的依赖关系被建模为有向图 $G = ( V , E )$。工具描述通过添加前置条件 (pre-conditions)（执行工具前必须满足的状态）和后置条件 (post-conditions)（执行工具后产生的预期结果）进行增强。这种“前置-后置”范式将领域规则编码到工具结构中，从而消除了对冗长政策文档的需求，同时增加了推理复杂性并促进了跨领域组合。例如，modify_order 工具需要先执行 get_order_detail 来获取必要信息。
• 用户模拟器: 为了捕捉真实世界交互中固有的不确定性，VitaBench 实现了用户模拟器 (user simulator)，该模拟器遵循 [Yao et al., 2024] 的方法。它利用语言模型来驱动用户行为属性，并应用基于提示 (prompt-based) 的约束来维持一致性，同时模拟真实用户的模糊性。用户模拟器被赋予知识边界，以反映现实场景，例如智能体不能直接访问用户的饮食限制，而必须从订单历史或用户回复中推断。

4.2.3.2. 阶段 II: 任务创建

• 用户画像 (User Profiles): 用户画像来源于真实的平台数据，经过匿名化和丰富化处理，创建出具有不同个性、属性和沟通风格的独特角色。这些属性包括年龄、职业、生活习惯、个性（如冷静、依赖、逻辑性）、以及在多轮对话中可能表现出的各种对话动态。

• 任务指令 (Task Instructions): 任务指令综合了多个真实的用户请求，形成复合目标。这些指令经过人工审查和完善，确保其跨越不同领域，并涉及跨场景设置，要求智能体在不同上下文之间导航。

• 环境数据 (Environmental Data): 环境数据结合了来自真实世界生命服务平台的商家和产品信息，以及由模型生成的实体和支持数据。这确保了数据集的广度和深度，涵盖了大量服务和产品。

• 评分标准 (Rubrics): 为每个任务构建了全面的评分标准数据库，包括用户画像、环境信息和用于验证任务完成度的评价标准。一个任务可能存在多种解决方案路径，并通过这些评分标准进行评估。例如，一个任务包含 20 个用户案例，每个案例对应一个具体的任务目标。

  图3展示了 VitaBench 的构建流程，将工具定义、数据库、任务环境信息、用户画像和评分标准等组件结合起来，形成复杂的跨场景交互任务。

  该图像是图3，是VitaBench构建流程的示意图，展示了工具定义、数据库、任务环境信息、用户画像及评分标准等组件如何结合形成复杂的跨场景交互任务。

Figure 3: Overview of the VitaBench construction pipeline and a simplified cross-scenario example.

4.2.4. 基于评分标准的滑动窗口评估器

为了评估智能体在复杂环境和多样化解决方案路径中的表现，VitaBench 提出了一个基于评分标准 (rubric-based) 的滑动窗口评估器 (sliding window evaluator)。

• 评分标准设计: 针对每个任务，人工设计了一套评分标准 $\mathcal { R } = \{ r _ { 1 } , \ldots , r _ { k } \}$，包含从任务信息中提取的原子化判别标准（例如，“餐厅距离 500 米内”、“用户只吃素食”）。
• 滑动窗口机制: 每个交互轨迹被划分为重叠的窗口 W _ { i }，每个窗口包含 $w$ 个连续的对话轮次。相邻窗口之间有 $\delta$ 个重叠轮次，以确保信息连贯性。在评估过程中，评估器会处理每个窗口内的对话，并进行判断。
• 持久化评分状态: 评估器维护一个状态向量 $\mathfrak { s } \in \{ 0 , 1 \} ^ { k }$，持久地记录各个判别标准是否已满足。一旦某个评分项 r _ { j } 在任何窗口中被满足， s _ { j } 就会被永久标记为已满足。这种机制使得评估器能够跟踪整个轨迹中的进度。
• 严格的评估标准: 对于基准评估，VitaBench 采用了严格的“全有或全无” (all-or-nothing) 标准：只有当所有评分项都满足时，任务才被认为是成功完成。其成功与否的指标为： $$\text{Success} = \mathbb { 1 } [ \sum _ { j } s _ { j } = k ]$$ 其中 $\mathbb { 1 } [\cdot]$ 是指示函数，当括号内的条件为真时取 1，否则取 0。 $\sum _ { j } s _ { j } = k$ 表示所有 $k$ 个评分项都被满足。
• 可靠性验证: 通过与人类判断的 $Cohen's κ$ (一种衡量评判者间一致性的统计量) 进行比较，验证了评估器的可靠性。结果显示 $κ ≥ 0.81$，表明评估器具有高度一致性。
• LLM-as-a-Judge: 评估器本身由 LLM 实现（具体为 Claude-4.7-Sonnet），它根据定义的评分标准和滑动窗口机制，对智能体的表现进行判断。

5. 实验设置

5.1. 数据集

VitaBench 本身就是为 LLM 智能体设计的基准数据集。它不依赖于外部现有数据集，而是通过一套系统化的流程构建了任务和环境。

• 数据来源:
  • 任务: 来源于美团 (Meituan) 平台上的真实用户请求，这些请求经过处理后，被合成为需要智能体解决的复合目标。
  • 用户画像: 基于真实的平台用户数据进行匿名化和丰富化，创建出多样化的用户角色和沟通风格。
  • 环境信息: 结合了来自真实世界生活服务平台的商家、产品信息，以及通过模型生成的数据来扩展环境的广度和深度。
• 数据集规模与特点: VitaBench 包含三个主要领域（外卖 Delivery、到店消费 In-store、在线旅游服务 OTA），以及一个跨场景 (Cross-Scenarios) 的组合领域。 以下是原文 Table 2 的数据统计：

以下是原文 Table 2 的结果：

• 领域特点:
  • 跨场景 (Cross-Scenarios): 包含 100 个任务，涉及所有 66 个 API 工具，旨在测试智能体在不同领域之间切换和协调的能力。
  • 外卖 (Delivery): 包含 100 个任务，使用 20 个 API 工具。
  • 到店消费 (In-store): 包含 100 个任务，使用 24 个 API 工具。
  • 在线旅游服务 (OTA): 包含 100 个任务，使用 38 个 API 工具。

5.2. 评估指标

VitaBench 使用了三个核心指标来评估 LLM 智能体的表现：Avg@4、Pass@4 和 $Pass^4$。这些指标基于对每个任务进行多次独立运行 (通常为 4 次) 的结果计算。

• 1. 平均成功率 (Average Success Rate, Avg@k)

  • 概念定义: Avg@k 表示智能体在 $k$ 次独立尝试中任务成功的平均概率。它直接反映了模型在给定任务上的平均表现。
  • 数学公式: $$\text{Avg@k} = \frac{1}{k} \sum_{i=1}^{k} \text{Success}_i$$
  • 符号解释:
    • $k$: 独立尝试的次数，本文中 $k=4$。
    • $\text{Success}_i$: 第 $i$ 次尝试是否成功的一个二元指示变量 (1 代表成功，0 代表失败)。
    • $\sum_{i=1}^{k} \text{Success}_i$: 在 $k$ 次尝试中成功的总次数。

• 2. 至少一次成功概率 (Probability of At Least One Success, Pass@k)

  • 概念定义: Pass@k 表示在 $k$ 次独立且同分布 (i.i.d.) 的任务试验中，至少有一次试验成功的概率。这个指标衡量的是智能体“在多次尝试下，最终能够解决问题”的能力，反映了模型在一定程度的探索或重试后的表现。
  • 数学公式: $\text{Pass@k} = 1 - (1 - p)^k$
  • 符号解释:
    • $k$: 独立尝试的次数，本文中 $k=4$。
    • $p$: 单次试验成功的真实概率，通常通过足够多次（例如 32 次）试验的平均成功率来估计。

• 3. 全部成功概率 (Probability of All Successes, Pass^k)

  • 概念定义: $Pass^k$ 表示在 $k$ 次独立且同分布 (i.i.d.) 的任务试验中，所有试验都成功的概率。这个指标衡量的是智能体表现的稳定性 (stability) 和一致性 (consistency)，即模型在给定任务上持续成功的可靠程度。
  • 数学公式: \text{Pass^k} = p^k
  • 符号解释:
    • $k$: 独立尝试的次数，本文中 $k=4$。
    • $p$: 单次试验成功的真实概率，通常通过足够多次（例如 32 次）试验的平均成功率来估计。

5.3. 对比基线

VitaBench 对一系列当前最先进的 LLM 进行了评估，包括来自不同机构的“思考型” (Thinking) 和“非思考型” (Non-thinking) 模型。这些模型被分为两类进行比较：

• 非思考型模型 (Non-thinking Models): 指那些没有明确使用“思考链” (Chain-of-Thought, CoT) 或其他规划/反思机制的模型。

  • DeepSeek-V3-0324
  • Qwen3-32B (w/o thinking)
  • GPT-5 (minimal)
  • Gemini-2.5-Flash (think off)
  • Doubao-Seed-1.6
  • GPT-4.1
  • Qwen3-235B-A22B-Instruct-2507
  • Kimi-K2-0905
  • DeepSeek-V3.1 (w/o thinking)
  • DeepSeek-V3.2-Exp (w/o thinking)
  • Qwen3-Max
  • GLM-4.5 (w/o thinking)
  • LongCat-Flash-Chat
  • Claude-4-Sonnet (w/o thinking)
  • Claude-4.1-Opus (w/o thinking)

• 思考型模型 (Thinking Models): 指那些通过某种机制（例如，CoT 或显式规划步骤）进行内部“思考”以提高推理和问题解决能力的模型。

  • Qwen3-32B (w/ thinking)
  • Gemini-2.5-Flash (think on)
  • DeepSeek-R1-0528
  • Doubao-Seed-1.6-Thinking
  • Qwen3-235B-A22B-Thinking-2507
  • GPT-4.04-mini (high)
  • GLM-4.5 (w/ thinking)
  • GPT-5 (high)
  • Claude-4-Sonnet (w/ thinking)
  • Gemini-2.5-Pro
  • LongCat-Flash-Thinking
  • Claude-4.1-Opus (w/ thinking)
  • GPT-4.03 (high)

• 实验设置细节:

  • 所有模型均通过 LLM-as-agent 范式进行评估，OpenAI 提供了工具。
  • 每个任务的最大交互轮次限制为 50 轮。
  • 用户模拟器使用 GPT-4.0504T 实现，评估器使用 Claude-4.7-Sonnet 实现，以避免评估器与被评估智能体模型之间存在过度的重叠。
  • 为了获得最终结果，每个任务执行 4 次独立运行。

6. 实验结果与分析

6.1. 核心结果分析

VitaBench 的综合评估揭示了当前 LLM 智能体在应对真实世界复杂任务时的严峻挑战。

以下是原文 Table 3 的结果：

1. 真实世界任务对现有智能体构成巨大挑战：

• 跨场景任务的严峻挑战: VitaBench 最具挑战性的部分是跨场景任务 (Cross-Scenarios)。即使是表现最好的模型 (GPT-4.03，思考型)，其 Avg@4 成功率也仅为 30.0%。这远低于单领域任务（通常超过 50%），例如 In-store 领域的最高 Avg@4 达到了 56.8% (LongCat-Flash-Thinking)。这表明智能体在跨领域导航、协调和利用不同工具集方面存在根本性缺陷。
• 复杂工具集的挑战: 尽管 OTA 领域拥有最大的候选工具池（38个工具），但其性能（最高 Avg@4 37.8%）通常低于 Delivery (最高 Avg@4 54.0%) 和 In-store (最高 Avg@4 56.8%)。这说明工具集的庞大和复杂性（例如，工具间的依赖关系）本身就构成了巨大的挑战，并非仅仅是工具数量的增加。

2. 探索能够提升性能，但稳定性问题突出：

• Pass@k vs. $Pass^k$ 的对比: Pass@4 结果显示，通过增加采样次数 ($k=4$)，任务完成率可以显著提高。例如，许多模型在 Cross-Scenarios 上的 Pass@4 达到 40%-60%。这表明智能体在多次尝试中，至少有一次能够成功完成任务，暗示了一定的探索能力。

• 不稳定性问题: 然而，$Pass^4$ (所有 4 次尝试都成功的概率) 指标揭示了令人担忧的不稳定性。即使是顶尖模型，$Pass^4$ 成功率也往往接近于零，例如 Cross-Scenarios 中最高仅为 6.0% (Claude-4.1-Opus 和 GPT-4.03)。这意味着模型在多次运行中很难保持一致的成功，即使有能力解决问题，也无法稳定地复现成功。 下图（原文 Figure 4）展示了 Pass@k 与 $Pass^k$ 性能的对比，尤其突出了 Claude-4-Sonnet 和 GPT-4.1 在不同尝试次数下的稳定性差异。

  该图像是图表，展示了不同模型在多尝试次数下的 Pass@k 和 Pass^k 性能对比，具体为 Claude-4-S 和 GPT-4.1 两个模型的表现，横轴为尝试次数 $k$，纵轴分别对应 Pass^k 和 Pass@k。

Figure 4: Pass @ k vs. Pass^k performance.

3. “思考型”机制提升了效率和效果：

• 性能提升: 具备“思考型” (thinking) 机制的模型通常比其“非思考型” (non-thinking) 版本表现更好。例如，Claude-4.1-Opus 的 Avg@4 从 21.8% 提升到 29.0%，GLM-4.5 从 20.0% 提升到 22.8%。

• 效率提高: “思考型”机制也带来了效率上的提升。下图（原文 Figure 5）显示，思考型模型通常在更少的对话轮次内达到更好的性能。这表明它们能够通过内部规划和更具针对性的用户交互（例如，通过精确的澄清问题）来优化任务流程。

  该图像是一个展示模型性能与对话轮数关系的散点图，区分了‘思考型’(Thinking)和‘非思考型’(Non-Thinking)两类模型。图中横轴为对话轮数，纵轴为性能指标（Avg@4），不同颜色表示不同模型类别，具体模型名称标注在对应点旁。

Figure 5: Model performance vs. Turns. 例如，在 Cross-Scenarios 任务中，思考型模型平均性能达到 23.8%，而非思考型模型为 17.9%，而对话轮次保持可比。

6.2. 消融实验/参数分析

6.2.1. VitaBench 组件可靠性分析

由于 VitaBench 包含基于模型的用户模拟器和轨迹评估器，论文进行了可靠性分析。

1. 用户模拟器可靠性：

• 信息保真度: 100 个对话的评估显示，用户模拟器在遵循任务指令、用户画像、避免幻觉和上下文相关性方面表现出高保真度，平均得分为 9.48/10。

• 人格一致性: 对 200 个对话中用户行为的评估显示，模拟器在通过语言风格、情绪表达和对话模式等方面与人格设定保持高度一致性，平均得分为 9.34/10。其中，合作型人格表现出最高的一致性。 下图（原文 Figure 6）展示了用户模拟器在信息保真度（Info Fidelity）和人格一致性（Persona Consistency）两方面的评估结果。

  该图像是论文中图6的柱状图，展示了用户模拟器在信息保真度（Info Fidelity）和人格一致性（Persona Consistency）两方面的评估结果。图中不同场景下的评分接近满分，误差条表示数据波动范围。

Figure 6: User simulator reliability evaluation.

2. 评估器可靠性 (基于评分标准和滑动窗口)：

• 为了验证评估器的可靠性，论文进行了消融研究，对比了不同评估器配置与人类判断的 $Cohen's κ$ 一致性。 以下是原文 Table 4 的结果：

  Method	Score	Task Acc.	Rubric Acc.	Cohen's κ
  Baseline	20.0	95.0	88.5	0.828
  w/o Sliding Window	19.0	90.0	87.6	0.604
  w/o Rubric Checklist	91.0	22.0	-	0.018
  w/o Both	82.0	32.0	-	0.067

• 基线 (Baseline): 论文提出的基于评分标准和滑动窗口的评估器，与人类判断的 $Cohen's κ$ 达到 0.828，显示出高一致性。

• 无滑动窗口 (w/o Sliding Window): 移除滑动窗口机制后，$Cohen's κ$ 下降到 0.604。这表明，虽然在完整轨迹上进行评估也能获得相似的最终分数（19.0 vs. 20.0），但由于评估模型在长上下文处理能力上的限制，很难准确评估所有评分项。滑动窗口设计有效解决了这一问题，同时保持了 95% 的任务级别准确率。

• 无评分标准清单 (w/o Rubric Checklist): 移除评分标准清单后，$Cohen's κ$ 急剧下降到 0.018。这强调了明确的评分标准对于 LLM-as-a-Judge 评估准确性和一致性的关键作用。

• 两者皆无 (w/o Both): 同时移除滑动窗口和评分标准清单时，$Cohen's κ$ 仅为 0.067，表现最差。 这些结果验证了 VitaBench 评估方法（特别是评分标准和滑动窗口）的可靠性。

3. 运行次数的稳定性分析：

• 论文基于 32 次独立运行，计算了不同运行次数 $k$ 下平均估计值与预期值（32 次运行平均值）之间的均方误差 (Mean Squared Error, MSE)。 下图（原文 Figure 7）展示了 GPT-4.1 和 Claude-4-Sonnet 在不同评估运行次数下的 MSE 稳定性。

  该图像是图表，展示了GPT-4.1与Claude-4-Sonnet在不同评估运行次数下的均方误差（MSE）稳定性，横轴为运行次数k，纵轴为MSE值，表明随着运行次数增加，MSE逐渐降低且两者表现接近。

Figure 7: MSE stability across different evaluation run counts.

• 结果显示，从 $k=1$ 增加到 $k=4$ 时，MSE 降低了 77.5%，提供了显著的统计精度提升。而从 $k=4$ 增加到 $k=8$ 仅带来边际改进，但计算开销翻倍。因此，论文选择 4 次评估运行作为主要实验的平衡点，在统计精度和计算成本之间取得了最佳平衡。

6.2.2. 任务复杂性分析

论文分析了推理复杂性 $\mathcal { C } _ { \mathrm { r e a s o n } }$ 和工具复杂性 $\mathcal { C } _ { \mathrm { t o o l } }$ 如何影响任务难度。 以下是原文 Table 5 的结果：

• 推理复杂性与性能:
  • Cross-scenario 和 OTA 任务需要最多的推理点（分别为 10.3 和 9.7），这要求在部分可观察性下进行复杂的推理，因此性能最低（分别为 16.2% 和 20.7%）。
  • 尽管 In-store 领域的搜索空间最大（3,916），但由于其推理点较少（5.6），因此实现了最高的性能（42.1%）。
• 工具复杂性与性能:
  • Cross-scenario 任务具有最高的工具数量（66个）和最多的依赖边（512条），导致其性能最低（16.2%）。
  • OTA 领域的图密度为 22.0%（表示复杂的工具间依赖），这也导致了其较低的性能（20.7%）。

交互复杂性 (Interactive Complexity) 消融研究:

• 论文进行了消融研究来量化交互复杂性 $\mathcal { C } _ { \mathrm { i n t e r a c t } }$ 的影响。评估了两种模型 (GPT-4.1-Mini 和 Claude-4-Sonnet) 在三种用户模拟器配置下的表现：

  1. 默认用户模拟器 (Default User Simulator)：具有完整的人格和行为属性。

  2. 无用户交互 (No User Interaction)：任务直接以一次性提示提供，智能体无需与用户对话。

  3. 仅提供用户指令 (User Instruction Only)：用户仅提供任务指令，不提供人格或行为属性。 下图（原文 Figure 8）展示了用户模拟配置消融实验的柱状图。

     该图像是图8，展示了用户模拟配置消融实验的柱状图，比较了GPT-4.1-Mini和Claude-4-Sonnet在不同用户模拟条件下的avg@4表现。

Figure 8: Ablation study of user simulation configurations.

• 结果显示，GPT-4.1-Mini 在没有用户交互时表现最佳，但在默认用户模拟器下性能显著下降，表明交互复杂性对其影响较大。
• Claude-4-Sonnet 在“仅提供用户指令”配置下表现略有下降，但在默认用户模拟器下性能下降更为明显。
• 这表明对话风格主要挑战了能力较弱的模型，而 Claude-4-Sonnet 在“单智能体”复杂性方面的优势在交互维度上得到了进一步验证。

6.2.3. VitaBench 错误模式分析

为了理解当前智能体在 VitaBench 中的失败模式，论文分析了 Claude-4.1-Opus 在跨场景任务轨迹中的错误。将 76 个失败的评分标准归类为不同的错误模式。 下图（原文 Figure 9）中展示了 VitaBench 的错误分布饼状图。

该图像是图9中VitaBench错误分布的饼状图，展示了不同类型错误在整体中的比例，主要包括决策制定、约束冲突、目标遗漏等多个类别。

Figure 9: Error distribution of VitaBench.

• 推理错误 (Reasoning errors): 61.8%
  • 这占据了失败错误的大部分，揭示了智能体在任务决策制定、处理具有多重约束的复合目标方面的基本局限性。具体包括：
    • 决策制定失败 (Decision making failure): 18.4%
    • 约束冲突 (Constraint conflict): 17.1%
    • 目标遗漏 (Missed objective): 15.8%
    • 信息提取不当 (Improper information extraction): 10.5%
• 工具使用错误 (Tool-use errors): 21.1%
  • 源于不正确的工具选择、参数传递错误以及无法从调用失败中恢复。
• 交互管理失败 (Interaction management failures): 7.9%
  • 智能体在对话管理方面面临挑战，未能主动澄清模糊的需求，并在多轮对话中丢失用户偏好。
• 用户模拟器错误 (User simulator errors): 9.2%

  • 这是固有的随机行为，通过多次运行进行缓解。

    此外，论文指出智能体表现出有限的错误恢复能力，当面临工具失败或不确定的用户响应时，大多数智能体倾向于重复失败的尝试，而不是调整策略。这表明智能体缺乏自我意识 (self-awareness) 和恢复机制。

7. 总结与思考

7.1. 结论总结

VitaBench 旨在弥合受控基准测试与实际部署之间存在的巨大差距。通过将智能体任务形式化为 POMDP，并引入一个涵盖推理、工具和交互三维度的复杂性框架，VitaBench 成功构建了一个前所未有的复杂且真实的模拟环境。该环境包含 66 种工具，并支持从真实用户请求派生出的跨场景和单场景任务，要求智能体进行复杂的时空推理、工具协调、模糊指令澄清以及用户意图跟踪。同时，创新的基于评分标准的滑动窗口评估器确保了评估的鲁棒性和可靠性。

实验结果清晰地表明，即使是目前最先进的 LLM 智能体，在 VitaBench 的跨场景任务上成功率也仅为 30%，在单场景任务上则低于 50%。这揭示了当前 LLM 智能体在处理真实世界复杂性、不确定性和动态交互方面的显著局限性。推理错误是主要的失败原因，其次是工具使用错误和交互管理失败，智能体普遍缺乏自我意识和错误恢复能力。

总而言之，VitaBench 为 LLM 智能体在实际应用中的发展提供了一个极具挑战性的测试平台和可操作的洞察。

7.2. 局限性与未来工作

论文中明确指出了当前 LLM 智能体在 VitaBench 上的主要局限性，这些也构成了未来研究的重要方向：

• 推理能力不足: 61.8% 的失败归因于推理错误，这表明当前智能体在复杂的决策制定、处理多重约束、以及识别和整合多方面信息以实现复合目标方面存在深层缺陷。未来的工作需要提升智能体的复杂推理、规划和问题分解能力。
• 工具使用准确性与鲁棒性: 21.1% 的错误来自工具使用，包括工具选择错误、参数传递不准确以及未能从工具调用失败中有效恢复。这要求研究如何提高智能体对工具功能和接口的理解，以及在工具反馈不符合预期时如何进行错误诊断和恢复。
• 交互管理与用户理解: 7.9% 的失败源于交互管理，智能体未能主动澄清模糊指令或在多轮对话中跟踪用户意图变化。未来的智能体需要更精细的用户建模、更主动的澄清策略，并能够更好地适应用户意图的漂移。
• 缺乏自我意识和错误恢复: 论文指出智能体表现出有限的错误恢复能力，往往重复失败的尝试。未来的研究应探索如何赋予智能体更强的自我反思能力，使其能够识别错误、理解错误原因，并主动调整策略以从失败中恢复。
• 用户模拟器的完善: 尽管用户模拟器表现出高保真度，但 9.2% 的错误仍归因于模拟器。虽然这是随机行为的固有部分，但持续改进用户模拟器的真实性和动态性仍有空间，尤其是在处理更极端或不常见的用户行为模式时。
• 更高效的评估: 虽然 4 次运行在统计精度和成本之间取得了平衡，但对于大规模、频繁的模型迭代，仍需要探索更高效的评估方法，例如通过更智能的采样策略或自适应评估流程。

7.3. 个人启发与批判

• 对智能体研究的启发: VitaBench 的出现是对 LLM 智能体领域的一次重要推动。它清晰地指出了当前 LLM 智能体距离真正意义上的通用智能体仍有巨大差距，尤其是在需要复杂推理、多工具协调和动态用户交互的真实世界场景中。这为未来的研究提供了明确的方向，即不仅要提升 LLM 的语言理解和生成能力，更要关注其作为“智能体”的整体决策、规划、执行和交互能力。多维度复杂性框架为设计更有针对性的训练任务和评估指标提供了理论基础。
• 对基准测试设计的思考: 论文提出的基于评分标准和滑动窗口的评估器是一个非常实用的创新。它解决了传统评估方法在处理开放式、多轮对话和长上下文任务时面临的挑战，并通过 LLM-as-a-Judge 实现了可扩展的评估。这种方法对于未来复杂 LLM 应用的评估具有借鉴意义。同时，对用户模拟器的精细化设计（包括人格、行为属性和知识边界）也为构建更真实、更具挑战性的交互环境提供了宝贵经验。
• 潜在问题与可以改进的地方:

  • “思考型”机制的黑盒性质: 论文指出“思考型”模型表现更好，但并未深入探讨具体是哪种“思考”机制（例如，CoT、Tree of Thought 等）以及其内部运作原理如何导致性能提升。未来的研究可以进一步剖析这些机制的有效性，并提供更细粒度的解释。

  • 错误模式的细化: 尽管论文提供了详细的错误分布，但对于每个错误类别下的具体案例和智能体失败的根本原因，可以进行更深入的质性分析。例如，为什么智能体在某些情况下会出现“决策制定失败”？是信息过载、推理链断裂还是对工具功能理解有误？更细致的错误类型区分和案例分析将为模型改进提供更直接的指导。

  • 评估成本与扩展性: 即使 $k=4$ 是一个平衡点，但对于包含 400 个任务、每个任务 4 次运行，以及 LLM-as-a-Judge 的评估，其计算成本仍然可观。随着基准规模的扩大和模型的迭代速度加快，如何进一步降低评估成本并保持可靠性将是一个持续的挑战。

  • 用户模拟器的局限性: 尽管用户模拟器表现良好，但它毕竟是由 LLM 驱动的。LLM 模拟的用户行为是否能完全捕捉真实人类的全部复杂性和不可预测性（例如，非理性行为、情绪波动、对智能体错误的强烈反应等）仍有待进一步探讨。未来可以引入更多人类参与的评估或更复杂的行为模型。

  • 领域泛化性: VitaBench 聚焦于“生命服务”领域。智能体在其他高度专业化或技术性领域（如医疗、法律、工程设计）的表现可能有所不同。构建跨越更多领域且具备相似复杂性的基准将是进一步的挑战。

    总的来说，VitaBench 是一项及时且重要的工作，它不仅为 LLM 智能体研究提供了一个急需的、高难度的测试平台，也为我们理解当前智能体的能力边界和未来发展路径提供了深刻的洞察。