1. 论文基本信息 (Bibliographic Information)

• 标题 (Title): LLMs as Scalable, General-Purpose Simulators For Evolving Digital Agent Training (大型语言模型作为可扩展的通用模拟器，用于演进式数字智能体训练)
• 作者 (Authors): Yiming Wang, Da Yin, Yuedong Cui, Ruichen Zheng, Zhiqian Li, Zongyu Lin, Di Wu, Xueqing wu, Chenchen Ye, Yu Zhou, Kai-Wei Chang。作者主要来自加州大学洛杉矶分校 (UCLA) 和哈佛大学 (Harvard University)。
• 发表期刊/会议 (Journal/Conference): 这是一篇提交到 arXiv 的预印本论文 (Preprint)。预印本意味着它尚未经过同行评审 (Peer Review)，但可以快速分享研究成果。
• 发表年份 (Publication Year): 2025 (根据论文元信息，日期为 Oct 16, 2025，这很可能是一个笔误或占位符，因为当前时间是 2025 年 10 月 19 日，这篇论文不可能在未来发布。通常我们以其在 arXiv 上的提交日期为准)。
• 摘要 (Abstract): 训练能够泛化到真实世界任务的数字智能体需要大量多样化的用户界面 (UI) 交互轨迹数据，但从人力、基础设施和工程角度来看，收集这类数据的成本高得令人望而却步。为此，我们引入了 UI-Simulator，一个可扩展的范式，它能生成结构化的 UI 状态和状态转换，从而大规模合成训练轨迹。该范式集成了用于生成多样化 UI 状态的数字世界模拟器、用于进行连贯探索的引导式部署 (guided rollout) 过程，以及一个能够生成高质量、多样化轨迹的封装器。我们进一步提出了 UI-Simulator-Grow，一种目标明确的扩展策略，通过优先处理高影响力任务并合成信息丰富的轨迹变体，实现更快速、数据效率更高地扩展。在 WebArena 和 AndroidWorld 两个基准测试上的实验表明，尽管使用了较弱的教师模型，UI-Simulator 的性能仍然可以媲美甚至超过在真实 UI 上训练的开源智能体，并且鲁棒性显著更强。此外，UI-Simulator-Grow 仅使用 Llama-3-8B-Instruct 作为基础模型，就达到了与 Llama-3-70B-Instruct 相当的性能，突显了这种目标明确的合成扩展范式在持续高效地增强数字智能体方面的潜力。
• 原文链接 (Source Link):

  • 原文链接: https://arxiv.org/abs/2510.14969v1

  • PDF 链接: https://arxiv.org/pdf/2510.14969v1.pdf

  • 发布状态: 预印本 (Preprint)。

    ---

2. 整体概括 (Executive Summary)

• 研究背景与动机 (Background & Motivation - Why):

  • 核心问题： 训练强大的数字智能体 (Digital Agent) 存在一个巨大的瓶颈——数据稀缺。高质量的、用于指导智能体在网页或手机 App 上操作的训练数据（即交互轨迹）非常难以获取。
  • 问题重要性： 收集这些数据不仅需要大量的人工标注（例如，论文提到一个任务集需要 1800+ 人时），还需要复杂的工程和基础设施来支持在真实的网站或 App 上运行智能体，这导致开发成本高昂、迭代速度缓慢。这个“数据鸿沟”严重限制了数字智能体的发展。
  • 创新思路： 与其在昂贵的真实环境中收集数据，不如创造一个“数字世界模拟器”。论文的核心思路是利用大型语言模型 (LLM) 强大的知识和生成能力，去凭空“想象”和创造出各种各样逼真的用户界面 (UI) 以及用户操作后的界面变化。这样就可以低成本、大规模地生成无穷无尽的训练数据，让智能体在一个多样化的虚拟世界中学习。

• 核心贡献/主要发现 (Main Contribution/Findings - What):

  1. 提出了 UI-Simulator 范式： 这是一个全新的、可扩展的训练数据合成框架。它不依赖于真实的 UI 环境，而是利用 LLM 作为数字世界模拟器 (Digital World Simulator) 来生成 UI 状态和交互轨迹。该框架包含三个核心组件：

     • LLM 世界模拟器： 负责生成结构化的 UI 状态。
     • 引导式部署过程 (Guided Rollout Process)： 确保智能体在模拟世界中的探索既多样又合理。
     • 轨迹封装器 (Trajectory Wrapper)： 将探索过程产生的原始数据包装成高质量的训练样本。

  2. 提出了 UI-Simulator-Grow 策略： 这是一种更聪明的目标明确的扩展策略 (Targeted Scaling Strategy)。它不是盲目地增加数据量，而是首先识别出对当前智能体来说“不难也不简单”的最具学习价值的任务，然后针对性地为这些任务合成更多样的训练数据，从而以更高的数据效率提升智能体性能。

  3. 验证了模拟数据的有效性： 实验证明，仅在 UI-Simulator 生成的虚拟数据上训练的智能体，其性能不仅能媲美、甚至在某些方面超过了那些在真实 UI 环境中收集数据训练的智能体，并且对界面变化的鲁棒性更强。更惊人的是，UI-Simulator-Grow 策略用一个 80 亿参数的小模型 (Llama-3-8B) 就达到了 700 亿参数大模型 (Llama-3-70B) 的性能水平，展示了其巨大的潜力和效率。

     ---

3. 预备知识与相关工作 (Prerequisite Knowledge & Related Work)

• 基础概念 (Foundational Concepts):

  • 大型语言模型 (Large Language Models, LLMs): 指的是像 GPT-4、Llama-3 这样通过在海量文本和代码数据上进行预训练而获得的巨型神经网络模型。它们不仅能理解和生成自然语言，还内化了关于世界的大量事实性、程序性和结构性知识（如网页的 HTML 结构），这使得它们有潜力模拟数字世界的运行规律。
  • 数字智能体 (Digital Agent): 一种人工智能程序，旨在模拟人类用户，通过与图形用户界面（如网页、手机 App、桌面软件）交互来完成指定任务，例如“预订一张从北京到上海的机票”或“在电商网站上找到最便宜的手机”。
  • 用户界面 (User Interface, UI): 用户与设备或软件交互的界面。在本文的数字环境中，UI 通常可以被表示为结构化的文本，例如网页的 DOM 树或 App 的可访问性树 (Accessibility Tree)，其中包含了每个可交互元素的文本内容、位置、类型等信息。
  • 轨迹 (Trajectory): 智能体在环境中执行任务时留下的一系列记录，通常是（状态，动作）对的序列：$(s_0, a_0, s_1, a_1, \dots)$。其中，$s_t$ 是智能体在时间步 $t$ 观察到的环境状态（如当前屏幕截图或 UI 结构），$a_t$ 是智能体在该状态下采取的动作（如“点击按钮 A”）。
  • 世界模型 (World Model): 一个能够学习和模拟环境动态的模型。给定当前状态和智能体将要执行的动作，世界模型可以预测环境的下一个状态会是什么样。本文将 LLM 用作一个专门模拟 UI 环境变化的“数字世界模型”。
  • 合成数据 (Synthetic Data): 人工生成而非从真实世界直接采集的数据。本文的核心就是利用 LLM 合成用于训练智能体的 UI 交互轨迹数据。

• 前人工作 (Previous Works):

  • 人工标注： 如 Mind2Web 等工作依赖大量人力来创建高质量的交互轨迹，成本极高，扩展性差。
  • 基于真实环境的自动数据合成：
    • Synatra 和 AgentTrek 将网上的教程、文档等间接知识转化为智能体可用的训练数据。
    • NNetNav 和 OS-Genesis 等工作采用无监督探索 (Unsupervised Exploration) 的方式，让智能体在真实的网站上“自由漫游”，然后反向为探索出的轨迹生成任务指令。
  • 基于 LLM 的世界模型： WebEvolver 和 WebSynthesis 等研究也尝试使用 LLM 作为世界模型来辅助智能体训练。

• 差异化分析 (Differentiation):

  • 与真实环境探索方法的区别： 以前的方法（如 NNetNav, OS-Genesis）仍然依赖于真实的网站或 App。这意味着它们受限于真实环境的复杂性、网络延迟、账户登录墙等问题，且探索范围有限。而本论文提出的 UI-Simulator 完全脱离了真实环境，通过 LLM 凭空创造 UI，从而可以生成更多样、更理想化、甚至现实中难以遇到的训练场景，以增强智能体的泛化能力。

  • 与已有世界模型方法的区别： UI-Simulator 强调无需为世界模型进行额外训练，直接利用预训练 LLM 的先验知识即可模拟 UI，大大降低了构建模拟器的成本和复杂度。更重要的是，本文提出了目标明确的扩展范式 UI-Simulator-Grow，从“如何有效利用合成数据”的角度进行了创新，而不仅仅是“如何合成数据”。

    ---

4. 方法论 (Methodology - Core Technology & Implementation Details)

本论文的核心方法论可以分为两大部分：UI-Simulator (如何生成单条高质量轨迹) 和 UI-Simulator-Grow (如何高效地批量生成轨迹以加速智能体进化)。

该图像是论文图1的示意图，展示了UI-Simulator及UI-Simulator-Grow的整体结构与性能亮点，包括LLM预训练语料、多模块设计以及在多任务和数据规模扩展下性能提升的对比分析。

上图（图1）展示了 UI-Simulator 的整体框架和性能亮点。左上角展示了 LLM 的预训练语料来源，中间是 UI-Simulator 的三个核心模块，右侧及下方则突出了其在性能、扩展效率等方面的优势。

4.1 UI-Simulator: 合成轨迹的核心范式

UI-Simulator 的目标是生成一条高质量的训练轨迹 $τ = [o_0, a_0, o_1, a_1, ...]$。它主要由以下三个模块协同工作：

A. 数字世界模拟器 (Digital World Simulator)

这是整个系统的引擎，负责在给定当前 UI 状态 $s_t$ 和一个动作 $a_t$ 后，预测出下一个 UI 状态 $s_{t+1}$。该模拟器有两种模式：

该图像是示意图，展示了LLM世界模拟器中无检索和增强检索两种模拟器预测下一UI状态的整体流程，突出有无参考信息对预测效果的影响。

如上图（图2）所示，模拟器分为 Retrieval-Free 和 Retrieval-Augmented 两种。

1. 无检索模拟 (Retrieval-Free Simulation): 完全不依赖任何真实环境数据，纯粹利用 LLM 的内部知识生成下一个 UI 状态。这个过程分为三步：

   • 步骤 1: 预测下一状态概览 (Predict an Overview): LLM 首先对动作将导致的结果进行一个高层次的预测。例如，当前状态是购物网站首页，动作为“在搜索框输入‘sneakers’并回车”，LLM 预测的概览可能是“一个关于‘sneakers’的搜索结果页面”。
   • 步骤 2: 生成富文本草稿 (Generate Rich Draft): 基于概览，LLM 以自然语言的形式生成一个详细但非结构化的页面内容描述。这鼓励了内容的多样性和丰富性。例如，它会描述页面上有哪些商品、价格、图片等，但没有精确的布局信息。
   • 步骤 3: 转换为结构化格式 (Convert to Structured Format): LLM 再次被调用，扮演一个“风格转换模型”的角色，将上一步的自然语言草稿转换成智能体可以理解的结构化文本格式（如带有元素标签、内容和坐标的树状结构），从而最终生成 $s_{t+1}$。

2. 检索增强模拟 (Retrieval-Augmented Simulation): 当有少量来自目标测试环境的真实交互数据时，此模式可以利用这些数据来生成更逼真的 UI。在模拟 $s_{t+1}$ 时，系统会先从真实数据池中检索出一个与当前 $(s_t, a_t)$ 最相似的真实交互案例，并将检索到的参考状态 $s_{ret}$ 作为额外上下文提供给 LLM。这使得生成的新 UI 在风格和结构上更接近目标环境，同时 LLM 仍能创造性地生成新内容。

B. 引导式部署过程 (Guided Rollout Process)

为了确保生成的轨迹既多样又合乎逻辑，而不是让智能体在模拟世界里“瞎逛”，论文设计了一个引导流程。

• 分步任务控制 (Step-Wise Task Control): 在探索开始时，让一个“教师”LLM (teacher agent) 根据初始 UI 状态提出一个高层次的任务，例如“搜索某个商品”。当这个子任务完成后，教师 LLM 会根据新的 UI 状态提出下一个子任务，例如“查看商品详情”或“添加到购物车”。这个迭代的过程 $c_i = \mathcal{M}_{Teacher}(s_t, [c_{i-1}])$ 确保了整个轨迹围绕一个连贯的主题展开，并能组合成复杂的长任务。
• 思考与行动生成 (Thought & Action Generation): 在每个子任务的指引下，教师 LLM 会生成其决策的“思考”过程 ($r_t$)、具体的“行动” ($a_t$)，以及对这一步的“总结” ($h_t$)。这种 Chain-of-Thought (CoT) 的方式使得生成的轨迹包含了丰富的推理过程，有助于训练出更聪明的学生智能体。

C. 轨迹封装器 (Trajectory Wrapper)

在探索结束后，这个模块负责对原始轨迹进行“包装”，使其成为一个完美的训练样本。

• 生成最终指令 (Infer User Instruction): 由于整个探索过程是“目标自由”的，封装器会回顾整个轨迹，并反向推断出一个能够概括整个过程的最终用户指令 $G$。例如，如果轨迹完成了一系列搜索、点击、添加购物车的操作，最终指令可能是“找到‘跑鞋’并将其加入购物车”。
• 重构推理链 (Reconstruct Reasoning): 教师 LLM 会根据最终指令 $G$ 重新审视并优化每一步的“思考”过程，确保整个轨迹的逻辑链条完全对齐最终任务目标。

4.2 UI-Simulator-Grow: 目标明确的扩展策略

UI-Simulator-Grow 解决的是“如何更聪明地扩大数据集”的问题，而不是盲目地增加数据量。这是一个迭代优化的过程。

该图像是论文中图5的示意图，展示了Web任务和移动任务的目标任务选择过程，横轴为动态验证集上的Teacher-forcing损失，以25%和75%分位点标记用于下一轮轨迹合成的任务。

• 步骤 1: 目标任务选择 (Target Task Selection):

  • 在每一轮迭代中，首先在一个动态构建的验证集上评估当前智能体的表现。评估方式是计算 教师强制损失 (teacher-forcing loss)，即在每一步，学生智能体的预测与教师智能体的“正确”动作之间的交叉熵损失。这个损失值可以衡量智能体在特定任务上的“困惑程度”。
  • 如上图（图5）所示，所有验证任务根据损失值从小到大排序。损失太低（低于 25% 分位数）的任务被认为是“太简单”，智能体已经掌握了，无需再练。损失太高（高于 75% 分位数）的任务被认为是“太难”，当前阶段可能无法学会。
  • 最终，处于中间难度区间的任务（25%-75% 分位数）被选为“目标任务”，因为它们处在智能体的“最近发展区”，训练它们能带来最大的学习收益。

• 步骤 2: 合成多样化的任务变体 (Synthesizing Diverse Variants):

  • 针对上一步选出的目标任务，UI-Simulator 会生成一系列相似但略有不同的变体。例如，如果目标任务是“搜索跑鞋”，系统会通过轻微改写任务指令生成“搜索登山鞋”或“查找篮球鞋”等新任务，并相应地调整模拟的 UI 状态和交互流程。这在保持核心任务结构的同时，极大地丰富了数据的多样性。

• 步骤 3: 持续学习 (Continual Learning):

  • 为了防止智能体在学习新任务时忘记旧知识（即灾难性遗忘 Catastrophic Forgetting），UI-Simulator-Grow 采用了一种重放策略 (replay strategy)。它会从上一轮的训练数据中挑选出一部分最具代表性的任务（通过 Sentence Transformer 计算任务指令的嵌入向量并进行采样），与新合成的变体数据混合在一起，用于下一轮的训练。

    ---

5. 实验设置 (Experimental Setup)

• 数据集 (Datasets):

  • WebArena: 一个包含 812 个复杂、真实的网页导航任务的基准。任务涵盖购物、论坛、代码仓库管理等多种场景。
  • AndroidWorld: 一个包含 116 个具有挑战性的日常手机使用任务的基准，覆盖了多种 App 上的操作。
  • 选择原因： 这两个数据集分别代表了网页和移动端两大主流数字交互领域，具有很强的代表性，能够全面评估智能体的泛化能力。

• 评估指标 (Evaluation Metrics):

  • 成功率 (Success Rate, SR):
    1. 概念定义: 该指标衡量智能体在所有测试任务中，成功完成的任务所占的百分比。它是评估任务导向型智能体性能最直接、最重要的指标，直接反映了智能体“把事办成”的能力。一个更高的成功率意味着智能体更可靠、更有用。
    2. 数学公式: $$\mathrm{SR} = \frac{\text{Number of Successfully Completed Tasks}}{\text{Total Number of Tasks}} \times 100\%$$
    3. 符号解释:
       • $\text{Number of Successfully Completed Tasks}$: 智能体根据任务的成功标准（例如，页面上是否出现“预订成功”的文字）被判定为成功完成的任务总数。
       • $\text{Total Number of Tasks}$: 测试集中的任务总数。

• 对比基线 (Baselines):

  • 基础 LLM: 未经任何智能体训练的原始 LLM，如 Llama-3-8B-Instruct, Llama-3-70B-Instruct, GPT-4o 等，用于衡量训练带来的提升。

  • 其他数据合成方法: 包括 AgentFlan, NNetNav, Synatra, 和 OS-Genesis。这些基线大多依赖于真实环境进行探索或转换知识，是 UI-Simulator 的重要对比对象。

    ---

6. 实验结果与分析 (Results & Analysis)

核心结果分析

下表（转录自原文 Table 1）展示了各模型在 WebArena 和 AndroidWorld 上的总体成功率。

• 模拟数据效果显著： UI-SIMULATOR-F（完全不接触真实环境）训练的模型在 WebArena 上达到 6.28% 的成功率，远超 2.34% 的基础模型，并超过了在真实环境上训练的 OS-Genesis (6.16%)。这证明了纯模拟数据训练的可行性和有效性。
• 小模型媲美大模型： UI-Simulator-Grow-R 使用的基座模型是 Llama-3-8B（Android 上是 Qwen-2.5-7B），但它在 WebArena 上取得了 7.14% 的成功率，达到了与 Llama-3-70B (7.02%) 和 Qwen-1.5-72B (7.14%) 等 70B+ 级别模型相当的性能。这突显了 UI-Simulator-Grow 策略极高的数据效率。
• 超越其他合成方法： UI-Simulator 系列方法全面超越了 OS-Genesis 等基线，即使 UI-Simulator 使用了更弱的教师模型 (GPT-4o-mini vs GPT-4o) 和更少的真实环境经验 (<< 符号表示)。这说明模拟环境带来的多样性和泛化性优势，超过了依赖更强模型在真实环境中探索的优势。

消融实验/参数分析

下表（转录自原文 Table 2）通过移除或替换 UI-Simulator 的关键组件来验证其有效性。

• 鲁棒性更强： 当 UI 布局被随机打乱时，UI-Simulator-F 的性能下降幅度（6.28% -> 5.54%）远小于 OS-Genesis（6.16% -> 4.43%）。这表明在多样化模拟环境中训练出的智能体对未见过的 UI 布局有更强的适应能力。
• 模拟环境优于真实环境： 一个惊人的发现是，如果在真实环境中使用同样的流程来合成轨迹，性能反而更差 (4.31% vs 6.28%)。论文解释说，真实环境存在很多局限，比如搜索不到结果、需要登录等，导致无法收集到高质量、多样化的轨迹。而模拟器可以自由地生成理想的交互场景。
• 核心组件的必要性：
  • 移除 分步任务控制 后，性能大幅下降（WA: 6.40% -> 1.72%）。这说明没有引导，智能体的探索会变得单一和低效。
  • 将 多步模拟 简化为单步模拟，性能同样下降（WA: 6.40% -> 4.06%），证明了分步生成能产出更丰富、更高质量的 UI 状态。

UI-Simulator-Grow vs. 标准扩展

    ![Figure 3: The effect of standard scaling and UISIMuLAToR-GRoW targeted scaling.](/files/papers/68f443ebe3046a80be5818c9/images/4.jpg)
    *该图像是图表，展示了标准UI-Simulator扩展与UI-Simulator-Grow目标扩展在WebArena和AndroidWorld任务中随着扩展率变化的成功率对比。UI-Simulator-Grow在多种扩展率下均优于标准扩展。*

上图（图3）对比了 UI-Simulator-Grow 的目标扩展和标准的线性扩展。

• 更陡峭的性能提升曲线： 在 WebArena 和 AndroidWorld 上，UI-Simulator-Grow（橙线）的性能增长速度明显快于标准扩展（蓝线）。

• 更高的数据效率： 在 WebArena 上，UI-Simulator-Grow 仅使用约 2/3 (66%) 的数据量，就达到了与 70B 级别模型相当的性能，并超过了使用全部数据进行标准扩展的效果。

  该图像是图表，展示了UI-SIMULATOR-GROW在五大任务类别中通过三次迭代成功完成的任务数量。图中可以观察到各类别任务成功数随着迭代次数整体有所提升，体现出该方法的扩展效果。

上图（图4）进一步展示了 UI-Simulator-Grow 在不同任务类别上的进步。可以看到，随着迭代进行，几乎所有类别的任务解决数量都在稳步上升，特别是在之前难以解决的 Repo (代码仓库) 任务上，后期迭代实现了从 0 到 1 的突破，证明了该方法能帮助智能体攻克更复杂的任务。

---

7. 总结与思考 (Conclusion & Personal Thoughts)

• 结论总结 (Conclusion Summary):

  • 本论文成功提出了 UI-Simulator，一个利用 LLM 作为数字世界模拟器来大规模、低成本合成高质量训练数据的创新范式。
  • 实验证明，这种模拟数据不仅有效，甚至在某些方面优于在真实环境中采集的数据，能够训练出性能强大且鲁棒性高的数字智能体。
  • UI-Simulator-Grow 策略进一步展示了一种数据高效的智能体能力扩展路径，通过智能地选择训练目标，可以用更少的资源实现更快的性能提升，甚至让小模型达到大模型的水平。

• 局限性与未来工作 (Limitations & Future Work):

  • 领域扩展： 作者提出未来可以将此范式扩展到其他 UI 领域，如桌面应用 (Desktop)。
  • 缩小 Sim-to-Real Gap： 目前的模拟完全在文本层面进行，未来可以向像素级别 (pixel level) 扩展，生成更逼真的视觉界面，进一步缩小模拟与现实之间的差距。
  • 通用环境模拟： 该方法论的潜力不止于 UI，未来可以应用于任何能用文本表示的环境中。

• 个人启发与批判 (Personal Insights & Critique):

  • 启发性：
    1. 范式转变： 这篇论文最大的启发在于它提出的“模拟优于现实”的观点。在数据获取困难的领域，与其投入巨大成本去“适应”现实，不如创造一个理想化的、可控的、多样化的模拟世界来“塑造”智能体。这种思路对机器人、自动驾驶等许多领域都有借鉴意义。
    2. 智能扩展的新思路： UI-Simulator-Grow 的“靶向治疗”式的数据扩展策略非常精彩。它揭示了在模型能力提升的过程中，数据的“质”比“量”更重要，如何找到并利用好那些“最具信息量”的数据，是未来 AI 发展的一个关键方向。
  • 潜在问题与批判：
    1. 模拟的真实性与偏差： 尽管实验效果很好，但 LLM 生成的 UI 是否会陷入某种模式化的“想象”，缺乏真实世界中那些“意想不到”的复杂性和“脏数据”？长期来看，在纯模拟环境中训练的智能体可能会对 LLM 知识库中不存在或不常见的 UI 模式表现不佳。这是一种“模拟器偏差” (Simulator Bias) 的风险。
    2. 对动态和复杂前端的挑战： 论文的方法基于对 UI 的文本化表示。对于高度动态、依赖复杂 JavaScript 交互的现代网页，这种表示可能不足以捕捉其全部交互逻辑。模拟器能否准确预测由复杂前端代码驱动的 UI 变化，是一个未经验证的挑战。
    3. 成本分析的缺失： 虽然论文声称比真实环境成本低，但利用 GPT-4o-mini 这样强大的 LLM 进行大量模拟和轨迹生成，其 API 调用成本可能依然不菲。论文缺少一个详细的成本效益分析。