ATLAS: Actor-Critic Task-Completion with Look-ahead Action Simulation
TL;DR 精炼摘要
提出了ATLAS,一种结合记忆增强和前瞻动作模拟的Actor-Critic智能体,通过构建认知地图并基于环境模型在认知空间中模拟动作后果,实现无微调适应新环境。在WebArena-Lite基准中,成功率达63%,显著优于现有方法。
摘要
000 001 002 003 004 005 006 007 008 009 010 011 012 013 014 015 016 017 018 019 020 021 022 023 024 025 026 027 028 029 030 031 032 033 034 035 036 037 038 039 040 041 042 043 044 045 046 047 048 049 050 051 052 053 Under review as a conference paper at ICLR 2026 ATLAS: A CTOR -C RITIC T ASK -C OMPLETION WITH L OOK - AHEAD A CTION S IMULATION Anonymous authors Paper under double-blind review A BSTRACT We observe that current state-of-the-art web-agents are unable to effectively adapt to new environments without neural network fine-tuning, without which they pro- duce inefficient execution plans due to a lack of awareness of the structure and dynamics of the new environment. To address this limitation, we introduce ATLAS ( A ctor-Critic T ask-completion with L ook-ahead A ction S imulation), a memory- augmented agent that is able to make plans grounded in a model of the environment by simulating the consequences of those actions in cognitive space . Our agent starts by building a "cognitive map" by performing a lightweight curiosity driven explo- ration of the environment. The planner proposes candidate actions; the simulator predicts their conseq
思维导图
论文精读
中文精读
1. 论文基本信息
1.1. 标题
ATLAS: Actor-Critic Task-Completion with Look-ahead Action Simulation (ATLAS:基于前瞻动作模拟的 Actor-Critic 任务完成框架)
1.2. 作者
匿名作者 (Anonymous authors) 注:本文处于双盲评审阶段,作者具体身份尚未公开。
1.3. 发表期刊/会议
ICLR 2026 (Under review) 注:ICLR (International Conference on Learning Representations) 是深度学习领域的顶级会议,具有极高的学术声誉和影响力。
1.4. 发表年份
2025年 (根据元数据发布时间) / 2026 (目标会议年份)
1.5. 摘要
本文指出当前的 Web 智能体(Web-agents)在没有经过神经网络微调的情况下,无法有效地适应新环境。这主要是因为它们缺乏对新环境结构和动态的感知,导致执行计划效率低下。为了解决这一局限性,作者提出了 ATLAS。这是一个增强了记忆能力的智能体,它能够通过在“认知空间”中模拟动作的后果,制定基于环境模型的计划。 ATLAS 首先通过轻量级的“好奇心驱动探索”建立“认知地图”(Cognitive Map)。随后,规划器(Planner)提出候选动作,模拟器(Simulator)在认知空间中预测后果,评论家(Critic)评估选项并选择最佳路径,最后由执行器执行。在 WebArena-Lite 基准测试中,ATLAS 达到了 63% 的成功率,显著高于此前最先进(SOTA)方法的 53.9%。该架构无需针对特定网站进行 LLM 微调。
1.6. 原文链接
- 链接: https://openreview.net/forum?id=hwwn9hAAo5
- PDF: https://openreview.net/pdf?id=hwwn9hAAo5
- 状态: 正在 ICLR 2026 进行双盲评审。
2. 整体概括
2.1. 研究背景与动机
核心问题: 现有的基于大语言模型(LLM)的 Web 智能体在处理长程任务(Long-horizon tasks)时,可靠性远低于人类。 主要挑战(Gap):
-
缺乏适应性: 现有的 SOTA 智能体(如 Plan-and-Act)通常需要针对特定网站微调模型才能理解网站结构。
-
反应式而非前瞻式: 大多数 LLM 智能体是反应式的(Reactive),缺乏结构化的记忆和显式的规划能力。它们往往不知道某个动作(如“点击购买”)是否是不可逆的死胡同。
-
幻觉问题: 依赖 LLM 直接预测未来状态容易产生幻觉,缺乏真实环境的“接地性”(Grounding)。
切入点: 既然人类在浏览网页时会建立“心智模型”(例如知道点击“购物车”会发生什么),智能体也应该拥有类似的机制。本文提出在推理阶段(Inference-time)构建和利用环境模型,而不是通过训练阶段的微调。
2.2. 核心贡献/主要发现
- ATLAS 架构: 提出了一种模块化的 Actor-Critic 架构,结合了分层规划、记忆检索和前瞻模拟。
- 认知地图(Cognitive Map): 设计了一种通过“好奇心驱动探索”构建的记忆结构。它记录了状态转移(动作 -> 结果),并利用 LLM 生成“智能体摘要”(Agentic Summarization),只存储关键的变化量(Deltas),而非原始 HTML,从而高效利用上下文。
- 前瞻动作模拟(Look-ahead Action Simulation, LAS): 利用认知地图中的真实历史数据来模拟候选动作的后果,从而让 Critic 能够基于“真实可能的未来”而非“想象的未来”来评估风险和收益。
- 性能提升: 在 WebArena-Lite 基准上取得了 63% 的成功率,且无需针对特定网站微调 LLM,证明了该方法的通用性和有效性。
3. 预备知识与相关工作
3.1. 基础概念
为了深入理解 ATLAS,初学者需要掌握以下概念:
-
POMDP (部分可观测马尔可夫决策过程): 这是一个数学框架,用于描述智能体在环境中的交互。
- 状态 (State, ): 环境的真实情况(例如,网页后端的完整数据库状态)。
- 观测 (Observation, ): 智能体能看到的部分(例如,当前屏幕上显示的网页 HTML 代码)。因为智能体看不到全部真相(“部分可观测”),它需要根据历史观测来推断状态。
- 动作 (Action, ): 智能体能做的事(如点击、输入)。
- 转移 (Transition, ): 执行动作后,环境如何变化。
-
Actor-Critic (演员-评论家算法): 这是强化学习中的一种经典架构。
- Actor (演员): 负责“行动”。它根据当前情况提出具体的动作建议(Policy)。在本文中,由 LLM 扮演,负责生成候选操作。
- Critic (评论家): 负责“打分”。它评估 Actor 提出的动作好不好(Value Function)。在本文中,也是由 LLM 扮演,但它会根据模拟的后果来打分。
-
前瞻搜索 (Look-ahead Search): 类似于下棋时“多想几步”。在真正落子之前,先在脑海中模拟:“如果我走这一步,对手会怎么走,然后我又怎么走...”。如果模拟结果不好,就换一步。
-
世界模型 (World Model): 智能体对环境运作规律的认知模型。如果智能体拥有世界模型,它就可以在不实际执行动作的情况下,预测某个动作会导致什么结果。本文的“认知地图”就是一种显式的世界模型。
3.2. 前人工作
- ReAct & Reflexion: 早期的 LLM 智能体框架。ReAct 结合了推理(Reasoning)和行动(Acting);Reflexion 增加了自我反思机制。本文认为这些方法主要还是“反应式”的,缺乏系统的规划和环境模型。
- WebArena & WebArena-Lite: 这是一个用于评估 Web 智能体的仿真环境基准。WebArena-Lite 是其精选子集,剔除了原版中许多不可执行的任务,提供了更稳定、更高质量的评估标准。
- Plan-and-Act: 当前的 SOTA 方法之一,使用分层任务分解。但在本文看来,它缺乏与环境结构的深度结合(Grounding),且依赖微调。
3.3. 差异化分析
ATLAS 与前人工作的核心区别在于“模拟的真实性”:
- 传统方法 (如 Tree of Thoughts): 依靠 LLM 的想象力来预测下一步会发生什么。但这很容易产生幻觉(Hallucination),比如 LLM 幻想点击按钮后会出现一个并不存在的页面。
- ATLAS: 依靠记忆检索来预测。它会查阅“认知地图”:在之前的探索中,当我在这个页面点击这个按钮时,实际上发生了什么?这使得模拟过程基于事实(Fact-based),大幅提高了可靠性。
4. 方法论
4.1. 方法原理
ATLAS 的核心思想是“三思而后行”。它不直接根据当前的网页(Observation)输出动作,而是:
-
先回忆:这个页面我以前见过吗?这里的按钮点了会去哪?(认知地图检索)
-
再模拟:如果我点这个,会发生A;如果点那个,会发生B。(前瞻模拟)
-
最后决策:B 看起来更接近目标,且没有风险,所以我选 B。(Critic 评估)
下图(原文 Figure 1)清晰地展示了 ATLAS 的整体流程(a)、记忆构建过程(b)以及前瞻动作模拟机制(c)。
该图像是图1,展示了ATLAS系统的整体架构与流程示意,包括(a)系统流程,(b)基于好奇心驱动的记忆构建,以及(c)前瞻动作模拟(Look-ahead Action Simulation)的关键模块和信息流。
4.2. 核心方法详解 (逐层深入)
4.2.1. 架构概览与规划器 (Planner)
系统首先接收自然语言任务目标 (例如“去亚马逊买最便宜的笔”)和初始观测 。
规划器 (Planner): 规划器负责将大任务分解为子目标(Sub-goals)。 初始时刻 ,生成初始计划 : 在后续时间步 ,规划器根据当前的观测 、内部状态 和认知地图 来决定是否更新计划(Re-planning): 计划 是一个简洁的子目标列表(如:“报告 -> 销售 -> 设置日期”),这些子目标作为上下文提供给 Actor 和 Critic。
4.2.2. 演员 (Actor) 与候选动作生成
在步骤 ,Actor 模块根据当前任务 、计划 、观测 以及记忆 ,提出 个可能的候选动作集合 : 这些动作必须是可执行的(如 , )。
4.2.3. 记忆构建:认知地图 (Cognitive Map)
这是 ATLAS 实现“真实模拟”的基础。在正式执行任务前,系统会运行一个“好奇心驱动”的探索阶段。
- 探索策略: 派出轻量级智能体随机探索网站,尽可能覆盖不同的页面和状态。
- 数据结构: 认知地图 是一个图结构,存储了状态转移元组 。
- 智能体摘要 (Agentic Summarization): 为了节省 Token 并提高效率,ATLAS 不存储庞大的原始 HTML。它使用 LLM 对转移过程进行摘要,只记录差异(Delta)和新出现的功能(Affordances)。
- 例如:不存储整个新页面,而是记录“点击‘报告’后,侧边栏展开了‘销售’和‘产品’选项”。
4.2.4. 前瞻动作模拟 (Look-ahead Action Simulation, LAS)
这是 Critic 进行决策的核心机制。
模拟过程: 对于 Actor 提出的每一个候选动作 ,Critic 并不直接打分,而是先进行“模拟推演 (Rollout)”。 它向认知地图查询:如果我在状态 执行动作 ,会得到什么结果? 这里 是从记忆中检索出的预测观测值(包含了摘要信息)。如果记忆中没有这个动作的记录,则返回一个通用的占位符。
多步推演: 这个过程可以递归进行 次,形成一条长度为 的模拟轨迹 。这相当于在概念空间中进行树搜索。
不确定性加权价值评估:
Critic 对模拟轨迹 进行评分 。为了防止由于记忆缺失导致的错误自信,引入了转移不确定性 U(s, a) 进行加权:
- : 轨迹本身对于完成目标的价值(由 LLM 评估)。
U(s, a): 转移的不确定性。如果某一步在认知地图中没有记录(未知领域),不确定性 较高,1-U较低,从而降低该路径的总分。这鼓励智能体选择“已知且安全”的路径。
4.2.5. 评论家 (Critic) 与最终动作选择
Critic 根据加权后的价值评估,从候选集合 中选择最佳动作 : 注:公式 (3) 中作者使用的符号是 ,结合上下文应理解为基于上述 的综合评估。
4.2.6. 动态重规划 (Dynamic Replanning)
在实际执行动作并获得真实观测 后,系统会将其与之前的预期观测 进行对比。如果偏差超过阈值 ,则触发重规划: 这使得智能体能够处理意外情况(例如:原本以为点击会进入详情页,结果弹出了登录框),并及时调整后续步骤。
5. 实验设置
5.1. 数据集
- WebArena: 一个包含 811 个任务的逼真 Web 仿真环境,涵盖电子商务、GitLab、Reddit 等网站。
- WebArena-Lite:
- 来源: 由 Liu et al. (2024b) 提出。
- 特点: 是 WebArena 的一个高质量子集,包含 165 个任务。
- 选择理由: 原版 WebArena 中有大量任务甚至人类也无法完成(成功率仅 78%)或存在 Bug。Lite 版本修复了这些问题,提供了更可靠的评估标准。
- 任务示例: “在 Gitlab 个人资料中将主页 URL 设置为 https://egg.tart.com” 或 “告诉我过去三天有多少已完成的订单”。
5.2. 评估指标
- 成功率 (Success Rate, SR):
- 概念定义: 衡量智能体成功完成任务的比例。这是最核心的端到端指标。
- 数学公式:
- 符号解释:
- : 总任务数量。
- : 指示函数,当条件满足时为 1,否则为 0。
- : 第 个任务的执行结果,由自动化脚本验证(例如检查数据库中 URL 是否已变更)。
5.3. 对比基线
为了验证有效性,ATLAS 与以下基线进行了对比:
- WebPilot + GPT-4o: 强调多模态理解的智能体。
- AWM (Agent Workflow Memory): 引入工作流记忆的智能体。
- WebRL: 使用强化学习进行策略优化的方法。
- Plan-and-Act: 当前的 SOTA 方法,强调分层任务分解。
- AgentOccam: 本文的基础架构(Base Agent),通过简化动作空间来提升性能。
6. 实验结果与分析
6.1. 核心结果分析
实验结果表明,ATLAS 在 WebArena-Lite 上显著优于所有基线模型。
主要发现:
- SOTA 性能: ATLAS 取得了 63.0% 的总成功率,比之前的 SOTA (Plan-and-Act, 53.9%) 提升了 9.1%。
- 无需微调: ATLAS 在不需要针对特定网站微调 LLM 的情况下实现了这一性能,证明了其架构的优越性。
- 分站点表现:
-
Reddit: 达到 84.2% 的高成功率(与 Plan-and-Act 持平)。
-
Shopping Admin: 达到 77.1%,远超 Plan-and-Act 的 48.6%。这表明在复杂的后台管理任务中,ATLAS 的认知地图和记忆机制极其有效,因为这些任务通常涉及复杂的表单和规则。
以下是原文 Table 1 的完整结果转录:
-
Table 1: WebArena-Lite 上的评估结果对比
| Agent | Avg w/ Multi-site |
Avg w/o Multi-site |
Gitlab | Shopping | Shopping Admin |
Maps | Multi- Site |
|
|---|---|---|---|---|---|---|---|---|
| WebPilot + GPT-4o | - | 35.3 | 39.4 | 65.1 | 36.9 | 24.7 | 33.9 | - |
| AWM + GPT-4-0613 | - | 33.0 | 31.8 | 50.9 | 30.8 | 29.1 | 43.3 | - |
| WebRL | - | 48.1 | 50.0 | 78.9 | 44.4 | 54.3 | 40.0 | - |
| Plan-and-Act | 53.9 | 57.5 | 53.3 | 84.2 | 55.6 | 48.6 | 46.6 | 30.0 |
| AgentOccam (Claude-4-Sonnet) |
47.9 | 51.0 | 66.7 | 63.2 | 40.0 | 54.3 | 23.1 | 40.0 |
| ATLAS (Ours) | 63.0 | 67.1 | 73.3 | 84.2 | 53.3 | 77.1 | 42.3 | 40.0 |
6.2. 消融实验与参数分析
作者通过消融实验(Ablation Study)逐步验证了各个组件的贡献。基础模型(Base)使用的是 AgentOccam。
关键结论:
- 认知地图 (Cognitive Map, CM) 的作用:
- 仅添加原始 HTML 形式的地图 (Base + CM-Raw) 甚至降低了性能(44.8% vs 47.9%)。这说明原始 HTML 包含过多噪声,干扰了推理。
- 添加经过智能体摘要的地图 (Base + CM) 显著提升了性能至 57.4%。这证明了Agentic Summarization(即只存储 Delta 和 Affordance)的关键作用。
- 分层规划 (Hierarchical Planner, HL) 的作用:
- 仅添加规划器 (Base + HL) 也能提升性能至 50.9%,但不如认知地图效果显著。
- 前瞻模拟 (Look-ahead, LA) 的作用:
-
最终的 ATLAS 模型 (Base + CM + HL + LA) 结合了所有组件,性能跃升至 63.0%。这表明记忆、规划和模拟是互补的:记忆提供了数据,规划提供了方向,模拟提供了安全保障。
以下是原文 Table 2 的消融实验结果:
-
Table 2: ATLAS 各个组件的消融实验结果
| Agent | Avg w/ Multi-site |
Avg w/o Multi-site |
Gitlab | Shopping | Shopping Admin |
Maps | Multi- site |
|
|---|---|---|---|---|---|---|---|---|
| Plan-and-Act | 53.9 | 57.5 | 53.3 | 84.2 | 55.6 | 48.6 | 46.6 | 30 |
| AgentOccam (Base) | 47.9 | 46.7 | 66.7 | 68.4 | 40 | 42.9 | 30.8 | 30 |
| Cognitive Map | ||||||||
| Base + CM-Raw | 44.8 | 47.1 | 70 | 68.4 | 35.6 | 51.4 | 19.2 | 0 |
| Base + CM | 57.4 | 55.8 | 76.7 | 78.9 | 46.7 | 71.4 | 19.2 | 30 |
| Planning | ||||||||
| Base + HL | 50.9 | 54.2 | 63.3 | 78.9 | 53.3 | 57.1 | 15.4 | 20 |
| ATLAS | ||||||||
| Base + CM + HL + LA | 63.0 | 67.1 | 73.3 | 84.2 | 53.3 | 77.1 | 42.3 | 40.0 |
7. 总结与思考
7.1. 结论总结
ATLAS 展示了一种构建高可靠性 Web 智能体的新范式。通过解耦记忆、规划和控制,ATLAS 能够:
- 显式地建立环境模型(认知地图),而不是依赖 LLM 隐式且不可靠的内部知识。
- 通过前瞻模拟在概念空间中试错,避免了在真实环境中犯下不可逆的错误。
- 利用摘要技术将复杂的 HTML 转化为 LLM 易于处理的语义差异,解决了长上下文处理的难题。 最终,它在 WebArena-Lite 上取得了 SOTA 性能,且具备良好的可解释性和适应性。
7.2. 局限性与未来工作
作者诚恳地指出了当前的局限:
- 世界模型尚处于初级阶段: 目前的认知地图主要是简单的检索,缺乏对重复模式(如表格、过滤器)的抽象能力和反事实推理(Counterfactual reasoning)能力。
- 缺乏成本意识: 当前的规划没有考虑计算成本或延迟。
- 鲁棒性测试不足: 尚未在长期、多会话或包含随机故障的环境中进行压力测试。
未来方向:
- 开发更原生的 Web 世界模型,支持抽象子程序。
- 引入预算感知(Budget-aware)和安全感知(Safety-aware)的规划机制。
- 建立更全面的评估指标,包括计算成本和副作用惩罚。
7.3. 个人启发与批判
启发: ATLAS 最让我印象深刻的是其“基于检索的模拟” (Retrieval-based Simulation)。这巧妙地解决了 LLM 作为世界模型时的幻觉问题。它实际上是在告诉我们:对于封闭或半封闭的系统(如特定网站),“记住发生过什么”比“预测会发生什么”更可靠。 这种思想可以迁移到软件测试、GUI 自动化等领域。
批判与思考:
- 探索成本 (Exploration Cost): 论文提到需要预先进行“好奇心驱动的探索”来构建认知地图。这在实际应用中可能是一个巨大的门槛。对于一个像亚马逊这样庞大且动态变化的网站,穷尽式的探索是不可能的。如果认知地图覆盖率低,LAS 退化为盲猜,系统的性能边界在哪里? 这一点在论文中探讨较少。
- 动态性适应: 现代网页更新极其频繁。昨天构建的“认知地图”今天可能就失效了(例如 DOM ID 变化)。ATLAS 虽然有在线更新机制,但其对大规模环境变动的鲁棒性仍存疑。
- 计算开销: 每一步决策都要进行 个候选动作的 步模拟,这会显著增加推理延迟和 Token 消耗。在实时性要求高的场景下,这可能是一个瓶颈。
相似论文推荐
基于向量语义检索推荐的相关论文。