1. 论文基本信息

1.1. 标题

Lumine: An Open Recipe for Building Generalist Agents in 3D Open Worlds（Lumine：面向3D开放世界通用智能体的开放式构建配方）

1.2. 作者与机构

• 作者（贡献者标注）：
  • Weihao Tan（谭伟昊）†，Xiangyang Li（李向阳）†，Yunhao Fang（方云昊）‡，Heyuan Yao（姚鹤源）†，Shi Yan（严石）†，Hao Luo（罗浩）†
  • Tenglong Ao（敖腾龙），Huihui Li（李慧慧），Hongbin Ren（任宏斌），Bairen Yi（易百仁）‡，Yujia Qin（秦雨嘉），Bo An（安波），Libin Liu（刘力斌），Guang Shi（石广）
  • 备注：† 实习期间完成；‡ 在 ByteDance Seed 就职期间完成；* 核心贡献者
• 机构：
  • ByteDance Seed（字节跳动 Seed）
  • Nanyang Technological University（南洋理工大学）
  • Peking University（北京大学）

1.3. 发表渠道与年份

• 渠道：arXiv 预印本（v1）
• 发布时间：UTC 2025-11-12（论文正文日期 2025-11-13）
• 领域声誉：arXiv 是计算机科学与人工智能领域广泛使用的预印本平台，便于快速传播前沿成果，正式同行评审尚未完成。

1.4. 摘要

论文提出 Lumine——首个“开放式配方”，用以在复杂的3D开放世界中训练与部署“通用智能体（generalist agent）”。Lumine 采用以“人类玩家”为原型的交互范式，将感知、推理与动作生成统一到一个端到端的视觉-语言模型（VLM）中：以5 Hz频率处理原始像素输入，生成可精确执行的30 Hz键鼠动作；并且“按需”调用思考（reasoning），通过混合式思考策略在需要时输出内在独白，从而在保证决策质量的同时控制延迟。模型以《原神》（Genshin Impact）为主要训练环境，在未改动模型结构与词表的前提下，经三阶段课程（1731小时人类游戏预训练，200小时指令跟随对齐，15小时推理数据微调），在蒙德城主线五小时任务上达到接近人类效率；同时能够跟随自然语言指令完成探索、收集、战斗、解谜与NPC交互等多样任务，并展现跨游戏零样本泛化：不经微调地完成《鸣潮》约100分钟主线任务与《崩坏：星穹铁道》整章五小时内容。论文还给出上下文管理与实时推理优化策略，端到端推理延迟降低25.3×，实现真正的实时操控。

1.5. 原文与PDF链接

• arXiv 页面：https://arxiv.org/abs/2511.08892
• PDF：https://arxiv.org/pdf/2511.08892v1.pdf
• 项目页：https://www.lumine-ai.org/

1.6. 代表性图示

下图（原文 Figure 1）展示了 Lumine 在3D开放世界中执行小时级任务的整体图景与定位：

该图像是插图，展示了名为 Lumine 的 AI 代理在进行复杂任务时的不同场景，包括策略、探索、交互和规划。图中左侧展示了代理在虚拟环境中操作的过程，右侧则呈现了四个具体任务的示例对话，体现了其执行多样化任务的能力。

2. 整体概括

2.1. 研究背景与动机

• 背景：过去十年，智能体在封闭、规则清晰的环境（如 Atari、围棋、Dota2、星际争霸等）中借助强化学习（RL）达成超人表现，但这类系统往往“脆弱”，难以迁移到开放、文本信息丰富、部分可观测且实时交互要求高的3D开放世界。与此同时，视觉-语言模型（VLM）与大语言模型（LLM）在常识与推理方面显示出强大能力，启发“语言为中介”的通用智能体设计。
• 动机：3D开放世界（如《原神》）提供细腻物理、复杂机制、长时任务（小时到天）、GUI与3D视觉混合的交互环境，是检验“通用、开放式智能体”的理想试验场。然而：
  • 无官方API、只能走“人类接口”（显示器+键鼠）
  • 高频率动作与严格延迟约束（需实时）
  • 大量文本/图形线索混杂
  • 任务长时、目标动态变化
• 空白（Gap）：缺少一个“开放、可复用”的端到端方法学配方，系统性解决上述六类挑战（环境可扩展性、多模态感知、高层规划、低层控制、记忆、实时推理）。

2.2. 核心贡献/主要发现

• 开放配方：提出一个面向3D开放世界的通用智能体训练与部署“食谱”（recipe），覆盖环境选择、数据采集与清洗、动作建模、混合式思考、上下文记忆与实时优化等。
• 模型设计：在 Qwen2-VL-7B-Base 上直接以语言空间统一动作表示（不改词表），用内嵌“思想”片段界定推理与动作的边界，支持“按需思考”。
• 数据与课程：
  • 预训练：1731小时高质量人类游戏（从2424小时中规则筛选），额外混入20%多模态网页数据以保留通用能力；
  • 指令对齐：200小时自动扩展的指令数据（借助视频分类器与 GPT-4.1生成），对齐动作与语言；
  • 推理微调：15小时蒙德主线Act I高质量“内心独白”数据（平均每3.2秒一个思考，长度约37.4±11.7词元）。
• 实验发现：
  • 小时级主线任务：蒙德主线整章五小时任务与跨任务子目标，效率接近人类，Act I 约56分钟（新手78分钟，熟练者53分钟）；
  • 指令跟随：短时任务四大类平均成功率>80%，显著优于基线；
  • 跨游戏零样本：不经微调完成《鸣潮》两段主线（107分钟 vs 人类101分钟）与《星穹铁道》整章（数小时），并在多样机制与GUI/3D环境中维持可操作性。
• 系统优化：端到端推理延迟降低25.3×，稳定实现5 Hz视觉输入与30 Hz动作输出的实时闭环。

3. 预备知识与相关工作

3.1. 基础概念（初学者友好解释）

• 智能体（agent）：在环境中感知并采取行动以达成目标的实体。在本论文中，智能体通过屏幕像素“看”，用键鼠“动”。
• 视觉-语言模型（VLM）：同时处理图像与文本的模型，既能“看图说话”，也能理解图像中的文本/符号并生成语言输出。
• 视觉-语言-动作模型（VLA）：在 VLM 基础上，进一步将模型输出对齐到“动作空间”，即模型不仅能理解/生成语言，还能直接生成可执行动作（如键鼠事件）。
• 上下文窗口（context window）：LLM/VLM 生成时可“回看”的历史内容长度。更长的上下文可以容纳更多历史观测（短期记忆）与总结（长期记忆）。
• 词元（token）：LLM/VLM 处理和生成文本的基本单位。设计紧凑的动作词元有助于降低解码步数与延迟。
• 预填（prefill）与解码（decode）：LLM推理两阶段。预填计算上下文的隐表示，解码逐词元生成输出。优化两阶段可显著降低延迟。
• KV 缓存（KV cache）：Transformer 自注意力中用于存储历史“键/值”的缓存，加速后续解码并减少重复计算。
• 注意力沉降/汇聚点（attention sink）：流式长上下文推理时固定某一段为“锚点”，防止注意力分布退化，保持模型稳定关注。

3.2. 前人工作与技术演进

• 封闭环境 RL 智能体：DQN（Atari）、AlphaStar（星际2）、OpenAI Five（Dota2）等在固定规则与明确奖励下可达超人表现，但迁移到开放世界困难。
• 以 LLM/VLM 为基础的通用智能体：
  • Prompt式（工具调用、ReAct范式）：在网页/桌面/游戏中做高层推理与功能调用，但低层动作精确性与延迟较差；
  • 数据驱动 VLA（机器人/GUI）：通过大规模示范学习将 VLM转为 VLA，具备广泛指令跟随与泛化能力，但多数仅分钟级任务。
• 跨游戏/开放世界方向：
  • Minecraft VPT/Voyager/Cradle 等探索从人类视频/语言步骤中学习，但多为工具接口或非实时回合式控制。
• 技术脉络定位：本文工作融合“语言为中介”的高层推理、端到端视觉输入、精细键鼠动作建模与实时系统优化，致力于将分钟级“演示智能”推进到小时级“自主智能”。

3.3. 差异化分析

• 语言空间统一动作：不改词表、不增“动作头”，直接将键鼠事件编码为紧凑可读的字符串，使 VLM 以“同一语言通道”生成推理与动作，降低工程复杂度并提高通用性。
• 混合式思考（hybrid thinking）：不是每步都显式“想”，而是按需生成内心独白，既保留关键时刻的计划与反思，又避免持续思考的延迟与幻觉风险。
• 人类接口与高频控制：完整支持相对鼠标移动、滚轮、按下/保持/组合键与33 ms动作分片（action chunking），符合3D游戏精细时序要求。
• 端到端实时优化：结合通信流式、KV缓存复用、推测解码（speculative decoding）、量化与核优化等，实现5 Hz像素输入+30 Hz动作输出的稳态闭环。

4. 方法论

4.1. 总体架构与原理

下图（原文 Figure 3）给出了 Lumine 的总体架构：以图像（720p）与历史对话（包含过往思考与动作）为输入，先“按需”生成推理，再生成可执行键鼠动作。

该图像是示意图，展示了Lumine模型的工作流程。模型接收来自环境的观察信息，通过思考生成行动指令，并在执行过程中进行自我调整，以实现高效的实时控制。

核心思想：将“感知—推理—行动”统一到一个自回归的 VLM 中，并通过特殊边界词元清晰地分割“思考段”和“动作段”，从而让模型在需要时显式规划/反思，否则直接输出动作以保证实时性。

4.2. 感知与上下文

• 观测频率：每200 ms（一秒5帧）采样屏幕图像，以兼顾 UI可读性与延迟开销，匹配人类视觉反应时（约200–250 ms）。

• 分辨率：1280×720（720p），确保UI文本清晰与视觉特征稳定。

• 上下文记忆：维护最近20步的“图像-动作”对作为短期记忆；保留最近一次“思考段”作为长期记忆摘要。采用滑窗+FIFO策略管理上下文。

  下图（原文 Figure 6）展示了上下文管理的滑窗机制与思考触发后的上下文重置/再累积：

  该图像是一个示意图，展示了Lumine在推理过程中如何管理上下文。图中显示了在不同时间步（t=3到t=7）下，系统如何维护包含系统提示、推理令牌、视觉令牌和动作令牌的滑动窗口，同时将最大窗口长度保持为2。每当生成新的推理时，上下文会被刷新并重新积累。

4.3. 混合式思考（Hybrid Thinking）

• 边界词元：用 <|thought_start|> 与 <|thought_end|> 包裹推理段；用 <|action_start|> 与 <|action_end|> 包裹动作段。
• 切换逻辑：每步首先“是否需要思考”的判别，然后（若需要）生成推理，再生成动作；若不需要，直接生成动作段。
• 用途：在任务阶段转换、环境突变、卡壳/迷路时触发，扮演“反思+计划”的角色；在平稳推进时尽量直接输出动作以减少延迟与幻觉。

4.4. 语言空间统一动作表示（键鼠）

论文原式给出了“思考-动作”联合分布的因子分解（严格忠实呈现原文公式）： $$\pi_{\theta}(a_t, r_t \mid o_{\le t}, r_{< t}, a_{< t}) = \pi_{\theta}(a_t \mid o_{\le t}, r_{\le t}, a_{< t}) \ \pi_{\theta}(r_t \mid o_{\le t}, r_{< t}, a_{< t}) ,$$

• 符号解释：

  • $\pi_{\theta}$：参数为 $\theta$ 的模型（策略）分布；
  • $o_{\le t}$：至时刻 $t$ 的历史观测（图像）；
  • $r_{< t}$：先前各步的思考段；
  • $r_t$：当前步是否生成的思考段（若无则为空）；
  • $a_{< t}$：先前各步动作；
  • $a_t$：当前步生成的可执行动作。

• 含义：模型先决定是否思考（并生成推理内容），随后在包含“当前推理”与历史的上下文下生成动作。

  动作字符串的结构（严格忠实原文）： $$\underbrace{\underbrace{\Delta X ~ \Delta Y ~ \Delta Z}_{}}_{\mathrm{Mouse~movements}} ; \underbrace{K_{1} ; K_{2} ; K_{3} ; K_{4} ; K_{5} ; K_{6}}_{\mathrm{Key~presses}}$$

• 具体规则：

  • 外层格式：以 <|action_start|> 开始，以 <|action_end|> 结束，内部为“鼠标位移+六段键组”的分号分隔序列。

  • 鼠标相对位移：$\Delta X,\Delta Y \in (-1000, 1000)$（整数）；滚轮 $\Delta Z \in [-5,5]$（滚动步数）。模型输出后，在200 ms内平滑执行该相对位移。

  • 键组（action chunking）：六个连续分片，每片33 ms，总计一周期200 ms→对应30 Hz动作频率；每片 $K_t$ 可列出0–4个键（键未列出则默认松开，连续片重复则保持按下），支持组合键、连击、拖拽、快速点击等复杂操作。

  • 词元设计：每个键均以单词元编码（如 Shift、Space、LB/RB等），数字键与功能键采用约定词（见附录键映射表）。

    示例（严格忠实于论文）："920 0 ; Shift W ; Shift W ; Shift W ; F W ; F W ; F"——含义为“向右转动视角（ΔX=920），按住Shift+W冲刺前进三片后停下并尝试F交互打开箱子”。

4.5. 实时系统优化与解码策略

下图（原文 Figure 7）给出了端到端各阶段延迟拆解与总体25.3×加速：

该图像是一个柱状图，展示了不同优化阶段的延迟分解及其对应的改进情况。图中显示，使用各种技术后，整体延迟提高至 25.30 imes 的改善，基线延迟为 3655.3ms，经过优化后，延迟降低至 129.8ms。

• 通信流式：六段动作分片逐片流式返回，只要每分片在33 ms内解码完成，即可边解码边执行，极大放宽200 ms周期约束；图像以JPEG压缩+Base64编码，持久TCP连接。

• 预填优化：历史 KV 缓存复用；上下文溢出时使用 StreamingLLM 技术并以系统提示词为注意力锚点（attention sink）稳定窗口；思考出现时重置上下文以缓解长时退化。

• 解码优化：利用各字段固定分隔符（空格/分号/结束标记）实施“无草稿模型的推测解码”，以状态机选择候选分隔词元并用拒绝采样保证分布一致。

• 硬件与内核：

  • 张量并行（TP=4）：Qwen2-VL-7B的4个KV头分别布置到4个GPU（NVIDIA H20），实现高吞吐；

  • W8A8量化（SmoothQuant）：ViT与LLM预填均降权重与激活为8bit；

  • 核与图优化：搜索GEMM最优核，定制一次性 all-reduce核；用单一 CUDA graph 捕获“前向+拒绝采样”减少CPU延迟；图像预处理下放GPU。

    以下是原文表格（Inference time per stage）的完整转录：

    Stage	Time (ms)	Token	Forward Step
    Network latency	6
    Preprocessing	6.8
    Vision encoder	39	1196	1
    LLM prefill	52	1209	1
    Decode latency per token	3.1	1	-
    First action chunk w/o reasoning	113.9	8.4	4.7
    First action chunk w/ reasoning	234.0	46.8	43.1
    Action chunk (average)	3.1	1.8	1.02
    Action chunk (max)	12.4	5	4

• 结论：无思考时首片延迟约110 ms＜200 ms；单片最坏延迟12.4 ms＜33 ms；思考时可能超过200 ms但频率低，画面连续性总体稳定。

5. 实验设置

5.1. 环境与数据集

下图（原文 Figure 2）概述了《原神》的开放世界环境与多样机制：

该图像是《原神》游戏环境的概述，展示了开放世界探索与多样挑战的组合。图中包含多种游戏活动，如攀爬、滑翔、潜水、战斗、解谜等，以及角色发展、派队设置和UI界面，呈现了丰富的游戏体验。

• 训练与评测环境：PC端《原神》（Genshin Impact），人类接口（屏幕+键鼠），无环境API。
• 数据资源：

  • 原始采集：2424小时人类游戏（包含屏幕录像与键鼠事件），统一硬件与分辨率，精确时间戳对齐（详见附录A）。

  • 预训练集：规则筛选（去除95%idle与镜头晃动）后保留1731小时高质量数据，并混入约20%多模态网页数据以保留通用能力。

  • 指令数据：165小时人工标注的三层层级分类（38类标签）训练视频分类器（Qwen2-VL 2B/7B）；用分类器在全量数据上自动定位“任务过渡点”，抽取4秒片段并用 GPT-4.1生成多样化任务指令，经同样动作筛选得到200小时高质量指令数据。

  • 推理数据：选取蒙德主线 Act I 的27段人类游戏视频，由资深玩家按“关键帧思考三段式”标注15小时内心独白（平均每3.2秒一次，长度约37.4词元）。

    下图（原文 Figure 5）给出从原始视频到预训练/指令/推理数据的多阶段流水线：

    该图像是论文Lumine中的流程图，展示了基于录像行为数据经过多阶段处理和注释，形成用于训练的不同类型的数据集。流程包含人工注释、自动分类、GPT-4.1标注以及动作过滤等步骤，最终生成Genshin PT、IF及推理数据。

5.2. 模型与训练流程

• 基座模型：Qwen2-VL-7B-Base（开放式VLM），保留词表与结构。

• 三阶段课程：

  1. 预训练：从图像-动作对学习“动作原语”，并保留通用多模态知识；
  2. 指令对齐：将动作预测与自然语言指令对齐，实现可靠短时任务控制；
  3. 推理微调：在真实任务中学习“按需思考”的内心独白与行动耦合。

• 历史/非历史两套设置：非历史单帧；历史为多回合（最多20帧）“图像-动作”交替格式。

  以下是原文（Training hyperparameters and compute）表的完整HTML转录（包含跨列合并）：

  Non-history				History
  Hyperparameters	Pre-training	Instruction Following	Reasoning	Pre-training	Instruction Following	Reasoning
  LLM Learning Rate	2e-5	2e-5	1.83e-5	2e-5	2e-5	1.64e-5
  ViT Learning Rate	7e-6	7e-6	-	7e-6	7e-6	-
  LR Scheduler	Constant	Cosine	Cosine	Constant	Cosine	Cosine
  Gradient Norm Clip	1.0	1.0	1.0	1.0	1.0	1.0
  Optimizer			AdamW(β1=0.9, β2=0.95, ε=1.0×10−8)		AdamW(β1=0.9, β2=0.95, ε=1.0×10−8)
  Warm-up Ratio	0.05	0.05	0.05	0.05	0.05	0.05
  Batch Packing Length	32768	32768	32768	32768	32768	32768
  Batch Size	128	128	64	128	128	64
  Training Epochs	1	2	3	3	3	3
  GPU Num (H100)	64	32	64	64	32	64
  Training Time	3.5 Days	1.3 Days	1 Hour	12.4 Days	2.2 Days	1 Hour
  GPU Hours (H100)	5376	960	64	19008	1664	64

5.3. 任务基准（Benchmark）

• 构成：141个语言条件任务，四类：收集（Collection）、战斗（Combat）、NPC交互（Interaction）、谜题（Puzzle），区分简单（~10秒）、困难（需复杂理解与控制）、未见（新区域/新实体）。

• 条件：统一早期账号与角色配置（旅行者、安柏、凯亚、丽莎），世界等级1；未见任务在璃月/稻妻用同样四角色但更高等级/装备；每任务重复5次；在与LLM基线对比时暂停游戏等待API响应。

  下图（原文 Figure 8）展示了四类任务的样例与分布：

  该图像是一个示意图，展示了Lumine评估基准中的141个任务，分为四个类别：收集、战斗、NPC互动和解谜，图中各类任务的具体示例分别包含简单、困难及未见任务。每个类别通过不同的场景和文字指令进行展示。

5.4. 评估指标（含正式公式）

• 成功率（Success Rate）：
  1. 概念：在重复多次尝试的任务中，完成任务目标的比例，衡量智能体的有效性与稳健性。
  2. 公式： $$\mathrm{SR} = \frac{N_{\mathrm{success}}}{N_{\mathrm{total}}} \times 100\% \, .$$
  3. 符号：
     • $N_{\mathrm{success}}$：成功完成的次数；
     • $N_{\mathrm{total}}$：总尝试次数。
• 错误率（Error Rate，针对推理/指令执行）：
  1. 概念：在生成的推理片段或执行轨迹中，发生主要错误的比例，用于分析失败模式。
  2. 公式： $$\mathrm{ER} = \frac{N_{\mathrm{error}}}{N_{\mathrm{all}}} \times 100\% \, .$$
  3. 符号：
     • $N_{\mathrm{error}}$：标注为错误的片段数；
     • $N_{\mathrm{all}}$：总片段数。
• 延迟（Latency）：
  1. 概念：各阶段的耗时，衡量实时性（越低越好）；
  2. 公式：以阶段时长直接报告（如网络、预处理、ViT、预填、解码等），并关注“首片动作延迟”是否＜200 ms 与“单片动作解码延迟”是否＜33 ms。

5.5. 对比基线

• 通用VLM/LLM基线（集成到 Cradle 框架，工具函数式技能集，最多5条历史）：
  • GPT-5、Gemini 2.5 Pro、Grok4、Doubao1.6-Vision、Qwen3-VL-235B-A22B-Thinking（均为思考版默认预算）。
• 注意：基线采用函数调用技能（如 turn(degree)、move_forward(duration)），而非精细键鼠分片，且交互常非实时（游戏暂停等待响应），在精细控制与延迟上与 Lumine 存在本质差异。

6. 实验结果与分析

6.1. 预训练能力涌现与规模效应

下图（原文 Figure 9）左（a）为2B/7B在首轮1200小时后的损失与成功率曲线，右（b）为7B在“对象交互/基础战斗/GUI/机制/视觉引导/障碍规避”六项原子能力的涌现轨迹：

该图像是图表，展示了Lumine模型在不同训练时长下的训练损失和平均成功率趋势，以及在物体交互、基础战斗、GUI操作、游戏机制、视觉引导和障碍躲避六大任务中的性能提升，反映模型随训练时间增长的能力增强。

• 发现：
  • 7B相较2B更稳定提升；超1200小时后2B损失继续下降但基准表现反而下降，显示容量不足与过拟合风险。
  • 原子能力涌现遵循“先近端交互→再战斗/GUI→后机制/导航”的顺序；导航与机制需>1800小时长尾数据方稳定掌握。

6.2. 指令跟随（非历史）

下图（原文 Figure 10）给出四类简单任务的平均成功率对比：Lumine-Instruct-NonHis 全面超过80%，显著强于基线与未对齐的预训练模型。

该图像是一个柱状图，展示了不同代理在简单任务基准测试中的成功率。Lumine-Instruct-NonHis在所有四个分类中均超过80%的成功率，明显优于其基模型和所有基准方法。

下图（原文 Figure 11 与 Figure 12）展示了在困难与未见任务上的表现：指令对齐后，NPC交互稳健，战斗与谜题存在明显挑战（精细瞄准、闪避时机、机制理解不足等），未见任务中收集类因外观未见需靠近确认而成功率下降。

该图像是图表，展示了Lumine在简单和未见任务下的表现，具体包括收集、战斗和NPC交互三项任务的得分。蓝色条形代表简单任务的得分，而绿色条形则表示未见任务的得分，表现出在不同任务的执行效率差异。

该图像是图表，展示了Lumine-Instruct-NonHis在简单和困难任务中的成功率比较。各栏代表不同任务类型，包括收集、战斗、NPC互动和解谜，比较了不同模型的表现。整体来看，Lumine-Instruct-NonHis在简单任务中表现优秀，但在硬任务中成功率有所下降。

• 复杂指令的在上下文增益：如下图（原文 Figure 13）所示，提供更细分的步骤或先验提示能显著提升此前低成功率任务的完成率，体现了语言对齐带来的泛化与在上下文学习能力。

  该图像是一个实验结果对比的图表，展示了基于通用指令和详细指令下，任务完成率的差异。图中通过游戏截图和中英文说明描述任务场景及目标，任务类型包括收集风神瞳、采集铁矿石及开启宝箱等，详细指令显著提高成功率。

6.3. 历史的益处（多帧上下文）

下图（原文 Figure 14）表明：维护历史帧显著提升成功率，10帧上下文效果最佳，超过后略降（与筛选后数据段长度分布相关）。

该图像是多条折线图，展示了不同任务场景下成功率随输入帧数变化的趋势。横轴为输入帧数，纵轴为成功率百分比。图中包括平均、收集、战斗、NPC互动和谜题五种任务类型，均显示成功率随输入帧数先上升后下降的变化规律。

下图（原文 Figure 15）比较了非历史与历史（10帧）的全基准表现：历史版本在收集与谜题上优势明显。

该图像是一个图表，展示了不同任务中 Lumine 各种模型的成功率。成功率以百分比表示，显示了在平均、收集、战斗、NPC 交互和谜题等任务中的表现，其中 Lumine-Instruct 显示出相对较高的成功率，最高达 85.7%。

错误分析（原文 Figure 16）：历史版本多模态理解错误更少（可跟踪动态目标），但在战斗低层控制（如远程射击稳定性）上错误略多；非历史版本更易发生“视觉压倒文本”的模态冲突（选错NPC），反映上下文促进时序一致性的同时牺牲了单帧精细判别。

该图像是双环饼图，展示了非人类与人类在指令执行错误中的错误类型分布及其比例，分别包括多模态理解、指令执行、空间理解和低级控制四类错误及其具体细分项。图中清晰对比了两者的错误构成及频率差异。

6.4. 小时级主线与推理（历史/非历史）

蒙德主线 Act I（原文 Figure 17）：将小时级任务分解为五个连续子任务，比较“指令 vs 思考，非历史 vs 历史”的成功率（原文 Table 5）。

以下是原文 Table 5 的完整转录：

该图像是论文中关于Lumine智能体在《原神》游戏中完成多个任务路径示意图及关键动作截图的组合图。左侧为地图路径标记，右侧为任务不同时间点截图，展示智能体跨任务连续操作能力。

• 结论：思考模型显著优于仅指令模型；历史版本整体更稳健，GUI与导航在200 ms异步延迟下不易“过冲”。Act I 总体完成用时56分钟（新手78分钟，熟练者53分钟）。

  推理错误分析（原文 Figure 18）：历史版思考总数更少（593 vs 708），错误率更低（8.8% vs 14.0%）。主要错误类型包括：

• 感知误述（Perceptual Misrepresentation）：描述不存在事物或误判角色状态；

• 过早完成（Premature Completion）：错误地以为目标已达成；

• 因果误判（Causal Misjudgment）：错误地认为某策略能达成目标；

• 自我矛盾（Self-Contradiction）：推理内部不一致；

• 指令未跟随（Instruction Unfollowing）：行为与推理不一致；

• 语言崩溃（Linguistic Collapse）：非历史更易出现。

  该图像是两幅包含饼图的图表，分别展示了非历史推理错误（Non-His Reasoning Errors）和历史推理错误（His Reasoning Errors）的分类及比例。图中详细列出了各类错误的具体案例数与百分比，帮助分析错误来源。

6.5. 漫长主线的跨任务泛化与记忆挑战

• Act II & III（未参与推理微调）：Lumine-Thinking 历史版连续完成两章（约4.7小时，熟练者约3.6小时），在陌生机制与长距离导航中仍保持总体推进。风墙/移动平台等机制有泛化的显式识别（如下图原文 Figure 20）。

  该图像是论文中展示的四个游戏场景截图的插图，分别为(a)和(b)两幅移动平台场景图，以及(c)和(d)两幅风流场景图，显示了模型在同域(ID)和跨域(OOD)条件下的动作表现和环境交互差异。

• 低效关键点：

  • 快速旅行不主动：对传送点的主动调用不足（推理数据第一小时样本偏少）；

  • 小地图理解不稳定：对金色任务标记过度依赖，标记消失时若未生成新思考则易“走偏”；

  • 不主动恢复生命：不去七天神像/不吃食物；

  • 记忆长度有限：多标记同时出现或需要绕路时，易被“就近标记”牵引往返（如下图原文 Figure 21）。

    该图像是多帧游戏界面插图，展示了智能体Lumine在《原神》游戏中通过飞行和探索完成任务的场景。画面显示角色在高空滑翔和落地，体现了智能体在复杂3D环境中的实时操作能力。

6.6. 未见区域与跨游戏零样本

• 完整蒙德后赴璃月（原文 Figure 19）：长距离穿越复杂山地地形、躲避千岩军、寻访隐藏NPC/仙人，尽管中途曾因GUI拖拽误操作导致两小时迷航，最终仍重启任务跟踪并完成目标。

  该图像是论文《Lumine》中展示的三张游戏地图示意图，标注了多个任务节点和路径，配以截图说明角色在《原神》中执行复杂任务的过程，展示了整体任务流程及关键事件。

• 跨游戏（原文 Figure 23）：《鸣潮》与《星穹铁道》与《黑神话·悟空》的综合演示。

  该图像是插图，展示了在《原神》等游戏中，Lumine代理在不同场景下的表现。图中包含多个游戏画面，展示代理在3D开放世界中的探索、战斗及任务执行情况，体现了其高效的操控和任务完成能力。

  • 《鸣潮》：首发晚于基座模型知识截止，无先验语料；两段主线107分钟（人类101分钟），总体高效；偶发OCR误读“F”为“E”，与跨游戏术语混称（将“旅行者/丘丘人/安柏”等投射到鸣潮角色）。
  • 《星穹铁道》：回合制+枢纽设计，无法跳跃与越障；导航中常尝试“原神式跳跃”，需多次尝试后才改走；战斗键位部分重叠（E技能，1–4为必杀），但需目标选择与空格确认，导致多次团灭，最终降低难度险胜。
  • 《黑神话·悟空》：写实画面+枢纽探索与“魂类”高难战斗；UI自动隐藏易被误判为CG，生命值识别与恢复机制理解不足，零样本完成长任务难度大。

7. 总结与思考

7.1. 结论总结

• Lumine 提供了一个开放、可复用的“食谱”，将感知—推理—行动在同一语言通道中端到端统一，首次在3D开放世界实现小时级任务的实时自动完成与跨游戏零样本泛化。
• 核心技术包括：语言空间统一键鼠动作、混合式思考与上下文记忆、紧凑动作词元与分片执行、端到端实时优化（流式通信、KV复用、推测解码、量化与核图优化）。
• 三阶段课程用相对可控的计算资源（總 GPU小时在万级）与约2400小时玩耍数据，将7B开源VLM转化为强力通用智能体。

7.2. 局限性与未来工作

• 扩展规模：当前预训练数据集中在蒙德，推理数据仅第一小时；更大范围与跨域数据（更多区域与更多游戏）可进一步提升“机制理解”与“长时规划”。
• 长期记忆：现用“最近思考+20帧滑窗”对复杂长途任务仍不足；需引入更强的检索式记忆、摘要层级化/地标记忆与任务图记忆。
• 在线学习：目前离线模仿与指令对齐为主；结合在线强化学习与安全探索策略，或可超越人类示范并改善效率与韧性。
• 实时推理效率：尽管已达成25.3×加速，仍需更高效的解码与流水并行，降低200 ms感知滞后对高灵敏场景的副作用。

7.3. 个人启发与批判

• 启发：在不改词表的前提下，用“统一语言通道”生成推理与键鼠动作，是一个工程与科学上都极具吸引力的设计，显著降低跨环境迁移的摩擦。
• 可迁移性：该配方可直接借鉴到GUI智能体与机器人（VLA）领域，尤其是“混合式思考+短/长时记忆”的通用范式。
• 批判与改进建议：

  • 机制样本稀疏：复杂谜题与区域特定机制在预训练数据中占比较低，建议显式采样与任务增广；

  • 记忆与地标：引入“地图图谱/地标匹配/任务因果图”与“规划库”，增强对任务标记消失/绕路的鲁棒性；

  • OCR与UI鲁棒：进一步提升对UI元素/提示文本的稳健识别，减少“F/E”等混淆；

  • 安全与伦理：开放式智能体在商业游戏中的使用需要更完善的合规与治理框架，研究与社区需要协同制定边界与守则。

    ---

下图（原文 Figure 4）概括了“三阶段训练课程与能力形成”的总体流程，便于读者回看方法与实验的对应关系：

该图像是一个示意图，展示了Lumine模型训练的三个阶段：预训练、指令遵循及推理。每个阶段均基于ViT视觉模型，配以不同规模的训练数据。预训练集中于大规模数据，指令遵循阶段引入自然语言指令，推理阶段则是模型基于先前思考进行动态决策。

为便于读者理解基线差异，以下是原文“代表性游戏智能体对比表”的完整HTML转录（含合并单元格）：

最后，读者可参考原文 Figure 22（多游戏环境的界面与操作示例）以直观理解跨游戏泛化中的UI/3D差异：

该图像是多张游戏截图的插图，展示了Lumine智能体在不同3D开放世界环境中执行任务的场景，体现其在原神游戏中的实时动作和交互能力。

（自检清单：本报告严格遵循章节结构与编号；术语翻译遵循领域约定；所有公式忠实呈现且逐一解释；表格含合并单元格者用HTML还原；图片在对应分析段落后引用；方法论章节将公式与步骤融合讲解，无擅自替换或简化；全面覆盖数据/指标/基线/结果/消融与批判性思考。）