1. 论文基本信息

1.1. 标题

自主人工智能智能体在肿瘤学临床决策中的开发与验证 (Development and validation of an autonomous artificial intelligence agent for clinical decision-making in oncology)

1.2. 作者

Dyke Ferber, Omar S. M. El Nahhas, Georg Wölflein, Isabella C. Wiest, Jan Clusmann, Marie-Elisabeth Leßmann, Sebastian Foersch, Jacqueline Lammert, Maximilian Tschochohei, Dirk Jäger, Manuel Salto-Tellez, Nikolaus Schultz, Daniel Truhn & Jakob Nikolas Kather 等。 这些作者来自多个机构，包括德国的大学医院和研究中心，以及英国的一些研究机构，例如德国德累斯顿工业大学、亚琛工业大学医院、德国癌症研究中心等。

1.3. 发表期刊/会议

《Nature Cancer》。该期刊是 Nature Portfolio 旗下专注于癌症研究的顶级学术期刊，在肿瘤学和医学人工智能领域具有极高的声誉和影响力。

1.4. 发表年份

2025年6月6日 (在线发表)。

1.5. 摘要

肿瘤学中的临床决策过程复杂，需要整合多模态数据和多领域专业知识。本研究开发并评估了一个自主临床人工智能 (AI) 智能体，该智能体利用 GPT-4 (Generative Pre-trained Transformer 4) 并结合了多模态精准肿瘤学工具，以支持个性化临床决策。该系统集成了多种工具，包括：用于从组织病理学幻灯片中检测微卫星不稳定性 (microsatellite instability, MSI) 以及 KRAS 和 BRAF 突变 (mutations) 的视觉 Transformer (Vision Transformer) 模型；用于放射学图像分割的 MedSAM (Medical Segment Anything Model)；以及 OncoKB、PubMed 和 Google 等网络搜索工具。 该智能体在20个真实的、多模态患者案例上进行了评估。结果显示，AI 智能体自主使用合适工具的准确率为 87.5%，在 91.0% 的案例中得出了正确的临床结论，并且 75.5% 的时间能准确引用相关的肿瘤学指南。与单独使用 GPT-4 相比，集成的 AI 智能体将决策准确率从 30.3% 大幅提升至 87.2%。这些研究结果表明，将大型语言模型 (Large Language Model, LLM) 与精准肿瘤学和搜索工具相结合，能够显著提高临床准确性，为部署 AI 驱动的个性化肿瘤学支持系统奠定了坚实基础。

1.6. 原文链接

/files/papers/694d2b6f1bec792f52e46409/paper.pdf 该论文已于2025年6月6日在线发表。

2. 整体概括

2.1. 研究背景与动机

肿瘤学领域的临床决策因其涉及的数据复杂性和专业知识的广度而变得日益复杂。传统上，医生需要整合来自不同模态（如影像学、病理学、基因组学）的数据，并结合多领域的专业知识才能做出个性化的治疗方案。 近年来，大型语言模型 (LLM)，例如 GPT-4，在模拟人类推理和解决问题能力方面取得了显著进展，甚至能在医学考试中取得及格分数。这使得 LLM 在肿瘤学中作为快速可靠的参考工具具有巨大潜力，例如提供医学指南建议。 然而，当前的 LLM 存在以下几个挑战和空白：

• 多模态数据整合不足： 医生在临床实践中依赖语音、文本和图像等多模态信息，但现有的 LLM 多数仍以文本为中心，缺乏直接处理和整合多种医学模态数据的能力。尽管出现了一些多模态 AI 系统，但其多功能性和泛化能力仍有待验证。
• 单任务评估限制： 现有基准测试主要在单一特定任务上评估模型，而实际临床决策往往需要多步骤推理、规划和与数据的反复交互，以发现新的见解。
• 通用模型与专业工具的权衡： 开发一个能够媲美精准医学工具的通用基础 LLM 仍面临巨大挑战。此外，当前的监管政策（如美国和欧盟）倾向于批准具有单一用途的医疗设备，而非通用的多功能 AI 模型。
• LLM 的“幻觉”问题： LLM 可能会产生看似合理但实际上错误的“幻觉”性回答，这在医疗等敏感领域是不可接受的。
• 知识更新与特异性： 维持通用模型与不断发展的医学知识和治疗指南同步更新是一个挑战，需要对模型组件进行重新训练。 针对这些挑战，本研究的切入点是构建和评估一个“智能体 (agent)”系统。这个智能体不仅仅是一个信息提取工具，它能够像人类临床医生一样进行推理、制定策略、执行操作（例如，利用工具处理患者记录、检索或综合新信息），从而实现定制化的决策。通过赋予 LLM 一套专用工具，可以克服其在处理特定、复杂任务方面的局限性，并提供真正的临床辅助。

2.2. 核心贡献/主要发现

本论文的核心贡献在于：

• 开发了自主临床 AI 智能体： 构建了一个基于 GPT-4 的自主 AI 智能体，并将其与一系列多模态精准肿瘤学工具（包括用于组织病理学分析的视觉 Transformer、用于影像学分析的 MedSAM 以及网络搜索工具）和精选的医学知识库（RAG）进行了深度集成。
• 实现了多模态数据整合与多步骤推理： 智能体能够自主识别并调用多种工具，处理组织病理学、放射影像和文本数据，进行多步骤的复杂推理，并利用工具的输出作为后续决策的输入。
• 在真实患者案例上进行全面评估： 在20个模拟的、多模态、现实胃肠道肿瘤患者案例上对智能体进行了定量和定性评估，涵盖了工具使用、临床结论的正确性、响应的完整性、帮助性以及引用准确性。
• 显著提升临床决策准确性： 实验结果表明，与单独使用 GPT-4 相比，集成的 AI 智能体在决策准确性上实现了从 30.3% 到 87.2% 的大幅提升，证明了这种集成方法的优越性。
• 为 AI 驱动的个性化肿瘤学支持奠定基础： 本研究为将 LLM 与专业工具结合以提供准确、可信赖且可解释的个性化肿瘤学临床决策支持系统，提供了概念验证和坚实基础。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 大语言模型 (LLM - Large Language Model)

概念定义： 大语言模型是基于海量文本数据训练的深度学习模型，通常采用 Transformer 架构。它们能够理解、生成和处理人类语言，执行多种自然语言处理任务，如问答、文本摘要、翻译、代码生成等。GPT-4 (Generative Pre-trained Transformer 4) 是 OpenAI 开发的一款具有强大文本和多模态推理能力的大语言模型。 在本文中的作用： 在本研究中，GPT-4 被用作核心的“推理引擎 (reasoning engine)”，负责理解患者案例、制定决策策略、选择和调用工具、整合工具输出以及生成最终的临床响应。

3.1.2. 检索增强生成 (RAG - Retrieval-Augmented Generation)

概念定义： RAG 是一种结合了信息检索和文本生成的技术。当 LLM 接收到查询时，RAG 系统会首先从一个外部知识库中检索相关的文档或信息片段，然后将这些检索到的信息作为上下文（context）输入给 LLM，引导 LLM 生成更准确、更具体、更少“幻觉”的回答。这弥补了 LLM 在特定领域知识上可能存在的不足和时效性问题。 在本文中的作用： 本文利用 RAG 机制，将一个包含约6800份肿瘤学医学文档和临床指南的知识库提供给 GPT-4，确保其决策基于权威的医学证据，并能提供准确的引用。

3.1.3. 视觉 Transformer (Vision Transformer)

概念定义： Transformer (Transformer) 是一种最初为自然语言处理设计的深度学习架构，通过自注意力机制 (self-attention mechanism) 捕捉输入序列中的长距离依赖关系。视觉 Transformer (Vision Transformer, ViT) 将 Transformer 架构应用于图像处理任务，通过将图像分割成一系列图像块（patch），并将这些图像块视为序列化的“词元 (token)”输入给 Transformer 模型，从而实现图像分类、目标检测等任务。 在本文中的作用： 本研究使用专门训练的视觉 Transformer 模型，从组织病理学幻灯片中直接预测微卫星不稳定性 (MSI) 状态以及 KRAS 和 BRAF 基因突变。

3.1.4. 医疗图像分割 (Medical Image Segmentation) 与 MedSAM

概念定义： 图像分割是计算机视觉中的一项任务，旨在将图像分割成多个具有语义意义的区域。医疗图像分割特指在医学图像（如 CT、MRI）上进行分割，用于识别和量化器官、肿瘤或其他病变区域。MedSAM (Medical Segment Anything Model) 是一个最先进的医疗图像分割模型，能够对医学图像中的任何物体进行分割，其能力类似于通用图像分割模型 Segment Anything Model (SAM) 在普通图像领域的作用。 在本文中的作用： MedSAM 作为智能体的一个工具，用于从 CT (Computed Tomography) 和 MRI (Magnetic Resonance Imaging) 扫描中生成肿瘤的分割掩膜 (segmentation mask)，从而计算肿瘤的表面积，以评估疾病的进展或缓解。

3.1.5. 微卫星不稳定性 (MSI - Microsatellite Instability) 和 微卫星稳定 (MSS - Microsatellite Stability)

概念定义： 微卫星 (microsatellites) 是基因组中由1到6个核苷酸重复序列组成的小片段。微卫星不稳定性 (MSI) 是指在肿瘤细胞中，由于 DNA 错配修复 (Mismatch Repair, MMR) 基因功能缺陷，导致这些微卫星区域的长度发生变化（插入或缺失）。MSI-High (高度微卫星不稳定性) 状态是某些癌症（如结直肠癌、子宫内膜癌）的一个重要生物标志物，通常与对免疫检查点抑制剂 (immune checkpoint inhibitors) 治疗敏感相关。微卫星稳定 (MSS) 则表示微卫星区域没有发生长度变化。 在本文中的作用： 本研究开发的智能体利用视觉 Transformer 从组织病理学图像中检测 MSI 与 MSS 状态，为个性化治疗提供依据。

3.1.6. KRAS 和 BRAF 突变 (KRAS and BRAF Mutations)

概念定义： KRAS 和 BRAF 是与细胞生长、增殖和分化相关的原癌基因。它们在多种癌症中都可能发生突变。KRAS 突变和 BRAF 突变是结直肠癌、黑色素瘤和肺癌等癌症中的重要生物标志物，指导靶向治疗的选择。例如，BRAF V600E 突变患者可能对 BRAF 抑制剂和 MEK 抑制剂联合治疗敏感，而 KRAS 突变通常与对某些靶向治疗的耐药性相关。 在本文中的作用： 智能体同样使用视觉 Transformer 从组织病理学图像中检测 KRAS 和 BRAF 突变，这些信息对于选择合适的靶向治疗至关重要。

3.1.7. RECIST 标准 (RECIST Criteria - Response Evaluation Criteria in Solid Tumors)

概念定义： RECIST (实体瘤疗效评价标准) 是一套国际通用的标准，用于评估实体瘤患者对癌症治疗的反应。它通过测量肿瘤病灶的大小变化来定义治疗效果，例如完全缓解 (Complete Response, CR)、部分缓解 (Partial Response, PR)、疾病稳定 (Stable Disease, SD) 或疾病进展 (Progressive Disease, PD)。 在本文中的作用： 智能体在利用 MedSAM 测量肿瘤大小后，通常会结合计算器功能，根据 RECIST 标准判断肿瘤是否出现进展、稳定或响应，从而指导下一步的临床决策。

3.1.8. 自主 AI 智能体 (Autonomous AI Agent)

概念定义： 在人工智能领域，智能体 (agent) 是指一个能够感知环境、进行推理、制定计划并执行动作的系统。自主 AI 智能体 (Autonomous AI Agent) 进一步强调智能体在没有或极少人类干预的情况下，能够独立完成复杂任务的能力。这通常通过赋予 LLM 外部工具、记忆和规划能力来实现。 在本文中的作用： 本研究的核心就是开发一个自主 AI 智能体，它能够接收患者案例、自主选择并调用各种医学工具、整合工具输出、检索相关医学文献，最终生成详细的临床决策建议。

3.2. 前人工作

• LLM 在医学领域的应用： GPT-4 已在美国执业医师资格考试 (USMLE) 中取得及格分数，并能提供详细解释，显示其在医学领域的潜力。
• LLM 作为信息参考工具： 在肿瘤学领域，LLM 可作为快速可靠的参考工具，提供官方医学指南的建议，辅助日常决策和知识更新。
• 多模态 AI 系统： 近年来，多个多模态 AI 系统被引入，例如分析放射影像与临床数据结合，或整合组织病理学与基因组或文本信息。这些进展推动了通用多模态 AI 系统的出现。
• 通用医学 AI 模型： Med-PaLM M 或 MedGemini 等模型试图构建通用医学基础 LLM，以处理多种医疗信息。
• 通过领域特定信息增强 LLM： 之前的研究表明，通过微调 (fine-tuning) 或检索增强生成 (RAG) 可以弥补 LLM 的局限性，例如将医学指南或教科书的相关文本片段纳入模型中，增强其领域知识。Zakka 等人和 LongHealth 数据集在文本层面提升了开放式问答和患者相关内容的处理能力。
• LLM 作为集成数据分析工具： 在生物医学研究领域，Arasteh 等人利用 LLM 的集成数据分析工具分析科学数据，达到与人类研究人员相当的水平。
• LLM 与工具集成： 在医学领域之外，已有一些自主 AI 智能体将 LLM 与计算器或网络搜索等工具结合，证明了其在需要多步骤推理和规划任务中的优越性。

3.3. 技术演进

LLM 的发展历程大致从最初的基于 Transformer 的语言理解和生成模型，逐渐演进到多模态模型，再到具备“智能体”能力。

1. 文本 LLM (如 GPT-4): 专注于文本理解与生成，展现出强大的语言能力和跨领域知识。
2. 多模态 LLM (如 GPT-4V, Med-PaLM M, MedGemini): 开始整合文本之外的模态（如图像），能够同时分析和推理多种医疗信息维度。
3. 通用基础模型 (Generalist Foundation Models): 目标是开发能够处理任何医疗信息维度的通用模型，但面临专业性、监管和训练复杂性挑战。
4. “LLM + 工具”的智能体范式 (Agentic LLMs with Tools): 本文所采用的范式，通过赋予 LLM 外部工具（如专用深度学习模型、API、网络搜索），使其能够执行特定动作、获取新信息，并进行多步骤推理和规划。这种方法在实现专业化功能、克服“幻觉”以及灵活更新知识方面具有优势，同时符合医疗设备监管对单一用途的偏好。

3.4. 差异化分析

本研究的方法与现有工作相比，具有以下核心区别和创新点：

• “推理引擎 + 工具 + 知识库”的集成范式： 区别于将 LLM 仅作为信息提取工具的 RAG 方法或试图构建单一通用模型的尝试，本研究将 GPT-4 定位为“推理引擎”，并配备了一套多模态、领域专业化的工具集（包括精准肿瘤学深度学习模型、影像分割工具、专业数据库和网络搜索）以及一个权威的医学知识数据库。这种集成使 LLM 不再是被动的信息接收者，而是能主动进行决策、规划和行动的智能体。
• 强调专业化工具而非通用模型： 本文反驳了“包罗万象的多模态通用基础模型”的理念，转而拥抱“专业化单模态深度学习模型”的成就。它通过将这些经过验证的专业工具集成到 LLM 智能体中，实现了高精度的专业医疗任务，避免了通用模型在专业查询上的不确定性。
• 应对真实世界复杂性： 论文通过构建 20 个“现实、多模态、多维”的患者案例，来模拟真实世界的临床决策场景，这比现有多数局限于单一或双模态、封闭式问答的基准测试更具挑战性。智能体需要进行多步骤推理、规划并反复与数据交互。
• 可解释性与可更新性： 相较于大型黑盒通用模型，本模块化方法提供了更优越的可解释性，医生可以独立审查每个工具的输出。同时，通过简单替换数据库中的文档或更新搜索工具，可以快速更新医学知识，无需重新训练核心模型。
• 解决“幻觉”问题： 结合 RAG 机制和权威医学指南引用，有效缓解了 LLM 的“幻觉”倾向，提高了响应的准确性和可信度。

4. 方法论

本研究旨在开发并评估一个自主 AI 智能体，该智能体利用 GPT-4 的推理能力，并结合一系列多模态精准肿瘤学工具和一个精选的医学知识库，以支持个性化临床决策。

4.1. 方法原理

该方法的核心思想是将大型语言模型 (LLM) 视为一个能够进行推理和规划的“智能体”，而非仅仅是一个知识存储或信息提取工具。为了让这个智能体在复杂的肿瘤学临床决策中表现出色，研究者为其配备了三大核心组件：

1. 推理引擎 (Reasoning Engine): 由 GPT-4 充当，负责理解患者案例、制定行动计划、选择合适的工具以及整合信息。

2. 知识数据库 (Knowledge Database): 一个通过检索增强生成 (RAG) 机制接入的、包含权威医学指南和文档的专门知识库，确保决策有据可依。

3. 专业工具集 (Suite of Specialized Tools): 一系列能够执行特定任务的精准肿瘤学工具，包括用于影像分析的深度学习模型、用于病理学分析的视觉 Transformer 以及网络搜索功能等。

   智能体的工作流程可概括为：接收临床案例和问题 → 自主选择并应用相关工具获取补充洞察 → 从知识库中检索相关文档以提供医学证据 → 生成基于证据的、个性化的临床决策响应。

   该图像是一个示意图，展示了自主人工智能代理在肿瘤学临床决策中的工作流程。包括知识数据库、患者案例、LLM代理和选择的工具，如PubMed和OncoKB等，并显示了如何查询和处理医学信息以提供支持。图中还展示了选择特定工具和使用医疗图像分割的过程。

图 1 | LLM 智能体框架的高层概述。本图展示了 LLM 智能体管道的示意图。其核心是访问一个包含医学文档、临床指南和评分工具的精选知识数据库。该数据库通过关键词搜索从更广泛的集合中提炼而来，选定的文档经过文本嵌入处理以便高效存储和检索 (1)。该框架通过一套医疗工具进一步增强，包括通过 Google、PubMed 等平台进行的专业网络搜索以及对 OncoKB API 的访问。通过集成一个视觉模型（用于从 CT 和 MRI 扫描生成详细报告）以及最先进的医疗图像分割模型 MedSAM 和一个简单计算器，智能体的能力得到了进一步扩展 (1)。此外，系统使用专门开发的视觉 Transformer，用于预测显微肿瘤样本中的 MSI 与 MSS 以及 KRAS 和 BRAF 突变 (2)。给定一个模拟患者案例，所有工具均由智能体自主选择 (3)，每次调用最多十个工具，可以并行或顺序链式使用 (4)。这样，智能体可以按需生成相关的患者信息，并利用这些知识在其数据库中查询相关文档 (4)。这使其能够生成高度具体且以患者为中心的响应，整合初始临床数据与新获取的见解，所有这些都由权威医学文献支持 (5)。

4.2. 核心方法详解

4.2.1. 数据集构成与数据收集 (Dataset Composition and Data Collection)

研究首先构建了一个高质量的医学知识数据集，确保其正确性 (correctness)、时效性 (up-to-dateness) 和上下文相关性 (contextual relevance)，特别强调了肿瘤学领域的知识。

• 数据来源：
  • MDCalc: (https://www.mdcalc.com/) 用于临床评分。
  • UpToDate 和 MEDITRON: 用于通用医学建议。
  • 美国临床肿瘤学会 (ASCO) 的临床实践指南。
  • 欧洲肿瘤内科学会 (ESMO) 的临床实践指南。
  • 德国血液学与医学肿瘤学学会 (DGHO) 的 Onkopedia 指南（德语和英语子集）。
• 文档获取与预处理：
  • 相关文档以 HTML 提取文本或原始 PDF (Portable Document Format) 文件的形式检索和下载。
  • 为了减少嵌入步骤的文档数量，对文档内容进行了关键词过滤 (keyword-based filtering)，以针对特定使用案例的相关术语。
  • 从 MEDITRON 项目获得的医学指南可直接作为预处理的 jsonlines 文件访问。
• PDF 信息提取与数据整理 (Information Extraction and Data Curation from PDF Files)：
  • 挑战： PDF 文件的结构复杂，传统工具（如 PyPDF2 或 PyMuPDF）在提取文本时可能破坏文档的层次结构和上下文连贯性。
  • 解决方案： 使用 GROBID (generation of bibliographic data)，一个 Java 应用程序和机器学习库，专门用于将非结构化的 PDF 数据转换为标准化的 TEI (Text Encoding Initiative) 格式。GROBID 经过科学和技术文章训练，能有效解析医学文档，保留文本层次结构并生成元数据（如文档和期刊标题、作者、页码、出版日期和下载 URL）。
  • 数据清洗： 从 TEI 文件生成的 XML 字段中以编程方式检索原始文档文本，同时进行数据清洗。此过程包括删除无关信息（如超链接、图形元素、提取过程中损坏的表格数据）以及任何格式错误的字符或数据（如意外提取的 IP 地址）。
  • 格式标准化： 对所有来源的文本进行重新格式化和标准化，用井号 (#) 标记标题，并插入空行以分隔段落。净化后的文本及其元数据以 jsonlines 格式存档以供后续处理。

4.2.2. 智能体构成：RAG (Agent Composition: RAG)

RAG 旨在结合 LLM 的生成能力与文档检索功能，为模型提供领域特定的医学知识（上下文）。

• 嵌入创建与索引 (Embedding Creation and Indexing):
  • 文本嵌入： 使用 OpenAI 的 text-embedding-3-large 模型将原始文本数据转换为数值向量表示（即嵌入 (embeddings)）。
  • 文本分块： 文本段落的长度分别为 512、256 和 128 个词元 (token)，每个分块之间有 50 个词元的重叠。
  • 存储与索引： 将这些向量嵌入与元数据以及相应的原始文本一起存储在本地向量数据库 Chroma 中。Chroma 支持使用向量相似度度量（如余弦相似度 (cosine similarity)）进行高效的查找操作（密集检索 (dense retrieval)）。来自不同来源的文档存储在同一个集合中。

4.2.3. 智能体构成：工具 (Agent Composition: Tools)

为赋予 LLM 智能体能力，为其配备了一系列工具：

• 网络搜索 (Web Searches):
  • 通过 Google Custom Search API 进行网络搜索。
  • 通过自定义 PubMed (PubMed) 查询进行文献检索。
  • 从 Google 搜索中检索到的信息经过文本提取和净化后，直接作为上下文集成到模型中。
  • PubMed 的响应则类似于 RAG 程序，在单独的数据库中进行处理。
• 医学影像处理工具 (Medical Imaging Processing Tools):
  • GPT-4 Vision (GPT-4V) API: 用于生成全面、详细和结构化的放射学报告，特别是在没有提供放射学报告的患者案例中。模型首先需要识别图像在文件系统中的位置，提取图像拍摄顺序（通过文件名中的日期），然后将其发送到 GPT-4V。
  • MedSAM (Medical Segment Anything Model): 用于图像分割，生成描述的肿瘤参考病灶的表面分割掩膜。
    • 工作流程： GPT-4 首先定位系统上的相关患者图像，识别其时间顺序，并接收患者案例描述中参考病灶的位置。
    • 输出与集成： MedSAM 接收请求并返回分割掩膜，从而计算出总表面积。GPT-4 通常会使用内置的计算器功能，根据 RECIST (Response Evaluation Criteria in Solid Tumors) 标准确定肿瘤大小变化的百分比。
    • 局限性： 当前使用限于单个切片图像，且需要以相同的放大倍率拍摄。
• 计算工具 (Calculator): 提供一个简化的计算工具，允许通过执行本地 Python 解释器代码进行基本的算术运算（加、减、乘、除）。
• 精准肿瘤学数据库 (Precision Oncology Database):
  • 利用 OncoKB (Oncology Knowledge Base) 数据库访问大量遗传异常（包括突变、拷贝数变异和结构重排）的医学证据信息。
  • GPT-4 可以向 OncoKB API 发送 HUGO (Human Gene Nomenclature Committee) 基因符号、关注的变异类型（突变、扩增或变体）以及特定的变异（如 $BRAF^{V600E}$），API 返回一个结构化的 JSON 对象，包含潜在的 FDA (Food and Drug Administration) 批准或研究性药物选项及证据级别。
• 组织病理学分析工具 (Histopathological Analysis Tools):
  • 专用视觉 Transformer 模型： 用于组织病理学分析，检测微卫星不稳定性 (MSI)（与微卫星稳定 MSS 对比）以及 KRAS 和 BRAF 基因突变。这些模型基于来自 TCGA (The Cancer Genome Atlas) 的结直肠癌组织图像训练，使用 CTranspath 提取特征。
  • 工作流程： GPT-4 确定患者组织病理学图像的可用性，在系统中定位它们，并选择要测试的靶点（一个、两个或全部三个）。然后接收二分类预测（MSI vs. MSS, KRAS 突变 vs. 野生型, BRAF 突变 vs. 野生型）以及突变概率。
• 工具调用机制：

  • 自主决策： 工具的使用和时机完全依赖于智能体的推理。

  • JSON 规范： 每个工具的规格以 JSON (JavaScript Object Notation) 格式提供给模型，包含工具功能的简要文本描述和所需的输入参数。

  • 迭代应用： 智能体根据可变长度的文本患者上下文和文本查询，生成初始行动计划，然后进行一系列迭代的工具应用。

  • 并行或顺序执行： 工具的部署可以独立并行执行，也可以顺序执行，其中一个工具的输出作为下一个工具的输入（例如，MedSAM 得到的分割面积用于计算器判断疾病进展）。

    该图像是示意图，展示了基于GPT-4的人工智能代理在肿瘤学临床决策中的工具选择与使用流程，包括肿瘤定位、目标定义以及查询的步骤。

图 3 | 智能体在患者案例评估中的管道细节。此图展示了模拟患者 X 的完整智能体管道，展示了完整的输入过程和智能体部署的工具集合。为了便于阅读，患者描述进行了简化（* ....）。完整文本可在补充说明 1 中找到。a, b，在最初的“工具”阶段，模型从患者数据中识别肿瘤定位，并使用 MedSAM 生成分割掩膜。通过测量分割区域的面积，模型能够计算肿瘤随时间的进展，计算出肿瘤增加了 3.89 倍。智能体还参考 OncoKB 数据库获取患者背景中的突变信息 ($BRAF^{V600E}$ 和 CD74ROS1)，并通过 PubMed 和 Google 进行文献搜索。对于组织学建模，我们在此需要说明，我们简化了处理过程。原始的 STAMP (Spatiotemporal Analysis of Multimodal Pathology) 管道包含两个步骤，其中第一个步骤是耗时且计算密集型的特征向量计算，为了方便我们预先进行了此操作。第二个步骤由智能体通过选择感兴趣的目标和患者数据的位置并执行相应的视觉 Transformer 来完成 (**）。c，随后的阶段涉及通过 RAG 进行数据检索并生成最终响应。

4.2.4. 智能体构成：组合、检索与生成响应 (Agent Composition: Combine, Retrieve and Generate Responses)

最终的检索和响应生成管道使用 DSPy (Declarative Self-improving Python) 库实现，该库允许模块化组合 LLM 调用。

• 输入： 模型接收原始患者上下文、提出的问题以及工具应用的结果作为输入。
• 链式思考推理 (Chain-of-Thought Reasoning): 类似于 Xiong 等人描述的方法，模型使用链式思考推理将初始用户查询分解为多达 12 个更细粒度的子查询，这些子查询源自初始患者上下文和工具应用结果。这有助于从向量数据库中检索与多方面用户查询的每个方面更紧密对齐的文档。
• 文档检索：
  • 对于每个生成的子查询，提取前 $k$ (在本研究中为 40) 个最相似的文档片段。
  • 将这些数据组合、去重、重新排序，然后转发给 LLM。
  • 嵌入模型： LLM 发送到 RAG 管道的每个请求都使用与医学指南相同的嵌入模型转换为数值表示。
  • 相似度搜索： 使用余弦距离 (cosine distance)（越低越好）将查询与向量数据库中医学指南的任何嵌入分块进行比较，按升序排序以检索前 40 个向量，每个向量映射到其各自的原始文本片段。
  • 重排序 (Reranking)： 使用 Cohere 的重排序模型 (Cohere Rerank 3 English) 根据语义相似度重新排序检索到的文本片段。此步骤过滤掉在嵌入空间中显示错误高相似度（低距离）但上下文不相关的片段。例如，查询“Which drug is approved for NSCLC?”（哪种药物被批准用于非小细胞肺癌？）和指南文本“Drug A is not approved for non-small cell lung cancer”（药物 A 未被批准用于非小细胞肺癌）可能显示高余弦相似度，但后者与查询无关。重排序步骤有助于将此类片段排名靠后。
  • 从重排序结果中，仅保留前 10 个相关片段。
  • 对模型根据提供的患者信息生成的每个子查询重复此整个过程。
• 响应生成：
  • 去重与格式化： 为了减少词元使用，从整个指南文本块集合中删除重复项，每个前面都加上“Source [x]: ...”的枚举前缀，以实现准确引用，然后将数据发送回 LLM。
  • 策略生成： 在生成最终答案之前，LLM 被指示生成一个逐步策略，以构建结构化响应，包括识别有助于完善和个性化建议的缺失信息。
  • 最终响应合成： 最终的模型输出根据所有可用信息进行合成，严格遵循策略作为分层蓝图。
  • 引用机制： 为了增强系统的可靠性并实现彻底的事实核查，模型被编程配置为使用 DSPy suggestions 为每个语句（定义为最多两个连续句子）包含引用。在实现层面，LLM 执行自我评估步骤，其中它将其自身的输出与数据库中相应的上下文在一个到两个句子的窗口中进行比较。此过程执行一次迭代。所有提示都使用 DSPy 的签名实现。

5. 实验设置

5.1. 数据集

为了解决当前生物医学基准测试的局限性，本研究构建了 20 个独特的多模态患者案例 (multimodal patient cases) 集合，主要关注胃肠道肿瘤学，包括结直肠癌、胰腺癌、胆管细胞癌和肝细胞癌。

• 患者档案： 每个案例都提供了一个全面但完全虚构的患者档案，包括简洁的病史概述，涵盖诊断、显著医疗事件和既往治疗。
• 影像学数据： 每个患者配有一张或两张 CT (Computed Tomography) 或 MRI (Magnetic Resonance Imaging) 图像切片，作为肝脏或肺部的顺序随访分期扫描，或在单个时间点对肝脏和肺部进行同时分期扫描。
  • 图像主要来自亚琛工业大学医院诊断和介入放射学系的内部资源，但少数案例来自公共数据集，如 The Cancer Imaging Archive (TCIA)。
• 组织病理学数据： 组织学图像来自 The Cancer Genome Atlas (TCGA)。
• 基因组学数据： 在多个患者描述中还包含了基因变异（突变和基因融合）信息。
• 复杂查询： 为了评估模型处理复杂信息的熟练程度，研究没有提出单一的直接问题，而是将每个查询结构化为多个子任务、子问题和指令，要求模型在每轮中处理平均三到四个子任务。
• 鲁棒性评估： 为了评估模型在使用工具时在不同患者因素（例如，年龄、性别、来源）下的鲁棒性，研究对 20 个基础案例中的每一个生成了 15 种随机组合的年龄、性别和来源，共计 300 种组合。

5.2. 评估指标

为了增强对自由文本输出的评估，研究开发了一个结构化的评估框架，重点关注三个主要方面：智能体的工具使用 (tool use)、模型生成的文本输出质量 (quality of the text output) 以及提供准确引用 (citations) 的遵守情况。所有评估由四名具有肿瘤学专业知识的认证临床医生独立执行。对于所有基准，采用多数票结果，在平局情况下选择最不利的结果。

5.2.1. 工具使用 (Tool Use)

概念定义： 该指标衡量智能体识别和成功使用必要工具的能力。 计算方式： 报告了四个比率：

• required/successful： 预期用于解决患者案例并成功运行的工具比例。
• required/unused： 被认为必要但 LLM 智能体未使用的工具比例。
• required/failed： 预期使用但失败的工具比例。
• not required/failed： 模型调用了不必要但失败的工具实例。

5.2.2. 文本输出质量 (Textual Output Quality)

5.2.2.1. 正确性 (Correctness)

概念定义： 衡量智能体响应中事实陈述的准确性。响应被分割成更小的、可评估的“语句 (statements)”，一个语句被认为是一个以引用或主题转换结束的段落。 计算方式：

• correctness： 准确的响应（即事实正确且无害）占总语句数的比例。
• wrongness： 不正确但无害的响应（例如，建议多余的诊断程序或请求无关的患者信息）占总语句数的比例。
• harmfulness： 潜在有害的响应（例如，建议次优或禁忌的治疗）占总语句数的比例。

5.2.2.2. 完整性 (Completeness)

概念定义： 衡量智能体响应与人类肿瘤学家在类似条件下预期答案中的关键信息（如治疗或诊断程序）的匹配程度。 计算方式： 模型准确识别或提出的专家预期答案（由关键词预定）的比例。关键词选择力求具体，例如“FOLFOX 和贝伐珠单抗”而非“化疗和抗血管生成药物”。

5.2.2.3. 帮助性 (Helpfulness)

概念定义： 衡量智能体对用户提出的子问题和指令的有效解决程度。 计算方式： 模型实际回答的子问题数量占用户给定所有问题或指令总数的比例。

5.2.3. 引用精确性 (Citation Accuracy)

概念定义： 衡量智能体提供的引用与模型陈述的一致性，以确保决策过程的透明度和可信度。 计算方式：

• correct： 引用与模型陈述准确一致的比例。
• irrelevant： 模型断言未被来源材料证实的实例比例。
• wrong： 信息归因于某个来源但与其实际内容不符的实例比例。

5.3. 对比基线

研究将本智能体（GPT-4 with tools and RAG）与以下基线模型进行了比较：

• GPT-4 Alone： 仅使用 GPT-4 模型，不集成任何外部工具和 RAG 机制。这用于量化工具和 RAG 对决策准确性的提升。
• Llama-3 70B (Meta)： 一款先进的开源大语言模型，用于评估其在功能调用方面的性能。
• Mixtral 8x7B (Mistral)： 另一款先进的开源大语言模型，同样用于评估功能调用性能。

6. 实验结果与分析

6.1. 核心结果分析

本研究在 20 个真实的、多模态患者案例上对开发的自主 AI 智能体进行了全面评估，并与单独的 GPT-4 以及其他开源 LLM 进行了比较。

6.1.1. 工具使用和检索提升 LLM 响应 (Tool use and retrieval improve LLM responses)

• 定性分析： 图 2a 展示了三个示例，其中单独的 GPT-4 未能检测疾病当前状态或提供非常通用的响应，甚至得出不正确结论（如错误假设“疾病进展”或“无疾病证据”）。相比之下，通过工具访问和检索，智能体能够提供详细且准确的响应，例如正确识别治疗响应和疾病信息，如测量肿瘤表面积和做出适当决策。
• 定量分析： 评估了模型为每位患者制定综合治疗计划的能力，包括根据疾病进展、响应或稳定性、突变谱和其他相关信息指定适当的治疗方案。在 20 个患者案例中，共编译了 109 个预期声明（用于衡量完整性 (completeness)）。

  • 单独 GPT-4： 仅提供了 30.3% 的预期答案。

  • 集成 AI 智能体 (GPT-4 with tools and RAG)： 实现了 87.2% 的成功率，仅有 14 个实例未涵盖。 这些结果表明，通过增强 LLM 与工具的结合，显著提高了其生成复杂、真实医疗案例精确解决方案的能力，而非在开箱即用模式下提供通用或错误响应。

    该图像是包含多个病例分析的示意图，展现了AI在癌症临床决策中的应用。图中提及了不同患者疾病进展的分析，强调了AI工具在数据处理和治疗建议中的作用。

图 2 | 单独 GPT-4 与结合工具使用和 RAG 的 GPT-4 响应示例。a，顶部，为展示我们方法相对于标准 LLM 的优越性，我们突出显示了三个案例，其中没有工具使用的 GPT-4 要么未能检测到给定患者的当前疾病状态，要么提供了非常通用的响应。底部，相比之下，工具访问和检索使模型能够提供详细信息。b，性能比较显示，对于结合工具使用和 RAG 的智能体，在我们的完整性基准测试中，被评估为完整的响应比例高于单独的 GPT-4。

6.1.2. GPT-4 处理复杂工具链的能力 (GPT-4 handles complex chains of tool use)

• 工具使用成功率： 在解决所有给定患者案例所需的 64 次工具调用中，智能体正确使用了 56 次，总体成功率为 87.5%。在所需工具中没有出现失败。有 8 次所需的工具被模型遗漏。另有 2 次模型尝试调用不必要的工具，但因数据不可用而失败。

• 工具链示例：

  • 患者 G 案例： GPT-4 两次调用 MedSAM 工具，从不同时间点的两张图像获取分割掩膜。随后，利用计算器功能结合 MedSAM 的输出值，确定肿瘤体积增加了 2.14 倍。
  • 患者 W 案例： 模型使用视觉 Transformer 模型评估患者的突变状态，确认存在疑似 BRAF 突变。然后，模型查询 OncoKB 数据库，检索关于该突变适当管理措施的医学信息。

• 鲁棒性分析： 在对不同性别、年龄和来源组合的患者群体进行评估时 (Extended Data Fig. 1a-c)，发现性能变化的主要来源是每个患者案例所需的工具数量，而非内在的患者因素 (Extended Data Fig. 1d)。这表明 GPT-4 能够有效管理复杂场景，通过顺序使用多个工具，整合结果，并根据先验信息做出后续工具使用的知情决策。

  该图像是图表，展示了自主人工智能代理在患者案例评估中的表现。图中包含四个指标：工具使用、正确性、完整性和帮助性，各自的成功率和比例清晰标示，反映了AI代理在处理案例时的有效性与准确性。

图 4 | 智能体管道在患者案例评估中的性能。来自由四名医学专家组成的小组进行的手动评估的 LLM 智能体基准测试结果。a-c，智能体工作流中的步骤，如图 3 所示。对于“工具使用”指标，我们报告了四个比率：表示预期用于解决患者案例并成功运行的工具比例（56/64），其中所需工具无失败。所需/未使用（8/64）是 LLM 智能体未使用的工具，尽管它们被认为是必要的。此外，有两个实例是使用了不需要的工具，导致失败。“正确性”（223/245）、“错误性”（16/245）和“有害性”（6/245）分别表示准确、不正确（但无害）和有害（损害性）响应相对于响应总数的比率。此处，响应由每个答案的独立段落构成。“完整性”（95/109）衡量专家预期答案（通过关键词预先确定）中模型准确识别或提出的比例。“帮助性”量化模型实际回答的子问题与用户给出的所有问题或指令的比例（63/67）。最后，我们衡量所提供的参考文献是否正确（194/257）、无关（59/257，参考文献内容与模型陈述不符）或错误（4/257）。此处显示的结果来自所有观察者的多数票，在平局情况下选择最不利的响应。

6.1.3. 放射学工具提升 GPT-4 治疗准确性 (Radiology tools improve GPT-4's treatment accuracy)

• GPT-4V 的使用： 尽管 GPT-4V 偶尔存在遗漏、冗余细节、信息不足或错误（在补充说明 2 中以红色突出显示），但它仍能有效指导智能体的决策。
• MedSAM 的使用： GPT-4 能够自主处理多步骤任务，例如确定对特定工具的需求、定位相关数据、理解其时间顺序、向适当工具发送请求、接收结果并将这些结果集成到决策的下一步中。例如，利用计算器比较肿瘤大小随时间的变化。在所有情况下，MedSAM 都能接收到所有相关肿瘤位置的信息，并返回有助于 GPT-4 确定下一步骤的结果，根据计算患者是否表现出疾病进展或保持稳定状态。

6.1.4. 评估显示准确、有用和可靠的响应 (Evaluations show accurate, helpful and reliable responses)

• 正确性： 在 245 个可评估的语句中，223 个（91.0%）被认为是事实正确的，16 个（6.5%）不正确，6 个（2.4%）被标记为潜在有害。
• 问题解决能力： 智能体能够解决矛盾信息（例如，患者描述中报告的突变与工具测试结果之间的差异），指出不一致性，建议进一步基因确认，并根据结果概述潜在治疗方案（患者 D 和 X）。
• 帮助性： 在 67 个查询中，63 个（94.0%）被评为得到有效解决。
• 引用精确性： 在模型响应中提供的 257 个引用中，194 个（75.5%）与模型断言准确对齐，59 个（23.0%）被发现不相关，仅 4 个（1.6%）与模型陈述相冲突。这表明模型错误的推断（“幻觉”）实例有限。

6.1.5. 与开源模型对比 (Comparison with open-weight models)

研究还将 GPT-4 与 Llama-3 70B 和 Mixtral 8x7B 两个最先进的开源模型进行了比较。

• Llama-3 70B： 在功能调用性能方面表现极差。18.8% 的所需工具未被使用，42.2% 的所需工具调用失败。此外，Llama-3 频繁使用多余工具（例如，对无意义值进行随机计算或“幻觉”出不存在的肿瘤位置），导致在 20 个患者案例中出现 62 次不必要的工具调用和失败。总体成功率仅为 39.1%。

• Mixtral 8x7B： 同样表现不佳。42.2% 的所需工具未被使用，50.0% 的所需工具调用失败。其主要缺点是频繁忽视工具使用，导致成功运行的工具不到十分之一。总体成功率仅为 7.8%。

• GPT-4： 在识别相关工具并正确应用于患者案例方面表现出可靠且高效的性能。 这些结果表明，当前开源 LLM 在处理复杂工具调用和多步骤推理方面仍与 GPT-4 存在显著差距。

  该图像是工具调用性能的图表，展示了GPT-4、Llama-3 70B和Mixtral 8x7B在不同情况下的成功率和失败率。图表显示GPT-4在要求的工具中成功率为87.5%，而Llama-3 70B和Mixtral 8x7B的成功率较低，分别为39.1%和50.0%。

图 6 | GPT-4、Llama-3 70B 和 Mixtral 8x7B 的工具调用性能基准测试。此图展示了这三个模型（GPT-4、Llama-3 70B 和 Mixtral 8x7B）在工具调用方面的性能。GPT-4 在所需工具的调用成功率方面达到 87.5%，在处理不需要的失败调用方面表现为 0%。相比之下，Llama-3 70B 在所需成功调用方面为 39.1%，所需未调用为 18.8%，所需失败为 42.2%，且有 62 次不必要的失败调用。Mixtral 8x7B 的所需成功调用率仅为 7.8%，所需未调用为 42.2%，所需失败为 50.0%。这些数据突显了 GPT-4 在工具调用效率和准确性上的显著优势。

6.2. 数据呈现 (表格)

论文主要通过文字描述和图表（如 Figure 4 和 Figure 6）展示了实验结果，没有在正文中提供需要转录的传统表格。上面已经通过文字描述了 Figure 4 和 Figure 6 的关键数据点。

6.3. 消融实验/参数分析

尽管论文没有明确进行标记为“消融实验”的部分，但以下几个方面起到了类似的作用：

• GPT-4 Alone 与集成智能体的对比： 这是最核心的“消融”对比，证明了集成工具和 RAG 对于提升决策准确性的关键作用，将完整性从 30.3% 提升到 87.2%。这相当于验证了“工具使用”和“RAG”这两个组件的有效性。
• 鲁棒性评估： 通过对不同年龄、性别和起源组合的患者案例进行测试（Extended Data Fig. 1），并发现性能变化主要与所需工具数量相关，而非患者内在因素。这有助于理解模型性能的驱动因素，并证明了其在不同人口统计学特征下的泛化性。
• GPT-4 与开源 LLM 的对比： 比较了不同 LLM 在工具调用能力上的表现，虽然不是消融实验，但强调了选择强推理能力 LLM 作为核心的重要性。

7. 总结与思考

7.1. 结论总结

本研究成功开发并验证了一个自主 AI 智能体，该智能体通过将 GPT-4 作为“推理引擎”，并与多模态精准肿瘤学工具（如视觉 Transformer、MedSAM、OncoKB、PubMed 和 Google）以及基于 RAG 的医学知识库深度集成，显著提升了肿瘤学临床决策的准确性和可靠性。在 20 个真实的、多模态患者案例上，智能体展现了高达 87.5% 的工具使用准确率，91.0% 的正确临床结论率，以及 75.5% 的准确引用率。与单独的 GPT-4 相比，该集成智能体的决策准确率从 30.3% 大幅提升至 87.2%。这些发现有力地证明了“LLM + 工具”的智能体范式在复杂医疗场景中的巨大潜力，为部署 AI 驱动的个性化肿瘤学支持系统奠定了坚实基础。

7.2. 局限性与未来工作

7.2.1. 局限性

• 样本量小： 评估的患者案例仅有 20 例，这限制了研究结论的泛化性。构建真实的、符合数据保护标准的案例耗时耗力。
• 工具选择与验证： 核心工作侧重于语言模型智能体的工具使用能力，而单个工具本身的独立优化和验证未完全涵盖。例如，MedSAM 未提供标注的真实分割掩膜用于比较，而是使用临床终点（如疾病进展）作为主要指标。某些视觉 Transformer 工具（如 MSIntuit 模型）可能需要更严格的临床级验证。
• 实验阶段与临床适用性： 智能体仍处于实验阶段，临床适用性有限。例如，目前仅限于处理单一切片放射图像，且 GPT-4V 在医学图像解释方面的能力仍有局限。
• 静态架构： 当前智能体架构是静态设计，而人类医疗专业人员能更灵活地在工具使用和知识检索之间切换。
• 单轮对话： 评估目前局限于单次交互，尚未涵盖多轮对话和人类反馈。
• 领域限制： 患者场景仅限于肿瘤学，尽管底层框架可适应其他医学专科。
• 数据保护与部署： GPT-4 的云端性质使其不适用于真实世界中涉及敏感患者数据的部署，存在数据保护（如 GDPR 和 HIPAA）问题。
• RAG 检索过程改进： 当前使用通用嵌入、检索和重排序模型，但领域特定模型、混合搜索（结合关键词和相似度搜索）以及更大上下文窗口的模型（如 Gemini 1.5）可能进一步提升检索性能。
• 时间依赖性： LLM 如何处理治疗建议中的时间依赖性（如肺癌治疗指南快速更新）是一个挑战。

7.2.2. 未来工作

• 开发大规模基准案例： 鼓励未来努力开发更大规模的基准测试案例，以更全面地验证智能体性能。
• 集成更先进和验证完善的工具： 将更好的、经过广泛测试和验证的临床级工具（如临床级 MSIntuit 模型）集成到管道中。
• 通用基础模型对 3D 图像的增强： 期待在解释三维 (3D) 图像方面取得巨大进展的通用基础模型，例如 Merlin 模型用于 3D CT 影像，并将其作为附加工具集成。
• 整合更复杂的影像-文本模型： 开发能结合患者病史和既往治疗信息来评估疾病状态的影像-文本模型，而不仅仅依赖病灶大小变化。
• 并发集成 RAG 和工具使用： 探索智能体中 RAG 和工具使用的协同作用，RAG 可以辅助指导复杂工具的应用。
• 多轮对话与人机交互 (Human-in-the-loop)： 引入多轮对话和人类反馈机制，以不断优化智能体。
• 框架泛化至其他医学专科： 将底层框架适应到其他医学专科，提供适当的工具和数据。
• 探索开源模型本地部署： 积极探索可在本地服务器部署的开源模型（如 Llama-3 405B、Hermes-3-Llama-3.1），以解决数据隐私问题。
• 优化检索流程： 采用领域特定嵌入、混合搜索以及具有更大上下文窗口的模型（如 Gemini 1.5），以提高检索性能。
• 处理时间依赖性： 智能体可以交叉引用官方医学指南与通过互联网和 PubMed 搜索获取的最新信息，以处理治疗建议中的时间差异。
• 训练 AI 智能体“协调器 (orchestrator)”： 发展类似 MedVersa 的系统，使 AI 能够学习不确定性，识别自身局限，并适时将任务委托给专业视觉模型。
• 任务特定微调和少样本提示 (Few-shot Prompting)： 通过微调和提供示例进一步提高模型性能，尤其是在增加复杂工具时。
• 深度融入临床实践： 将 AI 智能体直接集成到现有临床信息系统中，实时访问患者数据，最大程度减少对临床医生工作流程的干扰。这需要解决互操作性、数据隐私、责任归属、监管批准以及医学专业人员教育等挑战。

7.3. 个人启发与批判

7.3.1. 个人启发

这篇论文提供了一个非常清晰且具有前瞻性的愿景，即如何将 LLM 的强大推理能力与领域专家模型结合，以解决医疗领域复杂而敏感的问题。其核心启发在于：

1. “智能体范式”的价值： 将 LLM 视为一个能够自主行动、规划和利用外部工具的智能体，而非单纯的知识库或文本生成器，是推动 AI 应用从辅助工具走向真正“助手”的关键。这使得 AI 能够执行更复杂的、多步骤的任务，并从不同模态的数据中获取洞察。
2. 专业化与通用化的平衡： 论文巧妙地避开了开发一个“包罗万象”的通用医学 AI 模型的巨大挑战，转而拥抱了“专家工具”的强大和成熟。通过将经过充分验证的、针对特定任务的精准医学工具（如 MedSAM、视觉 Transformer）与 LLM 结合，既保证了专业任务的精度，又通过 LLM 实现了跨工具的协调和高层推理。这种模块化的方法也更符合医疗设备监管的现实。
3. 可解释性与可信度： 这种模块化架构提供了优于大型黑盒模型的解释性。当智能体给出建议时，医生可以追溯到是哪个工具提供了哪部分信息，以及哪个指南支持了哪项建议，从而增强了对 AI 决策的信任，这在医疗领域至关重要。RAG 机制提供的准确引用进一步强化了这一优势。
4. 数据稀缺与隐私的应对： 医疗数据的高度碎片化和隐私限制，使得构建一个统一、全面的基础模型非常困难。本文的策略允许各个拥有特定数据访问权限的实体开发并验证自己的专业工具，然后通过 LLM 将这些工具集成，从而有效地绕过数据可用性约束。

7.3.2. 批判与反思

尽管该研究提供了令人振奋的概念验证，但仍存在一些值得批判和反思的地方：

1. “概念验证”的局限性： 论文明确指出这是一项概念验证研究，这解释了为什么只使用了 20 个患者案例。然而，在实际临床部署前，需要进行更大规模、更广泛多样化的数据集验证，以充分评估模型的泛化能力和鲁棒性。小样本量可能无法充分捕捉真实世界中罕见病、复杂共病或非典型表现的情况。

2. GPT-4 的依赖性与隐私问题： 智能体严重依赖闭源且云端的 GPT-4。在实际医疗场景中，敏感患者数据上传至商业服务器存在严重的隐私（GDPR, HIPAA）和安全风险。虽然论文提到了未来将探索开源模型，但目前这一依赖性是其部署的最大障碍之一。

3. 人类评估的主观性： 模型的工具使用、响应正确性、完整性和引用准确性均由四位临床专家进行手动评估。尽管有多数票和不利结果选择的规则，但人工评估本身仍带有一定主观性，且评估成本高昂，难以扩展到大规模数据集。

4. 工具本身的独立优化与验证： 论文承认，核心关注点在于 LLM 的工具使用能力，而非每个工具本身的独立优化和验证。例如，MedSAM 的性能依赖于其自身的泛化能力和分割精度，而本文没有提供其在内部数据上的真实标注评估。这些“黑盒”工具的潜在误差可能会累积并影响最终决策。

5. 模型“幻觉”的潜在风险： 尽管 RAG 和引用机制旨在缓解“幻觉”，但仍有 6.5% 的响应不正确和 2.4% 的响应潜在有害，以及 23.0% 的引用不相关。在医疗领域，即使是小概率的错误也可能造成严重后果，这需要更严格的错误预防和风险管理机制。

6. 超参数的经验性设置： 论文提到 GPT-4 的温度参数是“凭经验设置”的。这表明其性能可能对这些参数敏感，且最优参数在不同任务或患者群体中可能有所不同，缺乏更系统化的调优过程。

7. “静默更改”的不可控性： 依赖闭源模型如 GPT-4 意味着模型的底层行为可能被开发者“静默更改”，这会影响研究结果的复现性。

   总体而言，该研究为 AI 在肿瘤学中的应用开辟了一条充满希望的道路，通过将 LLM 的推理能力与专业工具的精度相结合，构建了一个强大的临床决策支持系统。然而，要真正实现临床落地，还需要在数据量、模型透明度、隐私保护和监管合规性方面进行大量的后续工作和严格验证。