1. 论文基本信息

1.1. 标题

Multi-level Value Alignment in Agentic AI Systems: Survey and Perspectives (多层次价值对齐在智能体人工智能系统中的综述与展望)

1.2. 作者

Wei Zeng, Hengshu Zhu, Senior Member, IEEE, Chuan Qin, Member, IEEE, Han Wu, Yihang Cheng, Sirui Zhang, Xiaowei Jin, Yinuo Shen, Zhenxing Wang, Feimin Zhong, Hui Xiong, Fellow, IEEE

1.3. 发表期刊/会议

预印本 (Preprint)，发布于 arXiv。发表于 2025 年 6 月 11 日。 由于是预印本，尚未经过同行评审，但通常预印本平台（如 arXiv）是学术界分享最新研究成果的重要渠道，尤其在快速发展的人工智能领域。

1.4. 发表年份

2025

1.5. 摘要

随着人工智能范式演进到 智能体人工智能 (Agentic AI) 阶段，研究焦点已从单一智能体和简单应用转向复杂环境中的多智能体自主决策和任务协作。大语言模型 (LLMs) 的发展使其应用日益多样和复杂，随之而来的是情境和系统性风险的增加。这使得 智能体人工智能系统 (Agentic AI Systems) 的 价值对齐 (Value Alignment) 受到广泛关注，旨在确保智能体的目标、偏好和行为与人类价值观及社会规范保持一致。本研究从 社会治理 (Socio-governance) 角度出发，以 基于大语言模型的多智能体系统 (LLM-based multi-agent systems) 作为 智能体人工智能系统 (Agentic AI Systems) 的代表原型，全面审视了其 价值对齐 (Value Alignment) 问题。

本综述系统地考察了三个相互关联的维度：

1. 价值原则 (Value Principles)：通过宏观 (macro)、中观 (meso) 和微观 (micro) 层次的自上而下 (top-down) 结构进行组织。
2. 应用场景 (Application Scenarios)：沿着从通用到具体的连续谱进行分类，明确映射这些价值层级。
3. 价值对齐方法与评估 (Value Alignment Methods and Evaluation)：通过系统审查基准数据集 (benchmarking datasets) 和相关方法，将其映射到分层框架中。 此外，本研究深入探讨了 智能体人工智能系统 (Agentic AI Systems) 中多个智能体之间的 价值协调 (value coordination) 问题。最后，本文提出了该领域未来潜在的研究方向。

1.6. 原文链接

https://arxiv.org/abs/2506.09656 PDF 链接: https://arxiv.org/pdf/2506.09656v2.pdf

2. 整体概括

2.1. 研究背景与动机

当前 人工智能 (AI) 发展已进入 智能体人工智能 (Agentic AI) 新范式，其特点是 多智能体协作 (multi-agent collaboration)、动态任务分解 (dynamic task decomposition)、持久记忆 (persistent memory) 和自主决策 (autonomous decision-making)。大语言模型 (LLMs) 作为智能体的“大脑”，使其应用场景日益复杂多样，但也带来了日益增长的情境性和系统性风险。例如，大语言模型 (LLMs) 可能保留训练数据中的有害信息、泄露隐私数据、生成误导性信息，甚至表现出操纵和欺骗等有害行为。在城市交通优化等多智能体系统中，智能体可能优先考虑效率而非公平，加剧社会不平等；在医疗领域，大语言模型 (LLM) 可能提供缺乏临床证据或误解伦理指南的诊断建议。

这些问题以及运行和公共治理中产生的 制度摩擦 (institutional friction) 和 交易成本 (transaction costs)，其根源在于多方利益相关者在治理目标、价值观念和行为规范上的深层矛盾。因此，将人类价值观系统有效地嵌入 大语言模型 (LLMs) 成为当务之急，即 价值对齐 (Value Alignment)。这不仅仅是单个智能体的技术优化问题，更是决定智能体行为边界和系统稳定性的基础性治理问题。

现有研究多集中于 大语言模型 (LLM) 的 价值对齐 (Value Alignment) 方法和技术进展，但鲜有研究专门针对 基于大语言模型的多智能体系统 (LLM-based multi-agent systems) 中的 价值对齐 (Value Alignment)。此外，大多数研究仍停留在理论或算法层面，缺乏对特定应用场景下 多智能体价值对齐 (multi-agent value alignment) 机制和策略的关注，以及对其分层分类的缺失。

2.2. 核心贡献/主要发现

本研究基于上述研究空白，从 社会治理 (socio-governance) 角度，对 基于大语言模型的多智能体系统 (LLM-based multi-agent systems) 中的 价值对齐 (Value Alignment) 进行了全面综述。主要贡献包括：

1. 多层次价值框架：提出了一个自上而下、涵盖宏观、中观和微观三个层级的 多层次价值对齐 (Multi-level Value Alignment) 原则框架。
   • 宏观层面：关注普遍伦理，如道德基础、权利保护、可持续性和系统治理。
   • 中观层面：涉及国家政策、文化倾向和行业规范。
   • 微观层面：聚焦组织运营和任务特定背景下的价值权衡。
2. 应用场景分类与价值问题：根据 智能体人工智能系统 (Agentic AI Systems) 的通用性，对其应用场景进行了从通用到具体的分类，并讨论了不同通用性等级下对应的 价值对齐 (Value Alignment) 问题和挑战，包括同层级价值多元性和跨层级价值冲突。
3. 价值对齐方法与评估的系统梳理：系统审查了 基于大语言模型 (LLM-based) 智能体的 价值对齐 (Value Alignment) 方法（包括预训练、后训练、智能体架构设计、多智能体系统对齐以及数据与反馈驱动的对齐）和评估方法，并整合了现有的 价值对齐评估数据集 (value alignment evaluation datasets)。
4. 未来研究方向展望：基于对 智能体人工智能系统 (Agentic AI Systems) 的深入分析，提出了四个关键的未来研究方向，涵盖内部决策、协调机制、外部信息交换和社会生态共建：
   • 基于 博弈论 (Game Theory) 的 多智能体交互机制 (multi-agent interaction mechanisms) 设计。
   • 多智能体组织模型与结构 (multi-agent organizational model and structure) 的设计。
   • 智能体人工智能系统 (Agentic AI System) 通信协议 (Communication Protocols) 中的 价值对齐 (Value Alignment) 研究。
   • 建立 多层次价值评估框架 (Multi-Level Value Evaluation Framework) 和高质量开放数据集。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 大语言模型 (LLMs)

大语言模型 (Large Language Models, LLMs) 是基于深度学习技术和海量训练数据构建的模型，能够理解和生成自然语言文本。它们在知识获取、指令遵循、规划和推理方面表现出卓越的能力，为构建智能数字智能体奠定了基础。

3.1.2. 智能体人工智能系统 (Agentic AI Systems)

在本文中，智能体人工智能系统 (Agentic AI Systems)、人工智能智能体 (AI Agent)、智能体系统 (agent systems)、基于大语言模型的智能体系统 (LLM-based agent systems) 和 多智能体系统 (multi-agent systems) 这些术语可互换使用。它代表了一种新的 人工智能 (AI) 范式，其特点是 多智能体协作 (multi-agent collaboration)、动态任务分解、持久记忆和自主决策能力。这类系统通常由以 大语言模型 (LLM) 为“大脑”的智能体组成，能够在复杂环境中进行决策、协作和治理。

3.1.3. 多智能体系统 (MAS)

多智能体系统 (Multi-agent Systems, MAS) 是由多个在共享环境中操作和交互的智能体组成的计算系统。其核心组件包括智能体、环境、交互规则和组织模式。在 大语言模型 (LLM) 的驱动下，多智能体系统 (MAS) 中的智能体可以通过自然语言进行自适应协作，执行规划、讨论、决策和相互学习，并根据对环境的感知和理解采取行动。

3.1.4. 价值 (Value)

价值 (Values) 是指导人类行为的内在准则，代表一套稳定的认知原则，是社会互动的基本规范。在 人工智能 (AI) 系统中，价值 (Values) 既是指导行为的规范性原则，也是评估这些系统社会对齐的标准。本文将 价值 (Values) 概念扩展为具有多层次结构和广义能动性的动态价值构造。它强调 价值 (Values) 是通过实践和互动不断解释和重塑的。

3.1.5. 价值对齐 (Value Alignment)

价值对齐 (Value Alignment) 的核心目标是确保 人工智能 (AI) 系统的行为与人类的价值观、偏好和行为规范保持一致。这对于确保 人工智能 (AI) 的安全性、可控性和规范性治理至关重要。 价值对齐 (Value Alignment) 可从两个维度理解：

• 规范维度 (Normative dimension)：关注 人工智能 (AI) 智能体应该遵循哪些 价值 (Values) 或伦理原则。
• 技术维度 (Technical dimension)：研究如何通过技术手段（如训练数据集和强化学习）实现 价值对齐 (Value Alignment)。

3.1.6. 多层次价值对齐 (Multi-level Value Alignment)

本文提出一种自上而下 (top-down) 的 多层次价值对齐 (Multi-level Value Alignment) 框架，将人类价值观分为三个层次：

• 宏观层面 (Macro Level)：指超越文化和领域的普遍伦理，强调合规性和安全性。
• 中观层面 (Meso Level)：包括国家、文化和行业特有的价值观，侧重政策、标准和规范的本地化。
• 微观层面 (Micro Level)：涉及组织运营和任务特定背景下的价值选择，强调在有限环境中实现目标与伦理考量之间的权衡。

3.2. 前人工作

现有关于 大语言模型 (LLM) 价值对齐 (Value Alignment) 的研究主要集中在以下几个方面：

• 单一智能体对齐技术：在单一 大语言模型 (LLM) 智能体场景中，对齐技术主要通过人类反馈 (human feedback) 和 监督微调 (supervised fine-tuning) 来指导模型生成符合道德规范和社会期望的内容，避免有害输出、错误信息和道德偏差。
• 道德基础理论 (Moral Foundations Theory)：该理论认为人类道德基于五种先天基础——关怀/伤害、公平/欺骗、忠诚/背叛、权威/颠覆和圣洁/堕落，被广泛应用于跨文化道德研究。
• 基本人类价值观理论 (Theory of Basic Human Values)：将人类价值观分为十个维度，是理解人类价值观共性和差异的关键工具。
• AI 伦理原则综合研究：Jobin 等人基于 84 份伦理指南，识别出透明、正义与公平、不作恶、责任、隐私等十一个核心原则。Floridi 和 Cowls 提出了仁慈、不作恶、自主性、正义和可解释性五项基本原则。姚等学者强调了 大语言模型 (LLM) 行为的规范基础应包括 3H 原则 (Helpfulness, Honesty, Harmlessness)、社会伦理规范和基本伦理理论。
• 多智能体协调机制：一些研究探索了 多智能体系统 (multi-agent systems) 中的协调机制，但专门针对 价值对齐 (Value Alignment) 的全面研究较少。

3.3. 技术演进与差异化分析

人工智能 (AI) 范式从静态、任务特定的模型演进到动态、交互式的 智能体人工智能 (Agentic AI) 架构。大语言模型 (LLMs) 的崛起使得智能体能够进行更高级的语言理解、生成、规划和推理，从而构建出更复杂、更自主的 多智能体系统 (multi-agent systems)。

本文的工作与现有研究的差异化体现在：

• 聚焦于多智能体系统：与多数关注单一 大语言模型 (LLM) 价值对齐 (Value Alignment) 的研究不同，本文专门探讨 基于大语言模型的多智能体系统 (LLM-based multi-agent systems) 中的 价值对齐 (Value Alignment) 问题。
• 社会治理视角：本文采用 社会治理 (socio-governance) 视角，强调 价值对齐 (Value Alignment) 不仅仅是技术问题，更是涉及 制度摩擦 (institutional friction)、交易成本 (transaction costs) 和多方利益相关者矛盾的复杂治理问题。
• 多层次、场景驱动的框架：提出了一个独特的 宏观-中观-微观 (macro-meso-micro) 多层次 价值对齐 (Value Alignment) 框架，并将其与不同通用性等级的应用场景相结合，弥补了现有研究在 价值对齐 (Value Alignment) 分层分类和场景具体性方面的不足。
• 强调价值协调与组织结构：在未来方向中，本文特别强调了在 多智能体系统 (multi-agent systems) 中，价值协调 (value coordination) 需要通过 博弈论 (Game Theory) 驱动的交互机制和组织模型设计来实现，这超越了纯粹的模型算法优化。

4. 方法论

本论文作为一篇综述，其“方法论”部分并非提出新的算法或模型，而是系统地归纳和分类了现有 基于大语言模型 (LLM-based) 的 智能体人工智能系统 (Agentic AI Systems) 中实现 价值对齐 (Value Alignment) 的各种技术和策略。这些方法涵盖了从 大语言模型 (LLM) 预训练到智能体架构设计，再到 多智能体系统 (multi-agent system) 层面和数据反馈机制。

4.1. 基于大语言模型预训练阶段的价值对齐 (Value Alignment during LLM Pretraining)

在 大语言模型 (LLM) 的预训练阶段，可以通过以下方法隐式或显式地注入价值偏好。

4.1.1. 价值提示预置条件 (Value-Prompt Pre-conditioning)

在传统的自监督预训练框架中，例如 掩码语言建模 (masked language modeling) 或 自回归语言建模 (autoregressive language modeling)，研究人员可以在输入序列前添加一个简短的“价值提示”。例如，在每个句子开头附上“请以安全中立的语气回应”或“请遵守公平和包容原则”，然后将带有提示和原始文本一同纳入预训练语料库。通过这种方式，模型被动地接收到关于“安全性”和“客观性”等目标的隐式指导。这种方法旨在通过在训练初期嵌入可训练的 词元 (tokens) 来实现对下游行为（如公平性、偏见检测）的更强可控性。

4.1.2. 多任务预训练 (Multi-Task Pre-training)

受 多任务学习 (multi-task learning) 范式启发，此方法将价值判断或安全检测任务与标准的自监督目标混合在一起。具体来说，除了 掩码语言建模 (MLM) 或 自回归 (autoregressive) 目标外，还加入小规模的、带标注的监督信号，例如“伦理分类”、“偏见检测”或“仇恨言论识别”。通过联合优化一个多任务损失函数，模型的参数被训练来同时满足语言建模要求和区分有害或有偏内容的能力。尽管这需要额外的标注数据，但它明确加强了模型在价值维度上的判别边界，并为后续的对齐微调奠定了技术基础。

4.1.3. 安全感知课程学习 (Safety-Aware Curriculum Learning)

此方法借鉴了 课程学习 (curriculum learning, CL) 的概念，根据“安全”或“敏感度”级别对大规模语料库进行分层。首先，使用高质量、低风险的“安全语料库”进行预训练的 热身 (warm-up) 阶段，使模型初步获得符合伦理和监管要求的表达模式。随后，逐渐引入更通用或更高风险的文本，使模型在扩展语言能力的同时保留对早期安全偏好的依赖。这种分阶段的训练策略在模型能力和安全性之间建立了更好的平衡，实验表明它在控制模型生成敏感内容倾向方面显著优于全面的预训练。

4.2. 基于大语言模型后训练阶段的价值对齐 (Value Alignment during LLM Post-Training)

在 大语言模型 (LLM) 预训练完成后，可以通过多种后训练技术进一步将其与人类价值观对齐。

4.2.1. 监督微调 (Supervised Fine-Tuning, SFT)

监督微调 (SFT) 是将 智能体语言模型 (agentic language models) 与人类价值观对齐的基本步骤。它涉及在一个精心策划的 演示-响应对 (demonstration-response pairs) 数据集上微调预训练模型，这些数据对体现了伦理、安全和公平等规范原则。这些例子通常由人类标注员构建，涵盖了值敏感行为至关重要的广泛场景。在 监督微调 (SFT) 期间，模型被优化以最大化生成与这些人类创建的演示相匹配的响应的可能性。例如，一些方法通过自动化生成指令数据来微调 GPT-3，以实现可扩展的对齐。

4.2.2. 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback, RLHF)

基于人类反馈的强化学习 (RLHF) 已成为将 大语言模型 (LLMs) 与人类价值观、偏好和行为规范对齐的核心范式。它通过引入一个额外的优化阶段来扩展 监督微调 (SFT)，该阶段将人类反馈信号整合到 策略学习 (policy learning) 中，使模型能够超越表层模仿，更深入地与人类意图对齐。经典的 基于人类反馈的强化学习 (RLHF) 管道包括三个主要组成部分：

1. 监督微调 (SFT)：首先对预训练的 大语言模型 (LLM) 进行 监督微调 (SFT)，使用一组精心策划的 指令-响应对 (instruction-response pairs) 来提供合理的初始化。
2. 奖励模型 (Reward Model, RM) 训练：对于同一提示的多个模型生成的响应，人类标注员提供成对偏好标签（例如，排名哪个响应更有帮助或无害）。然后，这些偏好数据用于训练一个 奖励模型 (RM)，该模型可以近似人类偏好。
3. 强化学习 (Reinforcement Learning)：大语言模型 (LLM) 使用强化学习（通常是 近端策略优化 (Proximal Policy Optimization, PPO)）进行进一步微调，其中奖励信号来自 奖励模型 (RM)。此步骤鼓励模型生成能够最大化预测人类认可的输出。

4.2.3. 宪法式人工智能与基于人工智能反馈的强化学习 (Constitutional AI and Reinforcement Learning from AI Feedback, RLAIF)

鉴于纯粹由人类提供的反馈成本高昂且覆盖范围有限，最近的研究探索了结合模型内在知识和一组专家定义原则的 自监督对齐 (self-supervised alignment) 方法。Anthropic 的 宪法式人工智能 (Constitutional AI) 是该范式的一个领先实例，其中模型首先被赋予一个由价值驱动规则（例如，避免伤害，保持诚实）组成的“宪法”。在初始阶段，模型根据这些规则对自己的响应进行 自我批判 (self-critique)，并相应地修改响应。在 强化学习 (RL) 阶段，模型充当自己的评估者：它比较成对的响应来训练一个 偏好模型 (preference model)，该模型反过来为进一步微调提供奖励信号。这种过程——被称为 基于人工智能反馈的强化学习 (Reinforcement Learning from AI Feedback, RLAIF) ——通过利用自动 自我评估 (self-assessment)，最大限度地减少对人类标注的依赖。

4.2.4. 自我反思与自我纠正 (Self-Reflection & Self-Correction)

大语言模型 (LLMs) 可以通过 自我反思 (self-reflection) 来识别和纠正其输出中的错误或偏差。一个典型的例子是 Self-Refine，它在 反馈 (FEEDBACK) 和 精炼 (REFINE) 两个生成步骤之间交替进行，以在没有任何额外训练数据或外部监督的情况下迭代改进初始响应。在此基础上，SELF-RAG 将 检索增强生成 (retrieval-augmented generation) 与 自我反思 (self-reflection) 相结合：模型学习发出“反思词元”，以决定何时检索外部知识以及何时进行 自我评估 (self-evaluate)，从而在保持生成创造力的同时增强事实准确性。

4.2.5. 自适应微调 (Adaptive Fine-Tuning)

在动态部署环境中，智能体大语言模型 (agentic LLMs) 必须不断适应不断变化的用户偏好和环境奖励——这个过程通常被称为 自适应微调 (adaptive fine-tuning)。例如，PRELUDE 框架将此视为“从用户编辑中学习偏好”：通过从历史编辑日志中推断用户的潜在偏好配置文件，智能体定期微调其响应策略以更好地与这些偏好对齐。

4.3. 智能体架构设计中的价值对齐 (Value Alignment in Agent Architecture Design)

基于大语言模型 (LLM-based) 智能体的架构设计对于 价值对齐 (Value Alignment) 至关重要。通过在智能体内部整合特定的模块和机制，可以引导其行为与期望的价值标准对齐。

4.3.1. 配置文件定义 (Profile Definition)

配置文件定义 (Profile Definition) 指的是分配给 基于大语言模型 (LLM-driven) 智能体架构中每个智能体的一组预配置的个性化属性。这些配置文件不仅包括智能体的名称、身份和能力范围等基本信息，还定义了其目标、偏好、行为风格和禁止行为，从而确保角色一致性和 价值对齐 (Value Alignment)。

4.3.2. 记忆机制 (Memory Mechanisms)

记忆机制 (Memory Mechanisms) 指的是通过存储和检索历史信息来增强模型的长期上下文感知和行为一致性的能力。其核心是结构化存储和有效检索交互内容、指令、用户偏好和反馈，从而实现个性化响应、长期任务跟踪和 价值对齐 (Value Alignment)。

4.3.3. 推理与规划 (Reasoning and Planning)

推理与规划 (Reasoning and Planning) 是指智能体在处理复杂任务时执行逻辑推理和多步骤决策的能力。这种能力包括基于知识和环境信息进行因果推理、路径选择和工具利用等认知过程，以及对未来行动进行系统性预测和调节。作为决策模块的核心组成部分，推理与规划 (Reasoning and Planning) 在 价值对齐 (Value Alignment)、任务执行效率和行为稳定性方面发挥着基础性作用。

4.3.4. 执行与工具使用 (Execution and Tool Use)

行动执行与工具使用 (Action Execution and Tool Use) 指的是智能体主动执行操作和调用外部工具以完成任务的能力。在 基于大语言模型 (LLM-based) 智能体系统中，它是实现自主性以及与环境交互的核心机制之一，也是确保与人类价值观对齐的关键接口。

4.3.5. 反思循环 (Reflection Loop)

反思循环 (Reflection Loop) 是嵌入在 基于大语言模型 (LLM-based) 智能体系统中的认知控制模块。其核心功能是赋予智能体 元认知能力 (metacognitive abilities)，使其在任务执行过程中能够进行回顾-评估-修改。具体来说，反思循环 (Reflection Loop) 引入了一个反思阶段，允许智能体重新审视和评估其行动或推理，从而提高后续行为或推理的有效性和对齐性。

4.3.6. 价值评估器 (Value Evaluator)

价值评估器 (Value Evaluator) 是一个关键模块，其核心功能是模拟人类监督者的角色，通过基于价值的判断来过滤模型生成的输出。这确保了内容除了逻辑正确外，还能更紧密地与主流人类伦理、文化规范和目标导向对齐。这个模块通常用于强化学习或策略微调阶段，以根据人类标准校准智能体决策。

4.4. 多智能体系统的价值对齐 (Value Alignment for Multi-Agent System)

为 多智能体系统 (multi-agent systems) 开发 价值对齐 (Value Alignment) 方法对于确保智能体行为与人类价值观和集体系统目标保持一致至关重要。通过设计嵌入规范原则的协调策略、通信协议和奖励结构，可以塑造智能体之间的交互，以促进对齐、合作和社会有益的结果。

4.4.1. 合作与协作学习 (Cooperative and Collaborative Learning)

在 多智能体协作 (multi-agent collaboration) 框架内，不同的智能体可以承担不同的角色，相互补充优势，共同完成任务并相互监督规范偏差。例如，一个智能体可能专注于任务规划，另一个负责评估计划的安全性，而第三个则模拟用户角色提供反馈。这种分工使每个智能体能够专注于特定维度，同时通过自然语言通信共享信息和约束。

4.4.2. 对抗学习 (Adversarial Learning)

最近的进展越来越多地探索 基于辩论 (debate-based) 的方法作为 多智能体对齐 (multi-agent alignment) 的一个有前景的途径。多智能体辩论框架 (multi-agent debate framework) 使多个 大语言模型 (LLM) 智能体能够就同一问题进行对抗性讨论，最终答案通过投票或裁决选出。一个智能体提出答案，其他智能体批评和挑战它，迭代地完善响应，直到没有重大缺陷。裁判智能体或多数票决定最准确和安全的输出。

4.4.3. 分层学习 (Hierarchical Learning)

多智能体系统 (Multi-agent systems) 可以采用 分层架构 (hierarchical architectures) 来实现监督和放大，类似于组织结构。这种方法已应用于 AutoGen 等框架，其中监督智能体监督工具使用和纠正。分层设置还支持 同行评审工作流 (peer-review workflows)，使智能体能够相互批评和完善输出，形成内部反馈循环，提高质量并强制执行超越单一智能体系统能力范围的对齐。

4.5. 通过数据和反思反馈实现价值对齐 (Value Alignment via Data and Reflection Feedback)

通过数据和反思反馈实现 价值对齐 (Value Alignment) 侧重于通过策划价值信息数据和启用 自我评估 (self-assessment) 机制来塑造智能体行为。通过将规范性线索（例如，道德准则、社会规范或人类偏好）整合到训练数据集中，智能体可以逐步内化期望的价值结构。

4.5.1. 自我构建数据 (Self-Constructed Data)

为了减少对人类标注的对齐数据的依赖，模型可以生成自己的训练样本。Self-Instruct 等方法允许 语言模型 (language model) 创建 指令-响应对 (instruction-response pairs)，过滤低质量输出并进行微调——以最少的人工输入显著提高性能。这种策略可以通过模拟伦理困境或对抗性提示并生成安全响应来扩展到 价值对齐 (Value Alignment)。

4.5.2. 人类反馈数据 (Human Feedback Data)

人类反馈 (Human feedback) 是 价值对齐 (Value Alignment) 最可靠的信号之一。基于人类反馈的强化学习 (RLHF) 等方法使用人类偏好来训练 奖励模型 (reward models)，而 监督微调 (SFT) 中的专家编写响应有助于纠正价值偏差。隐式用户反馈（例如，接受或拒绝答案）也可以支持持续优化。

4.5.3. 环境反馈数据 (Environmental Feedback Data)

对于部署在交互式环境中的智能体（如机器人或游戏 人工智能 (AIs)），环境本身可以通过 奖励函数 (reward functions) 提供价值信号。精心设计的奖励将人类期望的行为转化为分数，引导智能体通过 强化学习 (reinforcement learning) 学习对齐的策略。

4.5.4. 策略与规范数据 (Policy and Normative Data)

将社会公认的规范整合到模型训练或推理中是 价值对齐 (Value Alignment) 的关键方法。通过在预训练或微调期间整合法律和道德准则等文本，模型可以内化这些价值观。例如，Anthropic 的 Claude 模型使用“宪法”来强制执行行为标准，指导模型 自我纠正 (self-correct) 违规行为。

5. 实验设置

本部分是关于 价值对齐评估 (Value Alignment Evaluation)。由于本文是一篇综述，因此不涉及作者自己进行新的实验，而是对现有文献中 价值对齐 (Value Alignment) 的评估方法、数据集、问题格式和度量指标进行分类和总结。

5.1. 数据集

本综述总结了现有用于 价值对齐 (Value Alignment) 和评估的开放数据集，并根据宏观、中观和微观三个层级的 价值对齐 (Value Alignment) 原则对其进行了系统分类，以阐明其覆盖范围和适用性。

5.1.1. 数据集分类 (Table B-II)

以下是原文 Table B-II 的内容，展示了用于 价值对齐 (Value Alignment) 和评估的数据集：

注：

• Construction Methodologies: EDC (Expert-Driven Construction, 专家驱动构建), CC (Crowdsourced Construction, 众包构建), AC (Automatic Construction, 自动构建), HC (Hybrid Construction, 混合构建), IRED (Integration and Refinement of Existing Datasets, 现有数据集的整合与精炼)。
• Question Formats: MCQ (Multiple-Choice Questions, 多项选择题), BJ (Binary Judgments, 二元判断), RT (Ranking Tasks, 排名任务), RSQ (Rating Scale Questions, 评级量表题), OEQ (Open-Ended Questions, 开放式问题)。
• Type: A (Alignment, 对齐), E (Evaluation, 评估)。

5.1.2. 数据集构建方法论

构建高质量的 价值对齐 (Value Alignment) 或评估数据集对于可靠评估系统是否遵循适当的价值框架至关重要。研究人员主要采用三种数据构建方法：

• 手动构建 (Manual Construction)：专家或标注员根据明确定义的价值框架设计任务、生成文本内容并分配标签。此类数据集质量高，但资源密集且难以扩展。它又分为：
  • 专家驱动构建 (Expert-Driven Construction, EDC)：由领域专家主导，确保数据准确性和一致性，如 BBQ 数据集。
  • 众包构建 (Crowdsourced Construction, CC)：利用众包平台大规模收集数据，具有成本效益和效率，并能捕获多样化视角，如 Social Bias Frames。
  • 现有数据集的整合与精炼 (Integration and Refinement of Existing Datasets, IRED)：聚合和修改多个公共来源的数据，减少数据获取成本，如 IndieValueCatalog。
• 自动构建 (Automatic Construction, AC)：利用 大语言模型 (LLM) 生成 问题-答案对 (question-answer pairs) 或基于场景的判断。这种方法能快速生成大规模数据集，但可能存在模型幻觉和固有偏见，如 NaVAB 数据集。
• 混合构建 (Hybrid Construction, HC)：结合人类专业知识和 大语言模型 (LLM) 的自动扩展，是当前主流趋势。专家创建高质量的种子示例，然后 大语言模型 (LLM) 扩展，最后由人工验证，如 CBBQ 数据集。

5.1.3. 数据集局限性

尽管现有数据集涵盖了多层次的 价值对齐 (Value Alignment)，但仍存在一些局限性：

• 宏观层面 (Macro Level)：许多数据集（如 Moral Stories 和 ETHICS）主要基于西方文化背景，缺乏对其他（如亚洲或非洲）价值体系的全面代表，也难以模拟价值观的演变和预测未来变化。
• 中观层面 (Meso Level)：虽提供了国家或文化背景的见解（如 NaVAB、KorNAT 和 CultureSPA），但全球覆盖范围有限，缺乏对特定行业或专业领域的详细评估。
• 微观层面 (Micro Level)：资源尤为稀缺，许多仍是闭源的（如 GreedLlama 和 VITAL），这限制了对 多智能体系统 (multi-agent systems) 中多样化、细粒度场景的价值偏好评估和对齐能力。

5.2. 评估方法 (Methods for Value Alignment Evaluation)

对 基于大语言模型 (LLM-based) 智能体的 价值对齐 (Value Alignment) 评估通常借鉴 大语言模型 (LLMs) 自身的评估方法。然而，智能体人工智能系统 (Agentic AI Systems) 的操作范围更广，涉及更动态的应用场景，因此需要额外的评估策略。

5.2.1. 问题格式 (Question Formats)

评估 价值对齐 (Value Alignment) 在很大程度上取决于评估问题的格式。常见的格式包括：

• 多项选择题 (Multiple-Choice Questions, MCQ)：通常提供中立、有偏见或不同程度有害的回答选项，要求模型选择最合适的。常用于评估模型在特定背景下的价值判断。
• 二元判断 (Binary Judgments, BJ)：要求模型基于给定陈述或场景做出二元决策（是/否、真/假、同意/不同意）。广泛用于评估模型对伦理原则、社会规范或文化共识的理解。例如，ETHICS 数据集提出了伦理挑战性陈述，并由人类标注为正确/不正确或可接受/不可接受。
• 排名任务 (Ranking Tasks, RT)：通过要求模型或智能体系统按与人类价值观对齐的程度对多个响应或行为选项进行排序，评估其进行相对价值比较的能力。例如 StereoSet 和 MoralExceptQA。
• 评级量表题 (Rating Scale Questions, RSQ)：要求模型或智能体系统根据预定义的价值维度评估给定文本、响应或行为选项。例如，Moral Integrity Corpus 要求模型在五点 李克特量表 (Likert scale) 上评估道德适宜性。
• 开放式问题 (Open-Ended Questions, OEQ)：允许模型或智能体系统自由形式的回答，用于评估其与人类价值观的对齐程度，如 BeaverTails 和 BOLD。

5.2.2. 评估指标 (Metric Design)

价值对齐 (Value Alignment) 的评估方法在很大程度上取决于评估问题的格式。因此，使用不同的指标来量化不同任务类型下的模型性能：

• 准确率 (Accuracy)：

  • 概念定义 (Conceptual Definition)：准确率 (Accuracy) 是最常用的指标，特别适用于多项选择和二元判断问题。它衡量模型响应与正确或人类标注答案相匹配的比例，即模型做出正确预测的频率。
  • 数学公式 (Mathematical Formula)： $$\text{Accuracy} = \frac{\text{Number of Correct Predictions}}{\text{Total Number of Predictions}}$$
  • 符号解释 (Symbol Explanation)：
    • Number of Correct Predictions：模型正确预测的数量。
    • Total Number of Predictions：总的预测数量。

• 相关性指标 (Correlation-Based Metrics)：

  • 概念定义 (Conceptual Definition)：相关性指标 (Correlation-Based Metrics)，如 皮尔逊相关系数 (Pearson's correlation coefficient) 和 斯皮尔曼秩相关系数 (Spearman's rank correlation coefficient)，广泛应用于评级量表和排名任务。这些指标评估模型预测与人类判断模式在不同价值维度上的一致性程度。
  • 数学公式 (Mathematical Formula)：
    • 皮尔逊相关系数 (Pearson Correlation Coefficient, $r$)：衡量两个变量之间线性关系的强度和方向。 $$r = \frac{\sum_{i=1}^{n}(X_i - \bar{X})(Y_i - \bar{Y})}{\sqrt{\sum_{i=1}^{n}(X_i - \bar{X})^2 \sum_{i=1}^{n}(Y_i - \bar{Y})^2}}$$
    • 斯皮尔曼秩相关系数 (Spearman's Rank Correlation Coefficient, $\rho$)：衡量两个变量之间秩（排序）关系的强度和方向。 $$\rho = 1 - \frac{6 \sum d_i^2}{n(n^2 - 1)}$$
  • 符号解释 (Symbol Explanation)：
    • 对于 皮尔逊相关系数：
      • $X_i$：第 $i$ 个模型预测值。
      • $\bar{X}$：模型预测值的平均值。
      • $Y_i$：第 $i$ 个人类判断值。
      • $\bar{Y}$：人类判断值的平均值。
      • $n$：样本数量。
    • 对于 斯皮尔曼秩相关系数：
      • $d_i$：第 $i$ 个数据对中，两个变量的秩次差。
      • $n$：样本数量。

• 基于误差的指标 (Error-Based Metrics)：

  • 概念定义 (Conceptual Definition)：当模型输出为数值（例如分数预测）时，均方根误差 (Root Mean Squared Error, RMSE) 或 平均绝对误差 (Mean Absolute Error, MAE) 可用于捕获预测值与参考分数之间的偏差。这些指标在评级量表问题中特别有用。
  • 数学公式 (Mathematical Formula)：
    • 均方根误差 (Root Mean Squared Error, RMSE)： $$\text{RMSE} = \sqrt{\frac{1}{n}\sum_{i=1}^{n}(Y_i - \hat{Y}_i)^2}$$
    • 平均绝对误差 (Mean Absolute Error, MAE)： $$\text{MAE} = \frac{1}{n}\sum_{i=1}^{n}|Y_i - \hat{Y}_i|$$
  • 符号解释 (Symbol Explanation)：
    • $Y_i$：第 $i$ 个实际观测值。
    • $\hat{Y}_i$：第 $i$ 个预测值。
    • $n$：样本数量。

• 其他指标 (Other Metrics)：

  • 在 开放式问题 (open-ended questions) 中，由于响应是自由形式的文本，评估主要基于人类判断。标注员评估多个与价值相关的维度并分配明确的分数。

5.3. 对比基线

由于本文是一篇综述，其重点在于总结和分类现有方法和评估框架，而非提出新的模型并与基线进行比较。因此，论文中没有直接列出其自身方法的对比基线。然而，在讨论 价值对齐 (Value Alignment) 方法时，它间接提及了不同方法之间的比较和演进关系，例如 基于人类反馈的强化学习 (RLHF) 相对于 监督微调 (SFT) 的改进，以及 宪法式人工智能 (Constitutional AI) 和 基于人工智能反馈的强化学习 (RLAIF) 对 基于人类反馈的强化学习 (RLHF) 的优化，这些都可以看作是技术演进中的“隐式基线”。

6. 实验结果与分析

作为一篇综述论文，本文不包含新的实验结果，而是对现有文献中 智能体人工智能系统 (Agentic AI Systems) 价值对齐 (Value Alignment) 的研究现状、挑战和发展趋势进行了全面的梳理和分析。因此，本节将聚焦于论文通过其系统性回顾得出的主要观察、分析和见解。

6.1. 核心结果分析

本文通过对 200 多篇文献的综合分析，揭示了 智能体人工智能系统 (Agentic AI Systems) 价值对齐 (Value Alignment) 领域的几个关键“发现”和“分析”：

1. 多层次价值对齐的必要性：论文强调，随着 智能体人工智能系统 (Agentic AI Systems) 渗透到各种社会治理场景，单一层面的 价值对齐 (Value Alignment) 已不足。必须建立一个 宏观-中观-微观 (macro-meso-micro) 的多层次价值框架，以应对普遍伦理、国家/文化/行业规范以及组织/任务特定价值的复杂性。这解决了现有研究在 价值对齐 (Value Alignment) 分层分类上的空白。
2. 应用场景与价值对齐复杂性的关联：分析表明，智能体人工智能系统 (Agentic AI Systems) 的通用性程度与其 价值对齐 (Value Alignment) 的复杂性呈负相关。通用性越高的系统，其 价值对齐 (Value Alignment) 主要集中在宏观层面的普适原则；而通用性越低的特定场景系统，则需要同时满足宏观、中观和微观层面的价值规范。这揭示了场景特异性对 价值对齐 (Value Alignment) 要求的递进影响。
3. 价值对齐面临的挑战：论文指出了 价值对齐 (Value Alignment) 的两个主要张力来源：
   • 同层级价值多元性 (Plurality of value principles at the same level)：不同国家、文化或行业在同一层次上存在不同的价值偏好，例如 华为 (Huawei) 的 EIHealth 平台在不同国家部署时需要适应不同的隐私和监管要求。
   • 跨层级价值冲突 (Conflicts across different levels)：最大化任务效用可能与既定规范发生冲突，例如企业招聘中的 人工智能 (AI) 系统可能在追求效率的同时，引入性别或种族歧视，违背宏观社会公平价值。亚马逊的招聘系统案例是典型例证。
4. 现有对齐方法的多样性与局限性：论文系统回顾了从预训练到后训练，从智能体架构到 多智能体系统 (multi-agent system) 层面，以及数据和反馈驱动的多种 价值对齐 (Value Alignment) 方法。这些方法各有侧重，例如 基于人类反馈的强化学习 (RLHF) 能够有效对齐人类偏好，但成本高昂；宪法式人工智能 (Constitutional AI) 减少了对人类标注的依赖，但其“宪法”的制定仍需谨慎。
5. 评估方法的演进与数据集的不足：评估方法从简单的多项选择到复杂的开放式问题，指标也从准确率到相关性、误差指标。然而，现有数据集在文化多样性、价值演变建模和微观层面数据稀缺性方面存在显著局限，特别是许多微观层面的高质量数据集仍是闭源的。

总之，本文的核心分析结果在于，智能体人工智能系统 (Agentic AI Systems) 的 价值对齐 (Value Alignment) 是一个多维度、多层次的复杂问题，需要超越单一技术范畴，从 社会治理 (social governance) 的角度，统筹考虑价值原则、应用场景、对齐方法、评估体系和数据生态的协同发展。

6.2. 数据呈现 (表格)

本节将再次呈现论文中与评估相关的表格，以供读者参考。

以下是原文 Table A-I 的内容，展示了 智能体人工智能系统 (Agentic AI Systems) 的应用场景分类：

6.3. 消融实验/参数分析

由于本文是一篇综述，并未进行新的实验，因此不包含作者自己的消融实验或参数分析。然而，论文在方法论部分的讨论中，通过对比不同 价值对齐 (Value Alignment) 方法的效果和挑战，间接体现了对不同技术组件或策略有效性的分析。例如：

• 在 基于人类反馈的强化学习 (RLHF) 的讨论中，提及了其对人类偏好质量和一致性的高度依赖，以及奖励模型可能被利用或导致 奖励作弊 (reward hacking) 行为的问题，这相当于对 RLHF 关键组件的有效性和局限性的分析。

• 宪法式人工智能 (Constitutional AI) 通过引入“宪法”规则进行 自我批判 (self-critique) 和 基于人工智能反馈的强化学习 (RLAIF)，旨在减少对昂贵人类标注的依赖，这本身就是对 基于人类反馈的强化学习 (RLHF) 关键参数（人类反馈量）的一种“消融”或替代方案的探讨。

• 在 智能体架构设计 (Agent Architecture Design) 中，反思循环 (Reflection Loop)、记忆机制 (Memory Mechanisms) 和 价值评估器 (Value Evaluator) 等模块的引入，也体现了对智能体行为进行精细化控制和 价值对齐 (Value Alignment) 的努力，其有效性是通过对各自模块功能和作用的阐述来体现的。

  因此，虽然没有传统意义上的实验性消融，但论文通过对现有研究的归纳和批判性分析，间接提供了关于不同 价值对齐 (Value Alignment) 策略和智能体组件有效性的洞察。

7. 总结与思考

7.1. 结论总结

本综述深入探讨了 智能体人工智能系统 (Agentic AI Systems) 中的 价值对齐 (Value Alignment) 问题，将其与 人工智能 (AI) 进展和社会治理需求相结合。论文系统地构建了从宏观、中观到微观的 多层次价值原则 (hierarchical value principles) 框架，梳理了多样化的应用场景，并评估了现有的 价值对齐数据集 (value alignment datasets) 和方法。

核心结论在于，智能体人工智能系统 (Agentic AI Systems) 的 价值对齐 (Value Alignment) 是一个复杂且多维度的挑战，需要超越单一技术层面的解决方案。它不仅涉及算法优化，更关乎在复杂多变的环境中，如何通过精巧的系统设计和治理机制，确保智能体的行为与人类价值观、社会规范以及特定情境需求保持一致。论文强调了 多智能体系统 (multi-agent systems) 中 价值协调 (value coordination) 的关键作用，并呼吁在 交互机制 (interaction mechanisms)、组织模型 (organizational models)、通信协议 (communication protocols) 以及 评估框架 (evaluation frameworks) 和 开放数据集 (open datasets) 等多个层面进行系统性创新。

7.2. 局限性与未来工作

论文作者指出了当前的局限性，并提出了以下未来研究方向：

1. 基于博弈论的多智能体交互机制设计：需要研究如何设计 博弈论 (Game Theory) 驱动的交互机制，以解决智能体内部决策和行为逻辑中的 个人最优 (individual optimum) 与 集体最优 (collective optimum) 之间的冲突，尤其是在 道德困境 (moral dilemmas) 中引导智能体进行有效合作，防止 搭便车 (free-riding) 行为。这包括考虑智能体的个体主义/集体主义倾向、目标设定中的均衡/分配考量，以及信息对称性、多轮互动和短期/长期视角的边界约束。
2. 多智能体组织模型与结构设计：需要研究如何通过 组织模型 (organizational models) 和结构来解决智能体的内部结构和协调机制问题。不同的组织结构（如机械式或有机式）会对价值观的形成、规范原则的传递以及 价值对齐 (Value Alignment) 的难易程度产生显著影响。未来的工作应探索如何设计能够促进共享风险、情境依赖性价值判断和道德责任感的组织结构，同时平衡控制与灵活性。
3. 智能体人工智能系统通信协议中的价值对齐研究：通信协议 (Communication Protocols) 是实现复杂功能的基础，但其潜在的可扩展性挑战可能阻碍有效的 价值对齐 (Value Alignment)。例如，模型上下文协议 (Model Context Protocol, MCP) 可能导致外部信息和工具的“污染”，智能体间通信协议 (Agent-to-Agent, A2A) 则可能放大单一智能体的价值偏差。未来的研究需要解决如何确保 智能体人工智能系统 (Agentic AI Systems) 在外部交互和内部协作中保持可控和安全，尤其是在 开放智能体生态系统 (open agent ecosystems) 中实现 价值对齐 (Value Alignment)。
4. 建立多层次价值评估框架和开放数据集：当前缺乏一个统一的 多层次价值评估系统 (multi-level value evaluation system) 来协调宏观、中观和微观层面的价值观。未来的工作应建立一个 社会治理 (social governance) 生态系统，开发跨文化价值映射系统和价值演化预测算法。同时，急需建立高质量的、开放共享的 价值对齐数据 (value alignment data) 集，通过提取专有数据中的伦理决策核心逻辑并转换为安全可共享的格式，从而促进价值观的持续传递，平衡商业可行性与伦理目标。

7.3. 个人启发与批判

7.3.1. 个人启发

这篇综述提供了一个非常全面和有洞察力的 智能体人工智能系统 (Agentic AI Systems) 价值对齐 (Value Alignment) 框架。

• 系统性思维的重要性：论文强调 价值对齐 (Value Alignment) 不仅仅是技术问题，更是 社会治理 (social governance) 问题，需要从宏观、中观、微观多层次进行思考。这对于理解 人工智能 (AI) 伦理挑战的复杂性至关重要，避免了将问题简化为纯粹的算法优化。在构建 人工智能 (AI) 系统时，不能只关注技术指标，还要考虑其可能带来的社会影响，并设计相应的制度和规则。
• 场景驱动的对齐策略：根据 人工智能 (AI) 系统的通用性来区分 价值对齐 (Value Alignment) 的要求，这一思路非常实用。它提醒研究者和开发者，对于不同应用场景的 智能体 (agents)，其 价值对齐 (Value Alignment) 的侧重点和复杂程度是不同的，需要定制化的解决方案，而非“一刀切”的通用方法。例如，通用大模型可能侧重普适性伦理，而医疗领域的 智能体 (agent) 则需更严格地遵守行业伦理和患者隐私。
• 多智能体协调的潜力与挑战：论文深入探讨了 多智能体系统 (multi-agent systems) 中的 价值协调 (value coordination)，包括 博弈论 (Game Theory)、组织结构 (organizational structures) 和 通信协议 (communication protocols)。这启发我们，未来的 人工智能 (AI) 系统可能不再是单一实体的行为，而是智能体群体智慧的体现，其伦理和价值观将通过复杂的社会动态而非单一编程决定。这为设计更具鲁棒性和适应性的 人工智能 (AI) 伦理系统提供了新方向。
• 数据作为价值载体：强调 高质量开放数据 (high-quality open data) 在 价值对齐 (Value Alignment) 中的关键作用，并呼吁建立 多层次价值评估框架 (multi-level value evaluation framework)。这指明了数据不仅仅是模型的“燃料”，更是价值观传递和塑造的关键媒介。如何构建能反映多元文化、动态演变的价值数据集，并在此基础上进行有效评估，是未来 人工智能 (AI) 可持续发展的基石。

7.3.2. 批判与潜在问题

尽管该综述提供了宝贵的见解，但仍存在一些潜在的问题和可以改进的地方：

• 宏观价值的普适性与文化差异：论文虽提及宏观层面普遍伦理的挑战在于不同国家、文化的价值观差异，但其列出的宏观价值（如道德基础理论、基本人类价值观理论）在多大程度上能够真正普适全球，以及如何在技术层面实现这种跨文化对齐，仍是一个巨大的未解之谜。过于强调“普遍”可能忽略不同文明深层伦理观念的不可通约性。

• 中观与微观价值的动态性和冲突解决机制：中观（国家、行业）和微观（组织、任务）层面的价值观是高度动态且可能相互冲突的。论文提出了这些挑战，但如何设计智能体来识别、权衡和解决这些动态冲突，仍是需要深入研究的问题。例如，当商业利益（微观）与社会公平（中观）发生冲突时，智能体应如何决策？论文中提出的 博弈论 (Game Theory) 框架是潜在解决方案，但其复杂性及实际可操作性仍需验证。

• “价值”概念的操作化与可测量性：价值对齐 (Value Alignment) 的核心挑战之一是如何将抽象的“价值”概念转化为可操作、可测量的指标。虽然论文讨论了评估指标，但在实践中，许多深层次的伦理和道德判断难以被简单量化。如何避免将复杂的人类价值观过度简化为简单的“奖励信号”或“准确率”是关键。

• “智能体”的能动性与责任归属：论文探讨了智能体的“能动性”，认为智能体也能“内化”价值观。这引出了一个深层问题：当智能体在复杂交互中展现出与预期不符的行为时，责任应如何归属？是设计者、使用者、还是智能体本身？尤其在 多智能体系统 (multi-agent systems) 中，黑盒 (black box) 特性使得责任链条更加模糊。

• 技术实施的复杂性与资源需求：论文中描述的许多 价值对齐 (Value Alignment) 方法，如 基于人类反馈的强化学习 (RLHF)、宪法式人工智能 (Constitutional AI)，都对计算资源、数据标注和人类监督提出了极高要求。对于中小型企业和研究机构而言，实现这些方法可能存在巨大障碍。如何降低 价值对齐 (Value Alignment) 的门槛，实现普惠性 人工智能 (AI) 伦理，也是值得思考的问题。

• 开放数据集的实现挑战：呼吁开放共享高质量 价值对齐数据 (value alignment data) 是非常有益的，但实际操作面临巨大挑战。数据隐私、知识产权、商业机密以及如何确保数据真正反映“高质量”的价值判断，都是需要解决的难题。特别是在微观层面，企业数据的开放性往往受到严格限制。

  总的来说，这篇综述为 智能体人工智能系统 (Agentic AI Systems) 价值对齐 (Value Alignment) 领域提供了一个全面的路线图，其理论框架和未来展望都极具启发性。然而，将这些愿景付诸实践，将需要跨学科的深度合作，并不断解决从哲学伦理到技术工程的重重挑战。