1. 论文基本信息

1.1. 标题

Playing Pretend: Expert Personas Don't Improve Factual Accuracy (扮演游戏：专家人设并不能提高事实准确性) —— 这是《提示工程科学报告》(Prompting Science Report) 系列的第四篇。

1.2. 作者

Savir Basil, Ina Shapiro, Dan Shapiro, Ethan Mollick, Lilach Mollick, Lennart Meincke。 作者团队主要来自宾夕法尼亚大学沃顿商学院的生成式人工智能实验室 (Generative AI Labs)，其中 Ethan Mollick 是 AI 应用领域的知名学者。

1.3. 发表期刊/会议

该报告属于技术研究报告系列，目前发布于 SSRN 等学术预印本平台及实验室官网。虽然不是传统学术会议论文，但其研究方法严谨，且在 AI 提示工程 (Prompt Engineering) 实践领域具有极高的参考价值。

1.4. 发表年份

2025年1月1日 (根据提供的元数据)。

1.5. 摘要

本文探讨了在大语言模型 (LLM) 中，通过分配特定的“专家人设” (Expert Personas，例如“你是一名物理学教授”) 是否能提高模型在困难客观题上的表现。研究人员测试了六种主流模型（如 GPT-4o, Gemini 2.0 Flash 等），使用了包含研究生水平科学、工程和法律问题的基准测试集。结果发现：分配领域专家人设对准确性几乎没有显著提升；分配不匹配的人设有时会降低性能；而分配低知识人设（如“4岁小孩”）则通常会损害模型表现。结论是：人设提示主要改变输出的语气，而非事实准确性。

1.6. 原文链接

点击查看原文 PDF

---

2. 整体概括

2.1. 研究背景与动机

在提示工程 (Prompt Engineering) 的日常实践中，许多官方指南（如 Google 的 Vertex AI、OpenAI 的开发文档、Anthropic 的建议）都推荐使用 角色提示 (Role Prompting)，即告诉 AI “你是一个 [某领域的专家]”。

• 核心问题: 这种“角色扮演”真的能让 AI 变得更聪明、回答得更准确吗？
• 现有挑战: 虽然直觉上认为专家角色会关联到更高质量的推理模式，但先前的独立研究结论不一：有的研究说有用，有的说没用。
• 研究切入点: 本文专注于“高难度事实准确性”。如果 AI 面对 PhD 级别的问题，通过“假装自己是教授”能否显著压榨出更多的性能潜能？

2.2. 核心贡献/主要发现

1. 否定了“人设神话”: 在绝大多数模型和任务中，专家人设对事实准确性的提升为零。

2. 低知识负面影响: 告诉 AI 它是“幼儿”或“外行”确实会显著降低其表现，表明 AI 会在一定程度上“调低”自己的能力以符合角色设定。

3. 拒答风险: 特别是在 Gemini 系列模型中，不匹配的专家人设（让物理学家答生物题）会导致模型因“缺乏相关专业背景”而拒绝回答，反而降低了整体得分。

4. 模型差异: Gemini 2.0 Flash 是唯一一个在某些专家提示下表现出微弱改进的模型，但这并非普遍规律。

   ---

3. 预备知识与相关工作

3.1. 基础概念

• 人设提示 (Persona Prompting): 在提示语的开头加入一段描述 AI 身份的文字。例如：“你是一位世界级的化学专家，拥有深厚的有机化学背景。”
• 零样本提示 (Zero-shot Prompting): 直接向模型提问，不提供任何参考例子。本文采用此方法是为了隔离“人设”本身的影响。
• 基准测试 (Benchmarks):
  • GPQA Diamond: 这是一个“防止谷歌搜索” (Google-Proof) 的研究生水平问答集，题目极难，甚至非该领域的 PhD 专家在有网络辅助的情况下也只能达到约 $34\%$ 的准确率。
  • MMLU-Pro: 传统 MMLU 的增强版，问题更难，且选项从 4 个增加到 10 个，大幅降低了蒙对的概率。

3.2. 相关工作

作者回顾了先前的研究：

• Kong et al. (2024): 认为角色扮演能改善推理。
• Zheng et al. (2024): 发现系统提示中的人设并不能可靠地提高事实准确性。 本文的工作处于这一技术争论的脉络中，通过更大规模的实验（每道题跑 25 次，总计成千上万次运行）来提供更具统计学意义的证据。

---

4. 方法论

4.1. 方法原理

研究的核心思想是：通过对比基线提示 (Baseline Prompt) 与各类人设提示 (Persona Prompt) 在相同题目上的平均得分 (Average Rating)，观察是否存在统计学上的显著差异。

4.2. 核心方法详解 (逐层深入)

4.2.1. 提示策略拆解

作者将提示分为三类：

1. 领域内专家 (In-Domain Experts): 人设与问题领域完美匹配（如：物理专家答物理题）。
2. 领域外专家 (Off-Domain/Unrelated Experts): 人设与问题领域完全无关（如：物理专家答法律题）。
3. 低知识人设 (Low-Knowledge Personas): 设定为缺乏知识的角色（如：“你是外行”、“你是 4 岁幼儿”）。

4.2.2. 数据流与执行逻辑

对于每一道题目，执行以下流程：

1. 组合提示: 将 [人设文字] + [题目内容] + [选项] + [格式要求] 拼接。
2. 多轮采样: 为了抵消 AI 输出的随机性，每种配置重复运行 25 次。
3. 计算准确率: $$\text{Average Rating} = \frac{\sum_{i=1}^{n} C_i}{n}$$ 其中，$n$ 是独立运行的次数（本研究中 $n=25$），$C_i$ 是第 $i$ 次运行的结果（正确为 1，错误为 0）。

4.2.3. 采样温度 (Sampling Temperature)

作者使用了较高的采样温度 $T = 1.0$。

• 解释: 温度参数控制生成文本的随机性。$T=0$ 时 AI 总是选概率最高的词，结果固定；$T=1.0$ 时 AI 更具创造力。作者选择高温度是为了通过 25 次采样的分布来捕捉模型真实的“知识边界”，而非单一路径的偶然结果。

  ---

5. 实验设置

5.1. 数据集

作者展示了两个基准测试的样本，如下图（原文 Table S1）： 以下是原文 Table S1 的结果：

5.2. 评估指标

1. 平均得分 (Average Rating): 25 次尝试的平均正确率。
2. 100% 正确 (100% Correct): 极其严格的指标，要求该题目在 25 次测试中必须全部答对。 $$\text{Metric} = 1 \text{ if } \left( \sum_{i=1}^{25} C_i = 25 \right) \text{ else } 0$$
3. 90% 正确 (90% Correct): 容许少量错误，需答对 23/25 次。
4. 51% 正确 (51% Correct): 多数投票原则，需答对 13/25 次。

5.3. 实验模型

测试了六种代表性模型：

• GPT-4o / GPT-4o-mini: OpenAI 的旗舰及轻量化模型。

• o3-mini / o4-mini: OpenAI 最新的推理型模型（带思维链）。

• Gemini 2.0 Flash / Gemini 2.5 Flash: Google 的高性能实时模型。

  ---

6. 实验结果与分析

6.1. 核心结果分析

实验结果非常一致：绝大多数专家人设对性能没有显著影响。

下图（原文 Figure 1）展示了各模型在不同人设下的表现：

该图像是一个图表，展示了GPQA Diamond（上）和MMLU-Pro（下）在不同提示下的问题正确回答比例。图中对比了多种专家和低知识角色的表现，显示大部分情况下人物角色对准确性没有显著影响。

6.1.1. 专家人设的无效性

从图中可以看出，大部分专家提示（如物理专家、数学专家）的柱状图高度与“基线 (Baseline)”持平。这意味着，仅仅告诉模型它是专家，并不能魔法般地激活它原本不具备的知识。

6.1.2. 低知识人设的“负收益”

“幼儿 (Toddler)”提示在几乎所有模型上都显著降低了准确率。

• 原因分析: 模型在微调过程中被教会要“符合指令”。当它被要求扮演幼儿时，它会故意模拟幼儿的无知，甚至在它明明知道正确答案的情况下选择错误选项或拒绝给出专业答案。

6.1.3. 领域匹配分析

下图（原文 Figure 2）分析了将专家人设与问题领域对齐的效果：

该图像是一个图表，展示了在物理、化学、生物、工程和法律等多个领域中，各种领域相关提示变体下的问题回答正确比例（平均值）。图表中比较了基线、在领域专家、相邻专家和不相关专家的表现。

结果表明：

• 领域对齐无效: 在物理题中分配“物理专家”人设，其表现并不优于分配“数学专家”或“不相关专家”。
• 拒答行为: 在 Gemini 2.5 Flash 中，如果给它一个“不相关专家”的人设（如用经济学专家答物理题），模型会频繁拒绝回答，声称自己“缺乏相关专业背景”。这导致了其准确率在相关实验组中大幅下滑。

6.2. 统计数据详情

以下是原文 Table S2 (GPQA Diamond) 的部分关键对比数据：

指标解释:

• 率差 (RD - Rate Difference): 表示两种条件下准确率的百分比差值。负值表示人设表现不如基线。

• P值 (p-value): 统计显著性指标。通常 $p < 0.05$ 认为结果不是偶然的。可以看到，专家人设的 $p$ 值通常很大（不显著），而低知识人设的 $p$ 值非常小（显著变差）。

  ---

7. 总结与思考

7.1. 结论总结

这篇论文有力地反驳了“提示工程中必须加入人设”的迷思。研究证明：

• 专家人设对于提高客观事实准确性几乎没有帮助。
• 人设更多是改变输出的“语气”和“风格”，而非内在逻辑或知识。
• 错误的人设会引入“幻觉”或“拒答”风险。

7.2. 局限性与未来工作

• 任务局限性: 研究只测试了客观多选题，没有涉及创意写作、客服对话等更依赖“风格”的任务。在那些任务中，人设可能依然非常关键。
• 提示词深度: 虽然作者尝试了更复杂的专家描述，但可能还存在某种特定的、能激发推理的专家描述方式未被发现。

7.3. 个人启发与批判

• 实用启发: 对于企业和开发者来说，不要再浪费时间在提示语里堆砌冗长的“你是一位拥有30年经验的...”描述了，除非你想改变 AI 说话的语气。你应该把精力花在提供更好的指令 (Instructions)、例子 (Examples) 或 检索增强生成 (RAG) 上。
• 批判性思考: 为什么低知识人设有用（变笨），而高知识人设没用（没变聪明）？这反映了 LLM 的本质——它不能超越训练数据的知识上限，但它可以为了顺从指令而向下兼容。 这也提醒我们，当前的对齐 (Alignment) 技术可能在某种程度上束缚了模型的表现。