1. 论文基本信息

1.1. 标题

IFEval-Audio: Benchmarking Instruction-Following Capability in Audio-based Large Language Models (IFEval-Audio: 基准测试基于音频的大型语言模型的指令遵循能力)

1.2. 作者

Yiming Gao, Bin Wang, Chengwei Wei, Shuo Sun, AiTi Aw

隶属机构:

• Yiming Gao, Bin Wang, AiTi Aw 隶属于新加坡南洋理工大学 (Nanyang Technological University, NTU)。
• Chengwei Wei 隶属于 MiroMind Institute for Infocomm Research (I2R), A*STAR, Singapore。
• Shuo Sun 隶属于未知机构 (原文符号为 $\diamondsuit$, 未提供具体机构信息)。

1.3. 发表期刊/会议

该论文作为预印本发表在 arXiv 上。预印本在相关领域（特别是快速发展的人工智能和自然语言处理领域）具有重要影响力，允许研究者在正式同行评审发表前分享最新成果，加速知识传播和反馈。

1.4. 发表年份

2025 年。

1.5. 摘要

大型语言模型 (LLMs) 在基于文本的任务中展现出强大的指令遵循 (instruction-following) 能力。然而，这种能力在与图像或音频等非文本模态对齐 (alignment) 后，通常在多模态模型中表现不佳。尽管最近的一些研究已经调查了文本和视觉-语言模型中的指令遵循性能，但基于音频的大型语言模型中的指令遵循能力仍未得到充分探索。为了弥补这一空白，本文引入了 IFEval-Audio，一个新颖的评估数据集，旨在评估音频 LLM 遵循指令的能力。IFEval-Audio 包含 280 个音频-指令-回答三元组 (audio-instruction-answer triples)，涵盖六个不同维度：内容 (Content)、大小写 (Capitalization)、符号 (Symbol)、列表结构 (List Structure)、长度 (Length) 和格式 (Format)。每个示例都将音频输入与文本指令配对，要求模型生成遵循指定结构的输出。论文还在 IFEval-Audio 上对最先进的音频 LLM 进行了基准测试，评估它们遵循涉及音频的指令的能力。该数据集已公开发布，以支持这一新兴领域的未来研究。

1.6. 原文链接

• 原文链接: https://arxiv.org/abs/2505.16774
• PDF 链接: https://arxiv.org/pdf/2505.16774v2.pdf
• 发布状态: 预印本 (Preprint)。

2. 整体概括

2.1. 研究背景与动机

大型语言模型 (LLMs) 在处理文本指令方面表现出了卓越的能力，能够根据给定的指令生成符合特定格式或结构的文本输出。这种“指令遵循”能力是 LLM 泛化性和实用性的关键。然而，当 LLMs 扩展到多模态领域，特别是结合了非文本模态（如图像或音频）时，其指令遵循能力往往会下降。现有针对文本和视觉-语言模型的指令遵循基准（如 IFEval 和 LLaVA-Bench）已经取得了显著进展，但这些基准主要侧重于文本和图像模态，并且通常只评估输出的格式依从性，而较少关注内容的语义正确性。

在音频领域，现有的数据集（如 MMAU 和 SIFT-50M）主要关注语音识别、音频理解等任务，缺乏专门用于评估音频 LLM 复杂指令遵循能力的基准。这意味着，尽管音频 LLMs 在识别和理解音频内容方面可能有所进步，但我们对它们能否根据音频输入和特定指令生成结构化、语义正确的文本输出知之甚少。这种能力的缺失，限制了音频 LLMs 在需要精确指令遵循的应用中的发展。因此，研究的动机在于弥补这一空白，为音频模态的指令遵循能力提供一个全面的评估框架。

2.2. 核心贡献/主要发现

这篇论文的核心贡献是引入了 IFEval-Audio，一个专门用于评估基于音频的大型语言模型指令遵循能力的新型数据集。

具体贡献如下：

• IFEval-Audio 数据集: 提出了包含 280 个音频-指令-回答三元组的数据集，涵盖六个多样化的指令维度（内容、大小写、符号、列表结构、长度、格式），旨在全面测试模型对特定结构和内容要求的遵循能力。

• 双重评估机制: IFEval-Audio 独特之处在于其双重评估方法：不仅通过基于规则的评分评估格式依从性 (Instruction Following Rate, IFR)，还通过基于 LLM 的评估来衡量输出的语义正确性 (Semantic Correctness Rate, SCR)。这提供了比现有基准更全面的模型性能视图。

• 基准测试结果: 在 IFEval-Audio 上对包括 gpt4-audio 和 gemini-1.5 在内的六个最先进的音频 LLM 进行了基准测试。结果揭示了这些模型在不同指令维度下的性能差异，特别是在处理复杂格式和内容约束时的弱点。

• 促进研究: 公开发布 IFEval-Audio 数据集，旨在促进该领域的研究和开发，鼓励构建更强大的音频-语言模型。

  论文的主要发现包括：

• 现有的最先进音频 LLMs 在指令遵循能力上存在显著差距，尤其是在大小写 (Capitalization) 和格式 (Format) 这两个维度上。

• 专有模型 (proprietary models) 如 gpt4-audio 和 gemini-2.0 在总体指令遵循率上表现出领先优势，这可能得益于其更广泛的训练资源和数据整合。

• 开源模型 (open-sourced models) 如 qwen2 和 phi-4 在某些维度上表现不佳，表明它们需要进行有针对性的增强，尤其是在音频-文本整合和精细微调方面。

• 模型在格式依从性 (IFR) 和语义正确性 (SCR) 之间可能存在不匹配，例如 gpt4-audio 在格式维度 IFR 很高但 SCR 相对较低，这表明模型可能能够生成符合格式的输出，但其内容并不完全语义正确。

3. 预备知识与相关工作

3.1. 基础概念

为了理解这篇论文，我们需要了解以下基础概念：

• 大型语言模型 (Large Language Models, LLMs): 这是一种基于深度学习的人工智能模型，通过在海量文本数据上进行训练，学习语言的模式、语法、语义和上下文。它们可以执行多种语言任务，如文本生成、翻译、问答等。
• 指令遵循 (Instruction-Following): 指的是模型根据给定的文本指令（例如“将以下文本总结成三句话”、“以 JSON 格式输出结果”）生成符合特定格式、结构和内容要求的输出文本的能力。这是 LLMs 泛化性和实用性的一个关键方面。
• 多模态模型 (Multimodal Models): 能够处理和理解多种类型数据（或称“模态”）的模型。例如，视觉-语言模型 (Vision-Language Models) 可以处理图像和文本，而音频-语言模型 (Audio-Language Models) 可以处理音频和文本。
• 模态对齐 (Modality Alignment): 在多模态模型中，指将不同模态的数据（如音频和文本）映射到一个共同的表示空间，使得模型能够理解它们之间的关联和互相转换。例如，将音频内容与其对应的文本描述对齐。
• 基准测试 (Benchmarking): 在人工智能领域，指使用标准化的数据集和评估指标来系统地测试和比较不同模型性能的过程。它对于衡量模型进展、识别模型弱点和指导未来研究至关重要。

3.2. 前人工作

论文提及了指令遵循和多模态评估领域的几个关键前人工作：

• 文本模态指令遵循:
  • IFEval (Zhou et al., 2023): 一个针对文本 LLMs 的基准，通过可验证的提示 (verifiable prompts) 严格评估模型生成结构化输出（如编号列表、单句回答）的能力。它主要关注格式依从性。
• 图像模态指令遵循:
  • LLaVA-Bench (Liu ets al., 2023): 评估视觉-语言模型描述视觉内容并遵循预设格式的能力。同样，它主要关注格式依从性。
  • LAMM (Yin et al., 2023) 和 MM-IFEngine (Ding et al., 2025): 多模态框架，扩展了指令遵循到不同模态，但同样主要侧重于格式依从性。
  • MIA-Bench (Qian et al., 2025): 评估多模态指令遵循，但其对音频模态的包含仍然有限。
• 音频领域数据集:
  • MMAU (Sakshi et al., 2025) 和 SIFT-50M (Pandey et al., 2025): 这些数据集支持语音识别 (speech recognition) 和音频理解 (audio understanding) 等任务。然而，它们并没有评估音频模型遵循复杂指令以生成结构化文本输出的能力。
  • Salmonn (Tang et al., 2024): 旨在改善基于音频的 LLMs 的指令遵循能力，但缺乏一个专门的基准来评估结构化指令的依从性。
  • AudioBench (Wang et al., 2025): 一个针对音频大型语言模型的通用基准，IFEval-Audio 在其框架下利用了多样化的音频来源。

3.3. 技术演进

指令遵循能力从早期 LLMs 的简单问答逐渐发展到能够理解并执行复杂结构化输出指令。最初，评估主要集中在文本生成质量和事实准确性。随着模型能力的提升，人们开始关注模型能否严格按照指令的格式要求（如列表、JSON、特定长度）生成内容。多模态模型的出现进一步扩展了这一挑战，要求模型不仅要理解文本指令，还要能将指令应用于非文本输入（如图像、音频），并生成符合指令的文本输出。

然而，在音频领域，这种指令遵循能力的评估一直滞后。大多数音频数据集和模型评估都停留在基本的感知和理解层面（如语音识别、事件检测），而缺乏对更高级的、需要结合指令的结构化响应能力的评估。IFEval-Audio 正是填补了这一空白，将指令遵循评估的严格性引入了音频模态。

3.4. 差异化分析

IFEval-Audio 与现有相关工作的核心区别和创新点在于：

• 模态聚焦: 首次专注于评估基于音频的大型语言模型的指令遵循能力，填补了现有文本和视觉模态基准所忽视的空白。

• 评估范围: 现有的大多数指令遵循基准（如 IFEval 和 LLaVA-Bench）主要评估格式依从性 (format adherence)，而 IFEval-Audio 引入了双重评估方法，同时评估模型的格式依从性 (IFR) 和语义正确性 (SCR)。这意味着模型不仅要输出正确的格式，还要确保输出的内容在语义上与音频输入和指令要求相符。

• 多维度指令: 设计了六个多样化的指令维度（内容、大小写、符号、列表结构、长度、格式），能够更全面地测试模型在不同类型指令约束下的性能，而不仅仅是简单的输出格式。

• 音频多样性: 整合了来自不同来源（语音、音乐、环境声音）的音频数据，确保了评估场景的丰富性和复杂性。

  简而言之，IFEval-Audio 提供了一个更全面、更严格、且专为音频模态设计的指令遵循评估框架，超越了现有工作在模态覆盖和评估深度上的局限。

4. 方法论

IFEval-Audio 数据集旨在评估基于音频的大型语言模型 (LLMs) 的指令遵循能力，关注模型的格式依从性和语义正确性。它由 280 个音频-指令-回答三元组组成，这些三元组分布在六个维度上，用于测试模型根据音频输入生成满足特定结构和内容要求的文本输出的能力。

4.1. 评估维度

IFEval-Audio 涵盖六个维度，每个维度都针对指令遵循能力的一个独特方面：

4.1.1. 内容要求 (Content Requirements)

指令要求在输出中包含、移除或替换特定的关键词。

• 示例: "Include the word 'technology' in your answer" (在你的回答中包含 'technology' 这个词)。

4.1.2. 大小写要求 (Capitalization Requirements)

指令指定大小写规则，如全部大写、全部小写或特定词语首字母大写。

• 示例: "Capitalize the first word of each sentence" (将每个句子的第一个词大写)。

4.1.3. 符号要求 (Symbol Requirements)

指令要求在输出的开头或结尾添加符号、引用输出或移除符号。

• 示例: "Enclose the response in square brackets" (用方括号括起回答)。

4.1.4. 列表结构要求 (List Structure Requirements)

指令规定列表格式，包括阿拉伯数字、罗马数字、英文字母编号或项目符号。

• 示例: "List items using Roman numerals" (使用罗马数字列出项目)。

4.1.5. 长度要求 (Length Requirements)

指令设置字数约束，如上限、下限或范围。

• 示例: "Respond within 10 words" (在 10 个词内回应)。

4.1.6. 格式要求 (Format Requirements)

指令要求特定的输出格式，如 JSON。

• 示例: "Provide the response in JSON format" (以 JSON 格式提供回答)。

4.2. 音频来源和多样性

IFEval-Audio 利用来自不同数据集的音频，以确保模态和上下文的多样性，遵循 AudioBench (Wang et al., 2025) 的框架：

• 语音样本 (Speech Samples):

  • 来源于 Spoken SQuAD (Li et al., 2018) (CC BY-SA 4.0 许可)。
  • TED-LIUM 3 (Hernandez et al., 2018) (CC BY-NC-ND 3.0 许可)。
  • AudioBench (Wang et al., 2025) (继承源许可证)。
  • 这些来源提供了对话和问答场景的音频。

• 音乐和环境声音样本 (Music and Environmental Sound Samples):

  • 来源于 Muchomusic (Weck et al., 2024) (CC BY-SA 4.0 许可)。
  • Wavcaps (Mei et al., 2024) (仅限学术用途)。

4.2.1. 音频剪辑使用

音频剪辑直接来自源数据集，未进行额外的预处理，以确保可复现性。语音音频通常为 20-30 秒，涵盖所有六个维度。音乐/环境声音音频通常为 10 秒，涵盖四个维度（内容、大小写、符号、格式要求）。

4.3. 数据集结构

IFEval-Audio 数据集围绕 280 个音频-指令-回答三元组构建。每个三元组包括：

• 音频输入 (audio input): 从上述指定数据集中获取。
• 文本指令 (text instruction): 针对六个维度中的一个。
• 预期答案 (expected answer): 遵循指令的格式和内容要求。

4.3.1. 数据集分布

数据集分布如下：

• 语音音频 (Speech Audio): 240 个三元组，每个维度 40 个三元组。

• 音乐和环境声音音频 (Music and Environmental Sound Audio): 40 个三元组，在内容、大小写、符号和格式要求四个维度上每个维度 5 个三元组（共 20 个音乐和 20 个环境声音）。

  这种组织方式确保了对各种音频模态中指令遵循挑战的全面覆盖。

以下是原文 Figure 1 展示的指令子类别在各维度内的细分：

该图像是一个图表，展示了指令子类别在不同维度中的分类比例，包括内容（25%）、大写（20%）、符号（15%）、列表结构（15%）、长度（10%）和格式（15%）。

4.4. 标注过程

IFEval-Audio 数据集的构建通过以下细致过程完成：

1. 音频剪辑策展 (Curating Audio Clips): 从指定来源精心挑选音频剪辑，以代表多样化的上下文。
2. 手动设计指令和答案 (Manually Designing Instructions and Answers): 人工设计指令和对应的答案，以全面针对每个评估维度。这包括：

   • 选择音频剪辑: 确保它们代表不同的上下文。

   • 创建指令: 仔细构建指令，以彻底测试六个维度中的每一个。

   • 创建预期答案: 生成与指令和音频输入都对齐的预期答案。

     这种精心策展和设计的方法保证了 IFEval-Audio 作为一个强大的基准，用于评估基于音频的 LLMs 的指令遵循能力。

4.5. 评估设计

IFEval-Audio 中的所有三元组都设计为支持基于规则 (rule-based) 和基于 LLM (LLM-based) 的评估，以评估指令遵循能力。一个判别模型 (judge model) 使用指令、模型输出和参考答案来评估每个三元组。

4.5.1. 基于规则的评分 (Rule-based Scoring)

• 目的: 评估格式依从性 (format adherence)。
• 方法: 应用严格的规则来检查格式，例如验证罗马数字列表。
• 输出:
  • 二元分数 (binary score): 0 或 1 (1 表示正确遵循格式，0 表示不遵循)。
  • 原因 (reason): 解释评分结果。
• 指标: 分数贡献于指令遵循率 (Instruction Following Rate, IFR)，即正确遵循指定格式的输出比例。

4.5.2. 基于 LLM 的评估 (LLM-based Evaluation)

• 目的: 评估语义正确性 (semantic correctness)。
• 方法: 使用 Meta Llama 3 70B (AI@Meta, 2024) 作为判别模型，并使用自定义提示模板 (custom prompt template)。
• 输出:
  • 二元分数 (binary score): 0 或 1 (1 表示语义正确，0 表示不正确)。
  • 原因 (reason): 解释评分结果。
• 指标: 分数贡献于语义正确率 (Semantic Correctness Rate, SCR)，即语义上与参考答案对齐的输出比例。

4.5.3. 总体成功率 (Overall Success Rate, OSR)

• 目的: 衡量模型在格式依从性和语义正确性两方面的综合表现。
• 计算: 当一个三元组的基于规则的评分和基于 LLM 的评分都为 1 时，才被视为成功。OSR 是这种成功输出的比例。

4.5.4. 判别模型提示模板 (Judge LLM Prompt Template)

语义正确性评估使用 Meta Llama 3 70B 作为判别模型。以下是用于每个三元组的提示模板，其中的占位符根据评估的三元组进行填充。

$$[Reference Answer] {reference} [Model Answer] {prediction} [Question] {question} [Task] Rate the model's answer based on its alignment with the reference answer, focusing on the following two aspects: 1. **Correctness**: Assess if the model's answer demonstrates the correct understanding and response based on the [Reference Answer]. Score 0: If the question is regarding to transcriptions, the model's answer is not the same as [Reference Answer]. If the question is not regarding to transcriptions, the model's answer does not accurately reflect the meaning or idea of [Reference Answer]. Score 1: If the question is regarding to transcriptions, the model's answer is exactly the same as [Reference Answer]. If the question is not regarding to transcriptions, the model's answer accurately reflects the meaning or idea of [Reference Answer]. Please provide two separate ratings: 1. **Correctness Rating**: (0 or 1) Your final output should be exactly in this format, you can only modify contents inside brackets. Correctness Rating: (int) Explanation: (Provide a concise explanation for each rating. For **Correctness**, explain if the model's answer is correct and aligns with the reference. For **Instruction-Following**, explain how well the model adhered to the task instructions and any discrepancies.)$$

注意:

• Instruction-Following Rating 是通过一个单独的函数 (format_test) 基于规则计算的，如果预测遵循指定规则（例如，格式、符号），则为 1，否则为 0。
• 只有当两个评级都为 1 时，总体成功才为 1。
• 判别模型的解码参数包括 max_tokens = 512, $n = 1$，并采用确定性设置。

样本三元组及其评估 (以内容要求维度为例):

• 音频输入 (Audio Input): 来自体育评论剪辑，内容为 "with Rivera having been a linebacker with the Chicago Bears in Super Bowl XX, and Kubiak replacing Elway at the end of the Broncos' defeats in Super Bowls XXI and XXIV. This will be the first Super Bowl in which both head coaches played in the game themselves."
• 指令 (Instruction): "What role did Rivera play in Super Bowl xx, and which team did he represent? Replace all occurrences of 'Super Bowl' with 'Championship Game' in your output." (里维拉在超级碗 XX 中扮演了什么角色，他代表哪个球队？在你的输出中，将所有出现的“超级碗”替换为“冠军赛”。)
• 参考答案 (Reference Answer): "Rivera played as a linebacker for the Chicago Bears in Championship Game XX. His role on the team contributed to the Bears' participation in that game, marking his experience as a player in the Championship Game."
• 维度 (Dimension): Content Requirements
• 规则类型 (Rule Type): Replace Keyword
• 规则目标 (Rule Target): Super Bowl
• 模型预测 (Model Prediction): "Ron Rivera played as a linebacker for the Chicago Bears in Championship Game XX."

评估结果:

{
  "question": "What role did Rivera play in Super Bowl Xx, and which team did he represent? Replace all occurrences of 'Super Bowl' with 'Championship Game' in your output.",
  "reference": "Rivera played as a linebacker for the Chicago Bears in Championship Game XX. His role on the team contributed to the Bears' participation in that game, marking his experience as a player in the Championship Game.",
  "model_prediction": "Ron Rivera played as a linebacker for the Chicago Bears in Championship Game XX.",
  "judge_response": "Correctness Rating: 1\nExplanation: The model's answer accurately reflects the meaning of the Reference Answer, correctly stating Rivera's role as a linebacker and his representation of the Chicago Bears in Championship Game XX. The answer is concise and directly answers the question.",
  "correctness_rating": 1,
  "instruction_following_rating": 1,
  "success": 1,
  "dimension": "Content Requirements"
}

• 格式得分 (instruction_following_rating): 1。因为模型根据指令正确地将“Super Bowl”替换为“Championship Game”。
• 语义得分 (correctness_rating): 1。尽管模型在人名中包含了“Ron”，但其输出在意义和事实准确性上与参考答案对齐。

5. 实验设置

5.1. 数据集

实验使用了 IFEval-Audio 数据集，该数据集包含 280 个音频-指令-回答三元组。数据集的特点如下：

• 多样性: 涵盖六个指令遵循维度：内容、大小写、符号、列表结构、长度和格式。
• 音频来源:
  • 语音 (Speech): 来自 Spoken SQuAD (Li et al., 2018)、TED-LIUM 3 (Hernandez et al., 2018) 和 AudioBench (Wang et al., 2025)。这些数据集提供对话和问答场景，有助于评估模型在理解口语内容并基于其生成文本方面的能力。
  • 音乐和环境声音 (Music and Environmental Sound): 来自 Muchomusic (Weck et al., 2024) 和 Wavcaps (Mei et al., 2024)。这些声音类型增加了数据集的复杂性，挑战模型在非语音音频背景下提取信息并遵循指令的能力。
• 分布: 240 个三元组来自语音音频（每个维度 40 个），40 个三元组来自音乐和环境声音音频（内容、大小写、符号、格式四个维度各 5 个音乐和 5 个环境声音）。
• 样本示例:

  • 音频输入 (Original audio input): 一段体育评论剪辑，内容为："with Rivera having been a linebacker with the Chicago Bears in Super Bowl XX, and Kubiak replacing Elway at the end of the Broncos' defeats in Super Bowls XXI and XXIV. This will be the first Super Bowl in which both head coaches played in the game themselves."

  • 文本指令 (Instruction): "What role did Rivera play in Super Bowl xx, and which team did he represent? Replace all occurrences of 'Super Bowl' with 'Championship Game' in your output."

  • 预期答案 (Expected Answer): "Rivera played as a linebacker for the Chicago Bears in Championship Game XX. His role on the team contributed to the Bears' participation in that game, marking his experience as a player in the Championship Game."

    这些数据集的选择旨在全面测试音频 LLM 在不同音频类型和复杂指令下的表现，验证其在多模态理解和指令遵循方面的能力。

5.2. 评估指标

论文使用了以下三个核心评估指标，每个指标都由一个二元分数 (0/1) 贡献：

5.2.1. 语义正确率 (Semantic Correctness Rate, SCR)

• 概念定义: SCR 量化了模型生成输出的语义内容与参考答案的语义内容相符的程度。它关注输出的意义、事实准确性和对指令中隐含的内容要求的理解。如果模型输出的语义与参考答案一致，则得分为 1，否则为 0。
• 数学公式: $$\text{SCR} = \frac{1}{N} \sum_{i=1}^{N} \mathbb{I}(\text{model output}_i \text{ is semantically correct})$$
• 符号解释:
  • $N$: 数据集中三元组的总数。
  • $\mathbb{I}(\cdot)$: 指示函数，当括号内的条件为真时取值为 1，否则取值为 0。
  • $\text{model output}_i \text{ is semantically correct}$: 表示第 $i$ 个模型输出的语义内容被判别模型判定为与参考答案语义一致。

5.2.2. 指令遵循率 (Instruction Following Rate, IFR)

• 概念定义: IFR 衡量了模型输出在格式和结构上严格遵循给定指令要求的比例。它关注输出的结构性属性，如大小写、符号、列表格式、长度限制和 JSON 格式等。如果模型输出完全遵循了指令的格式要求，则得分为 1，否则为 0。
• 数学公式: $$\text{IFR} = \frac{1}{N} \sum_{i=1}^{N} \mathbb{I}(\text{model output}_i \text{ follows instruction format})$$
• 符号解释:
  • $N$: 数据集中三元组的总数。
  • $\mathbb{I}(\cdot)$: 指示函数。
  • $\text{model output}_i \text{ follows instruction format}$: 表示第 $i$ 个模型输出的格式被基于规则的评估判定为完全遵循指令要求。

5.2.3. 总体成功率 (Overall Success Rate, OSR)

• 概念定义: OSR 是最严格的指标，它要求模型输出不仅在格式上遵循指令（IFR），而且在语义内容上也是正确的（SCR）。只有当一个输出同时满足这两个条件时，才被计为成功。OSR 提供了对模型综合能力最全面的评估。
• 数学公式: $$\text{OSR} = \frac{1}{N} \sum_{i=1}^{N} \mathbb{I}(\text{model output}_i \text{ is semantically correct AND follows instruction format})$$
• 符号解释:
  • $N$: 数据集中三元组的总数。
  • $\mathbb{I}(\cdot)$: 指示函数。
  • $\text{model output}_i \text{ is semantically correct AND follows instruction format}$: 表示第 $i$ 个模型输出同时满足语义正确和格式遵循两个条件。

5.3. 对比基线

论文评估了六个最先进的音频-语言模型，这些模型代表了当前领域内的主要技术路径，包括专有模型和开源模型。

• cascade-whisper-large-v3-llama-3-8b-Ins (cascade): 这是一个自定义模型，结合了 Whisper (Radford et al., 2023) 用于语音识别 (speech recognition) 和 Llama 3 8B Instruct (AI@Meta, 2024) 用于语言生成 (language generation)，并进行了额外的微调 (fine-tuning)。这代表了通过集成现有强大组件并进行适应性微调的策略。

• gemini-1.5-flash (gemini-1.5): Google 的 Gemini 1.5 (Team et al., 2024) 模型，通过 Google API 访问，并针对速度进行了优化。这代表了大型专有多模态模型。

• gemini-2.0-flash-exp (gemini-2.0): Google Gemini 模型的实验变体 (Google, 2024)，通过 Google API 访问。这代表了专有模型的最新实验进展。

• gpt-4o-audio-preview (gpt4-audio): OpenAI 的 GPT-4o (OpenAI, 2024) 模型，具备音频能力，通过 OpenAI API 访问。这代表了另一个顶级的专有多模态模型。

• Phi-4-multimodal-instruct (phi-4): 一个基于 Microsoft Phi 系列 (Abdin et al., 2024) 的多模态指令遵循模型。这代表了开源领域中相对较轻量级但功能强大的模型系列。

• Qwen2-Audio-7B-Instruct (qwen2): 阿里巴巴的 Qwen2-7B (Chu et al., 2024) 模型，针对基于音频的指令遵循进行了微调。这代表了另一个强大的开源模型，专注于音频指令遵循。

  这些基线的选择旨在全面比较不同类型和规模的音频 LLM 在 IFEval-Audio 上的表现，包括集成模型、不同代的专有模型和经过特定微调的开源模型。

6. 实验结果与分析

6.1. 核心结果分析

以下是原文 Table 1 详细展示的各个维度下的性能表现：

Table 1: Detailed performance across dimensions: Semantic Correctness Rate (SCR), Instruction Following Rate (IFR), and Overall Success Rate (OSR); Overall Instruction-Following Rate included at bottom.

6.1.1. 各维度分析

• 内容 (Content):

  • gemini-1.5 和 gpt4-audio 在 SCR 上领先 (0.70)，表明它们能更好地理解指令并整合所需内容。
  • phi-4 的 SCR (0.44) 和 IFR (0.44) 较低，暗示其在遵循内容指令方面存在困难，可能与其音频训练数据有限有关。
  • qwen2 的 IFR (0.52) 相对较低，但 SCR (0.60) 尚可，说明其在理解内容语义方面有所表现，但在严格按指令修改内容（如替换关键词）方面仍有不足。

• 大小写 (Capitalization):

  • gemini-1.5 在 IFR 上表现突出 (0.80)，显示其对格式规则（特别是大小写）有很强的依从性，这可能得益于其广泛的多模态训练。
  • qwen2 的 IFR (0.24) 显著最低，表明其在处理特定大小写格式指令时存在较大挑战，可能更侧重于自然语言生成而非严格的格式规范。

• 符号 (Symbol):

  • gemini-2.0 (IFR 0.58) 和 gpt4-audio (IFR 0.52) 表现较好，可能受益于其模型架构或训练数据中的实验性优化。
  • qwen2 (IFR 0.16) 再次垫底，表明其在处理涉及添加、删除或修改符号的指令时，能力非常有限。gemini-1.5 在 IFR 上也较低 (0.28)，这有些出人意料。

• 列表结构 (List Structure):

  • gpt4-audio 在 IFR 上表现最佳 (0.93)，紧随其后的是 phi-4 (0.90) 和 gemini-2.0 (0.83)，这表明这些模型在生成结构化列表（如罗马数字、项目符号）方面非常熟练，这可能与其在结构化文本数据上的训练有关。
  • qwen2 的 IFR (0.50) 再次较低，表明其在遵循复杂列表格式指令时仍有很大提升空间。

• 长度 (Length):

  • 所有模型在该维度上的 IFR 都相对较低，最优秀的是 gemini-1.5 (0.50)，这凸显了 LLM 在严格控制输出长度方面的普遍挑战。
  • qwen2 (0.20) 和 cascade (0.28) 表现不佳，表明它们在处理字数限制方面尤其困难。

• 格式 (Format):

  • gemini-2.0 (IFR 0.94) 和 gpt4-audio (IFR 0.92) 表现出色，这可能归因于它们在大量代码和结构化数据上进行过训练，使其能够生成符合 JSON 等复杂格式的输出。
  • qwen2 的 IFR (0.22) 非常低，主要原因是其输出未能使用标准的双引号 " 进行 JSON 格式化，这表明其在严格遵循特定格式约定方面存在严重缺陷。
  • 值得注意的是，gpt4-audio 在 Format 维度的 IFR 很高 (0.92)，但 SCR (0.70) 相对较低，这揭示了模型虽然能生成正确的格式，但内容可能不完全语义正确，说明格式遵循和语义理解之间存在脱节。

6.1.2. 总体性能

• 总体指令遵循率 (Overall Instruction-Following Rate):
  • gpt4-audio (0.68) 和 gemini-2.0 (0.67) 在所有模型中表现最好，这表明专有模型凭借其庞大的训练数据和计算资源，在音频指令遵循方面具有明显优势。
  • gemini-1.5 (0.65) 也表现强劲。
  • phi-4 (0.53) 表现中等，而 qwen2 (0.30) 显著落后，这表明开源模型在音频模态的指令遵循能力上仍需大量改进。

6.1.3. 结论和启示

IFEval-Audio 的基准测试结果揭示了当前音频 LLMs 在指令遵循能力上的显著差距，尤其是在大小写和格式等严格要求格式的维度上。专有模型（如 gpt4-audio 和 gemini-2.0）表现出更强的能力，这可能是因为它们拥有更丰富的训练数据和更复杂的架构，能够更好地进行多模态对齐。相反，开源模型（如 qwen2 和 phi-4）的性能相对较弱，突显了需要针对这些模型进行更有针对性的微调和音频-文本整合研究。

此外，某些模型在 IFR 和 SCR 之间的不匹配（例如 gpt4-audio 在 Format 维度 IFR 高但 SCR 较低）表明，模型可能能够生成符合格式的输出，但其内容并不总是语义正确。这强调了 IFEval-Audio 双重评估机制的重要性，因为它能够更细致地揭示模型的优点和缺点。该数据集的发布有望推动未来研究，以开发更强大的音频-语言模型。

7. 总结与思考

7.1. 结论总结

本研究引入了 IFEval-Audio 数据集，这是一个由 280 个音频-指令-回答三元组组成的新型基准，旨在评估基于音频的大型语言模型 (LLMs) 的指令遵循能力。该数据集涵盖六个不同的指令维度：内容、大小写、符号、列表结构、长度和格式。IFEval-Audio 的独特之处在于其双重评估机制，同时衡量模型的格式依从性 (IFR) 和语义正确性 (SCR)，从而弥补了现有文本和图像多模态 NLP 基准在音频指令遵循方面的空白。

通过对六个最先进的音频 LLMs 进行实验，结果揭示了这些模型在指令遵循能力上的显著差异。其中，gpt4-audio 和 gemini-1.5 等专有模型表现出领先优势，这可能得益于其庞大的训练资源和数据整合。然而，所有模型在处理某些复杂格式和严格约束（如长度和特定格式要求）方面仍然存在明显弱点。特别是像 qwen2 这样的开源模型在多项指标上表现不佳，凸显了其在音频-文本整合和指令遵循方面的提升空间。IFEval-Audio 的公开发布旨在鼓励社区在该领域开展进一步创新，推动更强大的音频-语言模型的发展。

7.2. 局限性与未来工作

论文作者指出了 IFEval-Audio 及其评估方法的几个局限性：

• 数据集规模和复杂性:

  • 数据集包含 280 个人工制作的三元组，虽然设计精良，但可能未能完全捕捉现实世界音频场景的复杂性。
  • 音频仅限于英语，限制了其在多语言上下文中的适用性。
  • 音频种类（语音、音乐、环境声音）虽然多样，但受限于源数据集（如 Spoken SQuAD, TED-LIUM 3），可能遗漏了更广泛的声学多样性（例如非英语语音或罕见的环境声音）。

• 评估方法限制:

  • 判别模型依赖: 基于 LLM 的语义评估依赖于 Meta Llama 3 70B 作为判别模型，这引入了判别模型本身的偏见和局限性，尤其是在理解音频衍生上下文方面。

  • ASR 错误与指令遵循失败的耦合: 评估未明确区分自动语音识别 (ASR) 或感知错误与指令遵循失败。这意味着转录不准确可能会主导语义评估结果，使得难以判断模型是真的未能理解指令，还是因为初步的音频转录错误导致了后续失败。

    针对这些局限性，作者提出了未来的工作方向：

• 数据集扩展: 计划扩大数据集的规模和语言多样性。

• 评估鲁棒性改进: 旨在提高评估的鲁棒性，以更好地反映现实世界中音频指令遵循的挑战，包括更明确地区分 ASR 错误和指令遵循失败。

7.3. 个人启发与批判

7.3.1. 个人启发

这篇论文提供了一个非常及时且重要的基准，填补了多模态 LLM 评估领域的一个关键空白。对我而言，最大的启发在于：

1. 评估粒度的重要性: IFEval-Audio 的双重评估机制（IFR 和 SCR）是其亮点。它清晰地表明，仅仅关注格式依从性是不够的，内容的语义正确性同样重要。这对于设计未来的多模态模型及其训练策略具有指导意义：模型不仅要“看起来正确”，还要“实质上正确”。
2. 多模态对齐的挑战: 专有模型（如 GPT-4o 和 Gemini）的领先地位，以及开源模型在某些维度上的明显不足，凸显了高质量多模态数据、强大基础模型和精细对齐技术的重要性。对于开源社区而言，如何在有限资源下实现与专有模型相媲美的多模态能力，仍是一个巨大的挑战。
3. 音频模态的复杂性: 相比于图像，音频模态的指令遵循可能更具挑战性，因为它涉及时间序列数据、背景噪声、语音识别的固有误差等。论文的发现证实了这些挑战，并为未来研究指明了方向。

7.3.2. 批判

尽管 IFEval-Audio 是一项有价值的贡献，但我认为仍有一些可以改进或深入探讨的方面：

1. ASR 错误影响的量化: 论文承认评估未明确区分 ASR 错误和指令遵循失败。未来的工作应尝试量化 ASR 错误对整体性能的影响。例如，可以设计一个对照实验，使用手动校正的转录文本作为 LLM 的输入，与直接从音频获得的转录进行比较。这样可以更清晰地分离 ASR 的瓶颈与 LLM 理解指令的瓶颈。
2. 指令复杂性与歧义性: 尽管指令维度多样，但指令本身的复杂性和潜在歧义性也可能影响结果。例如，“在 10 个词内回应”这样的指令，模型如何处理“词”的定义（是基于空格还是语义单元）可能会有差异。未来可以对指令进行更细致的分类，例如简单指令、复杂指令、模棱两可指令等，并分析模型在不同复杂程度下的表现。
3. 判别模型的偏见分析: 依赖 LLM 作为判别模型（Llama 3 70B）本身可能引入偏见。虽然这是目前评估生成模型的一种常见方法，但对判别模型在评估过程中可能存在的偏见进行更深入的分析和缓解策略（例如，通过多判别器投票或人类交叉验证）会增加评估结果的可靠性。
4. 长音频/复杂音频场景: 20-30 秒的语音和 10 秒的音乐/环境音虽然有一定多样性，但现实世界中的音频可能更长、更复杂，包含多说话人、多事件交织等。未来数据集可以考虑纳入这些更具挑战性的场景，以更全面地测试模型的鲁棒性。
5. 跨模态泛化能力: 论文主要关注音频到文本的指令遵循。未来研究可以探索模型能否将从文本或图像中学到的指令遵循能力泛化到音频模态，或者反之。这有助于理解多模态 LLMs 内部的知识转移机制。