m3P: Towards Multimodal Multilingual Translation with Multimodal Prompt
TL;DR 精炼摘要
本文提出m3P框架,利用多模态提示将视觉上下文作为语言无关表示,促进102种语言的多模态多语言翻译。通过条件视觉-语言记忆对齐多语言语义空间,在低资源环境下显著提升翻译质量,优于纯文本和现有多模态方法。
摘要
Multilingual translation supports multiple translation directions by projecting all languages in a shared space, but the translation quality is undermined by the difference between languages in the text-only modality, especially when the number of languages is large. To bridge this gap, we introduce visual context as the universal language-independent representation to facilitate multilingual translation. In this paper, we propose a framework to leverage the multimodal prompt to guide the Multimodal Multilingual neural Machine Translation (m3P), which aligns the representations of different languages with the same meaning and generates the conditional vision-language memory for translation. We construct a multilingual multimodal instruction dataset (InstrMulti102) to support 102 languages. Our method aims to minimize the representation distance of different languages by regarding the image as a central language. Experimental results show that m3P outperforms previous text-only baselines and multilingual multimodal methods by a large margin. Furthermore, the probing experiments validate the effectiveness of our method in enhancing translation under the low-resource and massively multilingual scenario.
思维导图
论文精读
中文精读
论文基本信息 (Bibliographic Information)
- 标题 (Title):
m3P: Towards Multimodal Multilingual Translation with Multimodal Prompt (m3P:迈向基于多模态提示的多模态多语言翻译) - 作者 (Authors): Jian Yang, Hongcheng Guo, Yuwei Yin, Jiaqi Bai, Bing Wang, Jiaheng Liu, Xinnian Liang, Linzheng Chai, Liqun Yang, Zhoujun Li
- 作者机构 (Author Affiliations):
- * State Key Lab of Software Development Environment, Beihang University (北京航空航天大学软件开发环境国家重点实验室)
- Department of Computer Science, University of British Columbia (不列颠哥伦比亚大学计算机科学系)
- 发表期刊/会议 (Journal/Conference): 预印本 (Preprint),发布于
arXiv - 发表年份 (Publication Year): 2024
- 摘要 (Abstract):
多语言翻译 (Multilingual translation) 通过将所有语言投影到一个共享空间来支持多种翻译方向,但由于纯文本模态下语言间的差异,尤其是在语言数量庞大时,翻译质量会受到影响。为了弥补这一差距,本文引入视觉上下文 (visual context) 作为通用的语言无关表示 (language-independent representation),以促进多语言翻译。
本文提出了一个利用多模态提示 (multimodal prompt) 来指导多模态多语言神经机器翻译 (Multimodal Multilingual neural Machine Translation, m3P) 的框架。该框架旨在将不同语言的表征对齐到相同的语义空间,并生成条件视觉-语言记忆 (conditional vision-language memory, CVLM) 以供翻译使用。为支持102种语言,研究者构建了一个多语言多模态指令数据集 (multilingual multimodal instruction dataset, InstrMulti102)。本文方法旨在通过将图像视为一种中心语言 (central language) 来最小化不同语言表征之间的距离。实验结果表明,
m3P在性能上显著优于此前的纯文本基线方法和多语言多模态方法。此外,探究性实验 (probing experiments) 验证了本文方法在低资源 (low-resource) 和大规模多语言 (massively multilingual) 场景下增强翻译的有效性。 - 原文链接 (Source Link): https://arxiv.org/abs/2403.17556
PDF 链接 (PDF Link): https://arxiv.org/pdf/2403.17556v1.pdf
发布状态 (Publication Status): 预印本 (Preprint),发布于
arXiv。发布时间为 UTC 2024-03-26T10:04:24.000Z。
整体概括 (Executive Summary)
研究背景与动机 (Background & Motivation - Why)
传统的多语言神经机器翻译 (Multilingual Neural Machine Translation, MNMT) 模型虽然能将多种语言的翻译整合到一个共享模型中,但纯文本模态 (text-only modality) 下不同语言之间的固有差异,尤其是在支持大量语言时,会严重损害翻译的质量。现有的多模态机器翻译 (Multimodal NMT) 工作大多集中在双语翻译上,未能有效解决大规模多语言场景下的对齐问题。图像作为一种语言无关 (language-agnostic) 的语义表示,被直观地认为可以作为连接不同语言的通用桥梁。然而,如何有效地利用图像作为这种“通用路由器”来弥合多语言翻译中的差距,是一个尚未充分探索的问题。论文的动机在于明确地利用视觉信息,通过一种系统化的方式,将图像作为一种中心语言 (central language),来显式地对齐不同语言的文本表示,从而提升大规模多语言翻译的质量,尤其是在低资源语言和多对多翻译方向上。
核心贡献/主要发现 (Main Contribution/Findings - What)
本文的核心贡献在于提出了一种名为 m3P 的多模态多语言神经机器翻译 (Multimodal Multilingual Neural Machine Translation) 框架,其主要发现和贡献包括:
- 提出
m3P框架: 该框架通过引入多模态提示 (multimodal prompt),利用通用的视觉特征来指导多语言翻译,从而实现多对多 (many-to-many) 的翻译方向。它能有效地将不同语言的文本表示与图像的语义对齐,生成条件视觉-语言记忆 (Conditional Vision-Language Memory, CVLM)。 - 利用视觉上下文作为中心语言:
m3P显式地将图像视为一种中心语言 (central language),通过多语言多模态对比学习 (Multilingual Multimodal Contrastive Learning, MMCL),将不同语言的文本表示与图像表示拉近,从而在共享语义空间中最小化语言间的差异。 - 构建
InstrMulti102数据集: 为了支持和评估大规模多语言多模态翻译,研究者基于Multi30k数据集构建了一个包含102种语言的多语言多模态指令数据集 (InstrMulti102),极大地扩展了现有基准的语言覆盖范围。 - 显著提升翻译性能: 实验结果表明,
m3P在Multi30k和InstrMulti102等数据集上,相较于纯文本基线和现有的多语言多模态方法,实现了显著的 BLEU 分数提升(例如,在Multi30k上提升约 BLEU 点,在InstrMulti102上提升近4BLEU 点)。 - 验证模型鲁棒性与有效性: 通过探究性实验 (probing experiments),验证了
m3P在低资源场景下和文本信息缺失(如文本掩码)情况下对翻译质量的增强作用,以及其在对齐不同语言和图像语义方面的有效性。特别是,即使在源语言完全被掩码的情况下,m3P也能通过视觉上下文进行图像描述,显示出其强大的多模态理解能力。
预备知识与相关工作 (Prerequisite Knowledge & Related Work)
本节将介绍理解 m3P 框架所需的背景知识、相关工作及其技术演进,并分析 m3P 相较于现有方法的差异与创新。
基础概念 (Foundational Concepts)
- 神经机器翻译 (Neural Machine Translation, NMT):
NMT是一种利用神经网络进行机器翻译的方法,通常采用编码器-解码器 (Encoder-Decoder) 架构。编码器将源语言句子编码成一个连续的表示向量(或向量序列),解码器则根据这个向量生成目标语言句子。Transformer模型是当前NMT领域的主流架构。 - 多语言神经机器翻译 (Multilingual Neural Machine Translation, MNMT):
MNMT旨在用一个单一模型处理多种语言对的翻译任务。这通常通过共享模型参数、使用语言特定的词元 (token) 或在输入中添加目标语言符号 (symbol) 来指示翻译方向实现。其优势在于可以利用所有语言的数据进行联合训练,从而改善低资源语言的翻译质量。然而,大规模多语言MNMT往往会遇到灾难性遗忘 (catastrophic forgetting) 或 负迁移 (negative transfer) 等问题,导致翻译性能下降。 - 多模态神经机器翻译 (Multimodal Neural Machine Translation, MMT):
MMT是一种将额外模态信息(如图像、视频)引入NMT模型以辅助翻译的方法。它利用视觉上下文来解决文本歧义 (text ambiguity)、提升翻译质量,尤其是在源文本信息不完整或模糊时。传统的MMT主要关注双语翻译。 - Transformer 模型:
Transformer是一种基于自注意力 (Self-Attention) 机制的神经网络架构,广泛应用于自然语言处理和计算机视觉任务。它由编码器和解码器组成,每个部分都包含多层多头自注意力 (Multi-Head Self-Attention) 和前馈网络 (Feed-Forward Network)。其核心优势在于能够并行处理输入序列,并有效捕捉长距离依赖关系。Attention(注意力) 机制的核心思想是计算输入序列中不同部分的重要性权重,并根据这些权重对信息进行加权聚合。它的通用计算公式如下: 其中:- (Query): 查询矩阵,由当前词的表示乘以一个权重矩阵 得到。
- (Key): 键矩阵,由所有词的表示乘以一个权重矩阵 得到。
- (Value): 值矩阵,由所有词的表示乘以一个权重矩阵 得到。
- : 计算查询与所有键的点积,表示查询与每个键的相似度。
- : 缩放因子,用于防止点积过大,导致
softmax函数梯度过小。 是键向量的维度。 - : 归一化函数,将相似度分数转换为权重分布。
- : 将计算出的权重应用于值矩阵,得到加权后的信息表示。
- 对比学习 (Contrastive Learning):
对比学习是一种自监督学习范式,旨在通过学习对相似数据点进行编码,使其在表示空间中相互靠近,同时将不相似数据点推开。常用的损失函数是InfoNCE(Information Noise-Contrastive Estimation) 损失,它通过最大化正样本对之间的互信息和最小化负样本对之间的互信息来学习有效的表示。 - 大型语言模型 (Large Language Model, LLM):
LLM是具有数亿到数万亿参数的深度学习模型,通过在大规模文本数据上进行预训练,学习语言的统计规律和语义信息。它们能够执行文本生成、问答、摘要等多种任务。指令微调 (Instruction Tuning) 是一种常见的LLM训练技术,通过在各种任务的指令-响应对上微调模型,使其更好地理解和遵循人类指令。
前人工作 (Previous Works)
- 纯文本
MNMT:- Arivazhagan et al. (2019) 和 Yang et al. (2021a) 提出了通过共享参数在单一模型中支持多种翻译方向的
MNMT模型。 - Fan et al. (2021) 提出的
MNMT模型在所有多语言数据上进行联合训练,并通过在输入句子前缀添加目标语言符号来指示翻译方向。 - 这些工作主要在语言模态上进行对齐增强和对比学习 (Pan et al., 2021; Yang et al., 2021b; Winata et al., 2021; Gong et al., 2021)。
- Arivazhagan et al. (2019) 和 Yang et al. (2021a) 提出了通过共享参数在单一模型中支持多种翻译方向的
- 多模态机器翻译 (MMT):
- 早期的
MMT工作(如 Caglayan et al., 2018; Yao and Wan, 2020; Yin et al., 2020)侧重于将图像特征通过不同的注意力机制(如交叉注意力)融合到编码器-解码器架构中,以增强翻译。 - Li et al. (2021a, 2022) 提出了使用门控融合 (Gated Fusion) 和拼接 (Concatenation) 单元来融合视觉上下文,以及选择性注意力 (Selective Attention) 来关联词语和图像块。
- Guo et al. (2022b) 提出了
LVP-M3,使用语言感知视觉提示 (language-aware visual prompt) 来指导多模态翻译。 - 这些工作主要关注双语或小规模多语言
MMT,并且通常只隐式地通过共享参数将不同语言联系起来。
- 早期的
技术演进 (Technological Evolution)
该领域的技术演进经历了从双语 NMT 到多语言 NMT,再到多模态 NMT,最终发展到 m3P 所代表的多模态多语言 NMT。
- 双语
NMT(Bilingual NMT): 最早的NMT专注于处理单一语言对的翻译。 - 多语言
NMT(MNMT): 为了减少模型数量和利用多语言数据,研究者开始探索训练一个模型来翻译多种语言。然而,这引入了语言差异导致的质量下降问题。 - 多模态
NMT(MMT): 为了解决纯文本NMT的局限性(如词义消歧),图像等视觉信息被引入,以提供额外的语义上下文。这在双语设置中显示出潜力。 - 多模态多语言
NMT(Multimodal Multilingual NMT):m3P正是针对这一最新方向。它结合了MNMT和MMT的优点,旨在将视觉上下文的优势扩展到大规模多语言翻译场景中,通过将图像作为一种通用的、语言无关的中心语言 (central language) 来显式地对齐不同语言的表示。
差异化分析 (Differentiation)
m3P 与相关工作的主要区别和创新点在于:
- 显式语言对齐: 多数
MNMT模型仅仅通过共享参数隐式地将不同语言联系起来,存在语言间差距。m3P通过多语言多模态对比学习 (MMCL),将图像作为中心语言 (central language),显式地拉近不同语言文本表示与图像表示之间的距离,从而在共享语义空间中对齐它们。 - 大规模多语言支持: 现有
MMT主要关注双语翻译。m3P将多模态翻译扩展到大规模多语言场景 (102种语言),并为此构建了InstrMulti102数据集。 - 多模态提示 (Multimodal Prompt) 机制:
m3P引入了多模态提示机制,无论是编码器-解码器模型还是解码器-only模型 (如Llama2),都利用这种提示来引导翻译,更好地融合视觉和语言信息。 - 条件视觉-语言记忆 (CVLM) 的生成: 通过语言特征查询视觉特征的交叉注意力机制,生成融合了语言和视觉信息的
CVLM,作为解码器的输入,这比简单的拼接或门控融合更为精细。 - 多模态丢弃网络 (Multimodal DropNet, MDropNet) 训练策略: 采用交替训练的策略,既能专注于文本翻译,也能进行图像描述,并在训练后期融合两者,保证了模型的鲁棒性,即使在文本缺失时也能依赖视觉信息。
方法论 (Methodology - Core Technology & Implementation Details)
m3P 框架旨在通过多模态提示和对比学习,将视觉上下文作为一种“中心语言”,以促进大规模多语言翻译。
方法原理 (Methodology Principles)
m3P 的核心思想是利用图像作为一种语言无关 (language-independent) 的语义表示 (semantic representation),来弥合不同语言文本表征之间的差距。通过将图像视为连接所有语言的“通用路由器”或“中心语言”,模型能够将不同语言的文本表示对齐到一个共享的、多模态的语义空间中。这通过两个主要机制实现:多语言多模态对比学习 (MMCL) 和条件视觉-语言记忆 (CVLM)。同时,通过多模态提示 (multimodal prompt) 机制,将视觉和语言输入以统一的方式呈现给模型,进一步引导模型进行多模态理解和翻译。
方法步骤与流程 (Steps & Procedures)
如图 2 所示,m3P 模型由跨语言语言编码器 (cross-lingual language encoder)、视觉 Transformer 编码器 (vision Transformer encoder) 和多语言语言解码器 (multilingual language decoder) 组成。
该图像是一个示意图,展示了论文中多模态多语言翻译框架m3P的模型结构。图中包括图像分块输入、视觉编码器、跨语言编码器、条件视觉语言记忆模块(CVLM)及多语言语言解码器,体现了通过对齐不同语言表示以提升翻译性能的思路。
图 2: m3P 模型框架示意图。 表示语言特征,由 个词元构成。将原始图像 重塑为 个图像块,并编码为 。通过 和 ,采用多语言多模态对比学习 (MMCL) 来最小化不同语言的 与 之间的距离,这极大地促进了共享空间内的多语言多模态一致性。以图像词元作为 (key,value) 的条件,语言特征作为查询来执行多头交叉注意力,生成融合多模态信息的 作为最终的编码器状态,用于多语言翻译。
-
输入处理:
- 给定第 对句子 和对应的图像 。
- 文本输入: 源句子 会在其前面加上目标语言符号(例如,
[En]或[De]),以指示翻译方向。 - 图像输入: 图像 (高 、宽 、通道 )。
-
多模态编码 (Multimodal Encoding):
- 语言编码: 使用跨语言预训练语言模型 (cross-lingual pre-trained language model) (如
XLM-R) 作为语言 Transformer 编码器,对带有目标语言前缀的源文本序列进行编码,得到语言表示 。 - 视觉编码: 将图像 重塑为一系列展平的图像块 (flattened patches),然后使用视觉 Transformer 编码器 (vision Transformer encoder) (如
CLIP) 对这些图像块进行编码,得到视觉表示 。 - 多模态提示 (Multimodal Prompt):
- 编码器-解码器 (Encoder-Decoder) 设置 (如图 3(b)): 文本词元 和图像词元 分别输入到文本编码器和视觉编码器中。
- 解码器-only (Decoder-only) 设置 (如图 3(a)): 视觉模型先提取视觉词元,然后这些视觉词元与文本指令、源语言、目标语言等一起拼接成一个完整的提示,作为大型语言模型 (如
Llama2) 的输入。
- 语言编码: 使用跨语言预训练语言模型 (cross-lingual pre-trained language model) (如
-
多语言多模态对齐 (Multilingual Multimodal Alignment) - MMCL: 为了显式地对齐多语言文本和视觉特征,
m3P引入了多语言多模态对比学习 (MMCL)。它将图像视为通用语言,通过对比学习最小化多语言文本表示与图像表示之间的距离,从而鼓励在共享语义空间中实现多语言多模态的一致性。 -
条件视觉-语言记忆 (Conditional Vision-Language Memory, CVLM): 在对齐之后,模型需要将视觉信息融合到语言流中。这里使用多头交叉注意力 (multi-head cross-attention) 机制。根据论文的描述,语言特征 作为查询 (query),而视觉特征 作为键 (key) 和值 (value)。通过这种方式,语言信息可以根据图像上下文的重要性来关注视觉信息,生成融合了两种模态信息的条件视觉-语言记忆 (CVLM) 。这个 作为最终的编码器状态,包含了丰富的多模态信息。
-
多语言生成 (Multilingual Generation) - 解码: 最终,多语言语言解码器 (multilingual language decoder) 接收
CVLM作为其注意力机制的输入(作为键和值),并根据其先前的生成词元 序列地预测目标翻译 的下一个词元 。 -
多模态多语言增强 (Multilingual Multimodal Augmentation, MMA): 为了提高对比学习的鲁棒性,模型采用了数据增强技术。
- 图像增强: 对原始图像进行裁剪、缩放、旋转、剪切、颜色失真、高斯模糊和 Sobel 滤波等操作,并采用掩码图像建模 (masked image modeling),随机掩码图像块。
- 文本增强: 对多语言文本随机掩码连续词元跨度。 增强后的图像和文本 (, ) 用于增强对比学习,帮助模型学习特定的表示不变性。
-
多模态丢弃网络 (Multimodal DropNet, MDropNet) 训练策略: 模型采用了一种特殊的训练策略,以 的时间分别专注于纯文本翻译(基于 )和图像描述(基于 ),而在 的时间里则使用融合了多模态信息的
CVLM进行翻译。这使得模型能够学习三种不同的翻译/生成模式,确保了在不同场景下(例如,文本缺失时进行图像描述)的灵活性和鲁棒性。
数学公式与关键细节 (Mathematical Formulas & Key Details)
1. 多语言多模态翻译目标 (Multilingual Multimodal Translation Objective)
对于包含图像的多语言语料库 ,其中 是第 个语言对的图像-句子对。模型的目标是最小化以下负对数似然 (negative log-likelihood) 损失:
其中:
- : 语言对的数量。
- : 第 个语言对的训练数据集。
- : 第 个源句子。
- : 第 个目标句子。
- : 第 个对应图像。
- : 在给定源句子 和图像 的条件下,模型参数 下生成目标句子 的概率。
- : 多模态多语言模型的共享参数。
2. 多语言多模态对齐 (Multilingual Multimodal Alignment) - MMCL
MMCL 使用 InfoNCE 损失来学习图像与文本之间的对应关系。它包含两部分:图像到文本的相似度损失和文本到图像的相似度损失。
其中:
-
: 文本到图像的对比损失。
-
: 图像到文本的对比损失。
-
: 包含采样的多语言图像-文本对的数据集。
具体地,图像到文本的对比损失 (论文中表述为 ,但根据上下文和典型
InfoNCE实现,应是query为图像,key/value为文本):
其中:
-
: 表示 和 之间的相似度,通常是点积 () 或余弦相似度。
-
: 温度超参数 (temperature hyper-parameter)。
-
: 与图像 对应的正样本文本嵌入 (positive embedded text clip)。
-
: 包含正样本 和一批次中其他负样本文本嵌入 的集合。
对称地,文本到图像的对比损失 (论文中表述为 ,但根据上下文,应是
query为文本,key/value为图像):
其中:
-
: 与文本 对应的正样本图像嵌入。
-
: 包含正样本 和一批次中其他负样本图像嵌入 的集合。
注: 论文中公式 和 的分母写法似乎有混淆(均写成了 ),这里按照标准
InfoNCE的对称性进行了修正,即分母应包含与当前查询模态不同的模态的负样本。
3. 温度采样 (Temperature-based Sampling)
为了平衡不同双语语料库在训练批次中的贡献,采用温度采样方法来选择语言对:
其中:
- : 抽取第 个数据集 的概率。
- : 数据集 的大小。
- : 总数据集的大小。
- : 采样温度 (sampling temperature),逐渐从初始值 升高到峰值 。其计算公式为 ,其中 是当前
epoch数, 是预热epoch数。
4. 条件视觉-语言记忆 (Conditional Vision-Language Memory, CVLM)
CVLM 是通过多头交叉注意力机制生成的,它融合了语言和视觉信息。根据论文的描述,语言特征 作为查询 (Query, Q),而视觉特征 作为键 (Key, K) 和值 (Value, V)。
论文中给出的公式: 注: 论文中此公式的表达与文字描述存在矛盾。文字描述为“Conditioned on the image tokens as (key,value), the language features as the query attend the...”,这意味着语言特征 应该是查询 ,视觉特征 应该是键 和值 。而上述公式中 作为第一个项,更像是视觉特征在充当查询。为了与文字描述一致,并符合标准交叉注意力的模式,一个更符合描述的公式形式应为: 由于论文明确给出了公式,这里将严格按照论文给出的公式进行解释,但会指出其与文字描述的潜在冲突。
根据论文给出的公式进行符号解释:
- : 生成的条件视觉-语言记忆,作为最终的编码器表示。
- : 表示将 个注意力头的输出进行拼接 (concatenation) 操作。
- : 表示
softmax函数。 - : 分别是第 个注意力头的查询 (Query) 和值 (Value) 的线性投影矩阵。
- : 视觉表示 (vision representations)。在公式中似乎充当查询。
- : 语言表示 (language representations)。在公式中似乎充当键和值。
- : 特征通道数,在注意力公式中通常是键向量维度 。
5. 多语言生成目标 (Multilingual Generation Objectives)
模型在训练期间可以根据不同的输入进行生成:
- 纯文本翻译 (Text-only Translation): 仅基于源语言表示 生成目标词元。
其中: 是标准
Transformer解码器, 是第 个目标词元, 是之前t-1个目标词元序列。 - 纯图像描述 (Image Captioning): 仅基于视觉上下文 生成目标词元。
- 多模态翻译 (Multimodal Translation): 基于条件视觉-语言记忆 生成目标词元。 MDropNet 策略: 训练时,模型在纯文本翻译和纯图像描述目标上各训练 的时间,在多模态翻译目标上训练 的时间。
6. 总体训练目标 (Overall Training Objective)
m3P 通过联合最小化多语言多模态对比学习目标和翻译目标来优化:
其中:
- : 总体损失函数。
- : 多语言多模态翻译目标(负对数似然损失)。
- : 多语言多模态对比学习损失。
- : 平衡翻译目标和对比学习目标的系数。
实验设置 (Experimental Setup)
数据集 (Datasets)
-
Multi30k:
- 来源与特点: 一个广泛使用的多模态机器翻译基准数据集 (Elliott et al., 2016)。包含英文 (En)、德文 (De)、法文 (Fr) 和捷克文 (Cs) 四种语言。每对句子都有对应的图像。
- 规模:
- 训练集 (Training set): 29,000 个句子对。
- 验证集 (Validation set): 1,000 个句子对。
- 测试集:
- Flickr2016
- Flickr2017
- Flickr2018
- MSCOCO (Lin et al., 2014; Barrault et al., 2018): 这是一个域外 (out-of-domain) 数据集,包含歧义动词,对
MMT模型更具挑战性,因为它更依赖图像上下文进行消歧。
- 选择原因: 作为标准基准,用于与现有方法进行公平比较,验证在多语言多模态场景下的性能提升。
-
InstrMulti102:
- 来源与特点: 一个大规模的多语言多模态机器翻译数据集,由本文研究者构建。它是在
Multi30k的基础上扩展而来。 - 构建方法: 使用纯文本的多语言 Microsoft 翻译器 (multilingual Microsoft translator) (Yang et al., 2021a) 将
Multi30k中的英文数据翻译成其他 101 种语言,从而构建了包含 102 种语言的扩展数据集。 - 选择原因: 用于验证
m3P在大规模多语言 (massively multilingual) 场景下的有效性和可扩展性,突破现有MMT仅限于少数语言的限制。
- 来源与特点: 一个大规模的多语言多模态机器翻译数据集,由本文研究者构建。它是在
评估指标 (Evaluation Metrics)
-
BLEU (Bilingual Evaluation Understudy):
BLEU是一种广泛用于评估机器翻译质量的指标。它通过比较机器翻译的输出与一组人工参考译文之间的N-gram(连续词序列) 重叠度来衡量翻译的流畅性和忠实度。-
概念定义 (Conceptual Definition):
BLEU的核心思想是,机器翻译的质量越高,其输出的N-gram与高质量人工参考译文中的N-gram重叠度就越高。它关注的是翻译的精确度 (precision),即机器译文中正确的N-gram占总N-gram的比例。为了惩罚过短的机器译文(因为短译文更容易获得高精确度),BLEU还引入了简短惩罚因子 (Brevity Penalty, BP)。 -
数学公式 (Mathematical Formula):
BLEU的计算公式如下: 其中,简短惩罚因子 (Brevity Penalty, BP)的计算公式为: (N-gram 精度) 的计算公式为: -
符号解释 (Symbol Explanation):
- : 最终的
BLEU分数,通常介于 0 到 1 之间(常表示为 0 到 100)。 - : 简短惩罚因子 (Brevity Penalty)。
- : 机器译文的总词长 (candidate length)。
- : 与机器译文最匹配的参考译文的有效总词长 (effective reference length),通常选择与机器译文长度最接近的参考译文长度。
- : 考虑的最大
N-gram长度,通常取 4(即计算 1-gram 到 4-gram 的精度)。 - :
N-gram权重的集合,通常均匀分布,即 。 - : 机器译文与参考译文之间
n-gram的修正精度 (modified precision)。- : 在机器译文中出现的
n-gram,其计数被限制为在任何一个参考译文中出现的最大次数。这防止了重复生成常见词语来虚增分数。 - : 在机器译文中出现的
n-gram的总次数。
- : 在机器译文中出现的
sacreBLEU是一个标准的BLEU实现,用于确保不同实现之间的结果可复现性。本文使用的是区分大小写的detokenized sacreBLEU。
- : 最终的
-
对比基线 (Baselines)
为了全面评估 m3P 的性能,研究者将其与多种纯文本和多模态基线模型进行了比较:
-
纯文本方法 (Text-only Methods):
- BiNMT (Vaswani et al., 2017) (XLM-R 初始化): 基于
Transformer架构,使用XLM-R(Conneau et al., 2020) 初始化,并仅针对单一翻译方向进行训练。代表了标准的双语文本翻译。 - MNMT (Fan et al., 2021): 在所有多语言数据上联合训练的
Transformer模型。通过在输入句子前缀添加目标语言符号来指示翻译方向。代表了先进的纯文本多语言翻译。
- BiNMT (Vaswani et al., 2017) (XLM-R 初始化): 基于
-
多模态方法 (Multimodal Methods):
-
BiNMT (Vaswani et al., 2017) (视觉特征拼接): 基础的双语
Transformer模型,通过简单地将语言特征和视觉特征进行拼接 (concatenation) 来融合多模态信息。 -
MNMT (Gated Fusion) (Li et al., 2021a): 使用门控融合 (gated fusion) 单元来整合视觉上下文,以增强多语言翻译。
-
MNMT (Concatenation) (Li et al., 2021a): 通过拼接方式整合视觉上下文的多语言翻译模型。
-
mRASP2 (Pan et al., 2021): 一种在多模态翻译中应用了纯文本对比学习 (text-only contrastive learning) 方案的方法。
-
Selective Attn (Li et al., 2022): 使用单头注意力网络 (single-head attention network) 将词语与图像块关联起来。
-
LVP-M³ (Guo et al., 2022b): 利用语言感知视觉提示 (language-aware visual prompt) 来指导多模态翻译。
共同初始化: 为了公平比较,所有语言编码器都使用
XLM-R(Conneau et al., 2020) 进行初始化,所有视觉编码器都使用CLIP(Radford et al., 2021) 进行初始化。
-
训练和评估 (Training and Evaluation)
- 模型架构:
- 编码器-解码器设置: 模型包含一个语言编码器和一个视觉编码器,两者都由
XLM-R(Conneau et et al., 2020) 和CLIP(Radford et al., 2021) 初始化。 - 解码器-only 设置: 使用
Llama2(Liu et al., 2023b) 进行文本生成,CLIP进行视觉特征提取。 - 整个模型(视觉编码器、语言编码器和语言解码器)都由 12 层组成,隐藏层大小为 768,并共享相同的嵌入矩阵。
- 编码器-解码器设置: 模型包含一个语言编码器和一个视觉编码器,两者都由
- 优化器: 使用
Adam优化器,参数设置为 ,。 - 学习率: 初始学习率为 ,并采用 4,000 步的预热 (warm-up) 策略。
- 损失函数: 使用标签平滑交叉熵 (label smoothing cross-entropy) 损失,平滑比率为 0.1。
- 批量大小 (Batch Size): 多语言训练的批量大小为 2048 个词元 (tokens)。
- 硬件: 在 8 块
Tesla V100 GPU上进行训练。 - 评估指标: 采用区分大小写的
detokenized sacreBLEU。
实验结果与分析 (Results & Analysis)
核心结果分析 (Core Results Analysis)
m3P 在多个测试集和场景下均表现出显著优势。
-
Flickr 测试集 (Table 1 & Table 2):
m3P在 6 个翻译方向上显著优于多语言基线。纯文本MNMT平均表现不如双语翻译。- 虽然
MNMT(Gated Fusion) 和Concatenation引入了图像作为辅助上下文,但它们忽略了不同语言间的显式对齐。 mRASP2采用了文本-文本对比学习来缩小语言表示之间的差距。m3P通过Transformer编码器提取视觉和语言特征,并通过MMCL和CVLM在共享空间中融合它们进行翻译,实现了大幅提升。- 值得注意的是,
M3P (Decoder-only)版本通常比M3P (Encoder-Decoder)版本表现更好,尤其是在Flickr2016上,平均 BLEU 分数达到 49.9,相较于最佳基线提升了约 3 BLEU 点,这表明将多模态提示与大型语言模型相结合的潜力。
-
MSCOCO 测试集 (Table 2):
MSCOCO是一个更具挑战性的域外数据集,其歧义动词更依赖图像上下文进行消歧。m3P在MSCOCO上超越了双语基线,验证了其在复杂和域外场景中,通过融合文本和图像信息来提高翻译能力的有效性。M3P (Decoder-only)版本再次表现出最强的性能。
-
大规模多语言翻译 (Table 3):
- 在
InstrMulti102上,所有带有视觉上下文的多语言模型都优于纯文本基线。这强调了图像信息作为辅助上下文在大规模多语言翻译中带来的显著改进,BLEU 分数提升了近 4 点。 m3P (Decoder-only)版本以 21.2 的平均 BLEU 分数再次领先,显示了其在大规模多语言场景下的强大性能。这表明ViT编码器提取的不同语言的视觉特征被成功投影到共享语义空间中。
- 在
数据呈现 (表格)
以下是原文中所有表格的转录。
Table 1: En and En evaluation results for bilingual and many-to-many models on the Flickr2016 test set. (表 1: Flickr2016 测试集上双语 (1→1) 和多对多 (N→N) 模型在 En 和 En 翻译方向上的评估结果。)
| En→Fr | En→Cs | En→De | Fr→En | Cs→En | De→En | Avg6 | ||
|---|---|---|---|---|---|---|---|---|
| Only Trained on Text Data | ||||||||
| 1→1 | BiNMT (Vaswani et al., 2017) | 63.3 | 33.4 | 39.9 | 54.0 | 41.1 | 43.8 | 45.9 |
| N→N | MNMT r (Fan et al., 2021) | 63.8 | 34.0 | 40.2 | 52.0 | 41.3 | 42.5 | 45.6 |
| Trained on Text and Vision Data | ||||||||
| 1→1 | BiNMT (Vaswani et al., 2017) | 63.5 | 33.0 | 40.3 | 55.1 | 41.8 | 44.1 | 46.3 |
| N→N | MNMT (Gated Fusion) (Li et al., 2021a) | 63.8 | 34.4 | 41.0 | 51.5 | 41.1 | 43.3 | 45.8 |
| MNMT (Concatenation) (Li et al., 2021a) | 63.0 | 33.8 | 38.8 | 53.3 | 43.6 | 44.0 | 46.1 | |
| mRASP2 (Pan et al., 2021) | 63.8 | 34.4 | 41.3 | 53.2 | 44.0 | 44.5 | 46.9 | |
| Selective Attn (Li et al., 2022) | 63.5 | 34.4 | 41.3 | 53.2 | 44.0 | 44.5 | 46.8 | |
| LVP-M³ (Guo et al., 2022b) | 63.4 | 34.1 | 41.4 | 53.2 | 44.0 | 44.5 | 46.8 | |
| M3P (Encoder-Decoder) | 64.8 | 35.2 | 41.8 | 53.8 | 44.8 | 45.0 | 47.6 | |
| M3P (Decoder-only) | 66.4 | 38.1 | 43.5 | 56.7 | 46.9 | 48.1 | 49.9 |
Table 2: En and En evaluation sulal and many-to-many models on the Flickr2017 test set and MSCOCO test set. (表 2: Flickr2017 测试集和 MSCOCO 测试集上双语 (1→1) 和多对多 (N→N) 模型在 En 和 En 翻译方向上的评估结果。)
| En→Fr | En→De | De→En | Fr→En | Avg4 | En→Fr | En→De | Fr→En | De→En | Avg_4 | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Flick2017 | MSCOCO | ||||||||||||||||||||
| Only Trained on Text Data | |||||||||||||||||||||
| 1→1 | BiNMT (Vaswani et al., 2017) | 55.4 | 34.1 | 39.2 | 43.4 | 43.0 | 45.8 | 32.1 | 40.6 | 34.3 | 38.2 | ||||||||||
| N→N | MNMT (Fan et al., 2021) | 56.8 | - | 40.3 | 44.6 | 44.2 | 45.9 | 31.9 | 41.6 | 34.6 | 38.5 | ||||||||||
| Trained on Text and Vision Data | |||||||||||||||||||||
| 1→1 | BiNMT (Vaswani et al., 2017) | 55.8 | - | 39.6 | 43.6 | 43.4 | 45.8 | 32.3 | 41.6 | 34.4 | 38.5 | ||||||||||
| MNMT (Gated Fusion) (Li et al., 2021a) | - | 34.6 | - | - | - | 46.8 | - | - | 34.5 | 39.0 | |||||||||||
| MNMT (Concatenation) (Li et al., 2021a) | 56.8 | 34.3 | 40.3 | 44.2 | 43.9 | 46.4 | 32.5 | 42.2 | 34.1 | 38.9 | |||||||||||
| mRASP2 (Pan et al., 2021) | 56.4 | 34.0 | 39.4 | 43.8 | 43.4 | 46.6 | 32.6 | 42.4 | 34.8 | 39.2 | |||||||||||
| Selective Attn (Li et al. 2022) | 56.6 | 35.1 | 39.6 | 44.1 | 43.9 | 47.1 | 32.7 | 42.5 | 34.3 | 39.0 | |||||||||||
| LVP-M³ (Guo et al., 2022) | - | 34.2 | 40.4 | 44.7 | 44.2 | 46.8 | 32.5 | 42.6 | 34.5 | 39.1 | |||||||||||
| M3P (Encoder-Decoder) | 57.4 | 35.3 | 42.2 | 46.5 | 46.1 | 47.4 | 33.1 | 43.2 | 35.2 | 39.6 | |||||||||||
| M3P (Decoder-only) | 58.3 | 37.2 | 43.8 | 48.0 | 46.8 | 48.3 | 34.2 | 44.5 | 36.2 | 40.6 | |||||||||||
Table 3: Massively multilingual translation average results (101 translation directions) on InstrMulti102. (表 3: InstrMulti102 上大规模多语言翻译的平均结果 (101 个翻译方向)。)
| Model | Zh→En | Hi→En | Th→En | Avg101 |
|---|---|---|---|---|
| Text-only MNMT | 14.3 | 13.5 | 11.1 | 14.3 |
| MNMT (Gated Fusion) | 15.2 | 14.3 | 12.1 | 15.4 |
| MNMT (Concatenation) | 15.1 | 14.6 | 13.1 | 15.8 |
| M3P (Encoder-Decoder) | 16.8 | 15.2 | 14.8 | 18.2 |
| M3P (Decoder-only) | 18.2 | 16.4 | 16.5 | 21.2 |
消融实验/参数分析 (Ablation Studies / Parameter Analysis)
- 不同视觉骨干网络 (Backbones) 的性能 (Table 4):
- 研究者比较了
m3P使用不同视觉骨干网络(包括CNN和Transformer骨干)在Flickr2016测试集上的结果。 - 结果:
Transformer骨干网络 (例如ViT-B/32,ViT-B/16,ViT-B/14) 普遍优于CNN网络 (例如ResNet50,ResNet101)。这表明Transformer架构在统一视觉和语言数据方面具有优势。 - ViT 尺寸影响:
ViT-B/14(更小的图像块尺寸) 取得了更好的性能,但生成了更长的视觉词元,增加了计算量。为了效率和性能的平衡,论文推荐使用ViT-B/32(效率优先) 或ViT-B/16(性能优先) 作为视觉编码器骨干。
- 研究者比较了
Table 4: Comparison of different vision backbones (e.g., CNN and Transformer backbones) on the Flickr2016 test set. (表 4: Flickr2016 测试集上不同视觉骨干网络 (例如,CNN 和 Transformer 骨干网络) 的比较。)
| Model | En→Fr | En→De | Fr→En | De→En |
|---|---|---|---|---|
| Text-only MNMT | 63.8 | 40.2 | 52.0 | 42.5 |
| ResNet50 | 64.2 | 40.6 | 52.3 | 43.1 |
| ResNet101 | 64.4 | 40.8 | 52.4 | 43.4 |
| ViT-B/32 | 64.8 | 41.6 | 53.8 | 45.0 |
| ViT-B/16 | 65.1 | 41.8 | 53.6 | 44.8 |
| ViT-B/14 | 65.2 | 41.9 | 53.4 | 45.2 |
- 不同模块的效应 (Effect of Different Modules) (Table 5):
- 消融研究证实了
m3P中每个提出模块的显著贡献。 - 多语言训练 (Multilingual Training) ( vs. ): 从双语模型 () 到多语言训练模型 (),性能有所提升,这表明多语言数据有助于模型学习更泛化的表示。
- 多模态丢弃网络 (MDropNet) ( vs. ): 引入
MDropNet(交替训练策略)进一步提升了性能,表明通过随机训练视觉或语言词元增强了模型对多模态输入的处理能力。 - 条件视觉-语言记忆 (CVLM) ( vs. ):
CVLM的引入(利用语言词元作为查询,视觉词元作为键和值进行交叉注意力)带来了性能提升,证明了这种精细的视觉-语言融合机制的有效性。 - 多语言多模态对比学习 (MMCL) ( vs. ): 最后,加入
MMCL显式地缩小了不同语言间的差距,使模型性能达到最佳 (\textcircled{1}$ \ \mathbf{m}^3 \mathbf{P})。 - 总结: 实验结果验证了渐进式学习 (progressive learning) 的有效性,每个组件都从不同方面逐步提升了模型的性能。
- 消融研究证实了
Table 5: Ablation study of the different modules on Flickr2016. is the final model of our method. (表 5: Flickr2016 上不同模块的消融研究。 是本文方法的最终模型。)
| ID | Flickr2016 | En→De | De→En |
|---|---|---|---|
| M³P (our method) | 41.6 | 45.0 | |
| - MMCL | 41.2 | 44.6 | |
| - CVLM | 40.8 | 44.0 | |
| - MDropNet | 40.5 | 43.8 | |
| - Multilingual Training | 40.1 | 43.2 |
分析 (Analysis)
-
不同语言的距离 (Distance of Different Languages) (Figure 4):
-
通过
t-SNE(van der Maaten and Hinton, 2008) 将语言编码器最后一层的句子表示降维到 2D 空间进行可视化。 -
结果: 纯文本
MNMT无法有效地对齐四种语言的表示,它们在特征空间中分布较散。而m3P在图像上下文的监督下,将三种语言的表示拉得更近,形成更紧密的聚类。这直观地证明了图像作为通用语言 (universal language) 有助于缩小多语言之间的语义距离。
该图像是图表,展示了多语言基线模型(a)与本研究基于图像上下文监督的多语言模型(b)中所有语言的句子平均编码器表示的可视化。图中颜色代表不同语言,显示模型对语言表示的聚类效果差异。
图 4: 多语言基线模型 (a) 和受图像上下文监督的多语言模型 (b) 中所有语言的句子平均编码器表示的可视化。每种颜色代表一种语言。
-
-
低资源设置 (Low-resource Setting) (Figure 5):
-
通过抽取不同比例 ( 到 ) 的训练数据来模拟低资源场景,比较
m3P和纯文本MNMT的性能。 -
结果: 在并行数据量较小时,纯文本基线模型的表现不佳。而
m3P在数据量较少时(例如,在 的数据上微调的m3P甚至优于在全部数据上训练的基线模型),其性能显著优于基线。这表明m3P在低资源场景下具有强大的鲁棒性和有效性,能够更好地利用有限的数据。
该图像是论文中图5的四个子图,展示了本文方法与文本仅多语种机器翻译(Text-only MNMT)在Flickr2016数据集上,英法(a)、英德(b)、法英(c)、德英(d)方向不同训练数据规模下的BLEU得分对比曲线。
图 5:
Flickr2016上不同训练数据规模下m3P模型的性能,包括 (a) 英-法、(b) 英-德、(c) 法-英 和 (d) 德-英。 -
-
视觉-语言对齐 (Vision-Language Alignment) (Figure 6):
-
通过可视化条件视觉-语言对齐 (CVLM) 中不同语言源句子与图像块之间的交叉注意力热力图,来验证
MMCL的对齐效果。 -
结果: 如图 6 所示,不同语言(如英语、德语)的句子,即使表达方式不同,但在描述相同图像区域时(例如,“jagged rocks” 和 “zerklüfteten Felsen”),其交叉注意力模式会集中在图像中相同或相似的视觉区域上。这有力地证明了
m3P通过MMCL和CVLM成功地迫使模型学习了相似的视觉-语言注意力模式,并将不同语言投影到相同的语义空间中。
该图像是图像识别与文本多语言对齐的示意图,展示了四种语言(英语、德语、法语、捷克语)在图像不同区域的视觉注意力热力图,颜色越亮表示注意力值越高,体现了多语言视觉语义层面对齐效果。
图 6: 来自四种语言的
CVLM中视觉-语言对齐的代表性示例,显示了图像块之间的注意力分布。颜色越亮代表注意力值越高。 -
-
视觉上下文的健全性检查 (Sanity Check on Visual Context) (Figure 7):
-
通过在不同比例 ( 到 ) 掩码源句子的实验,比较
m3P和纯文本MNMT。 -
结果: 当源句子被掩码时,视觉上下文为翻译提供了补充信息。纯文本
MNMT的性能在文本掩码后显著下降,甚至在 掩码时无法翻译。而m3P即使在所有源词元都被掩码的极端情况下,仍能通过视觉表示进行图像描述(得益于MDropNet训练策略),并且其性能远超MNMT(在 掩码时甚至领先近 15 BLEU 点)。这清晰地强调了视觉上下文在文本信息不完整时提供补充信息、增强翻译鲁棒性的必要性和有效性。
该图像是图7,是一组折线图,展示了在不同文本掩码比例下,文本单模MNMT与所提方法m³P的BLEU分数比较。图中方法在各掩码比例下均优于文本单模MNMT,体现了多模态提示的优势。
图 7: 文本仅
MNMT与m3P在不同源句子掩码比例下的比较。 -
总结与思考 (Conclusion & Personal Thoughts)
结论总结 (Conclusion Summary)
本文提出了一种名为 m3P 的多模态多语言机器翻译 (Multimodal Multilingual Machine Translation) 模型,旨在通过利用图像上下文来克服纯文本多语言翻译的局限性。m3P 框架的核心创新点在于将图像视为一种中心语言 (central language),并通过多语言多模态对比学习 (Multilingual Multimodal Contrastive Learning, MMCL) 有效地对齐不同语言的文本表示与图像表示。生成的条件视觉-语言记忆 (Conditional Vision-Language Memory, CVLM) 随后被用于指导多语言生成。为了支持大规模研究,研究者还构建了一个包含 102 种语言的多语言多模态指令数据集 (InstrMulti102)。
实验结果强有力地证明了 m3P 的优越性,其性能显著超越了现有的纯文本基线和多语言多模态方法。此外,探究性实验进一步验证了 m3P 在低资源、大规模多语言以及文本信息缺失等具有挑战性的场景下的有效性和鲁棒性,突出了视觉信号在多语言训练中的关键作用。
局限性与未来工作 (Limitations & Future Work)
论文未在专门章节明确指出模型的局限性或未来的工作方向,但可以从其方法和实验中推断一些潜在的局限性:
- InstrMulti102 数据集的构建方式:
InstrMulti102是通过 Microsoft 翻译器将Multi30k的英文部分翻译成 101 种语言构建的。这种基于机器翻译生成的数据集可能引入翻译错误或风格偏差,从而影响模型在真实大规模多语言数据上的表现。未来工作可以探索在更自然的、人工标注的大规模多语言多模态数据集上进行训练和评估。 - 图像的通用性限制: 尽管图像被视为通用语言 (universal language),但在某些抽象概念或特定文化语境的翻译中,图像可能无法提供足够的语义信息,或者其语义可能存在歧义。模型如何处理这些图像-文本不一致 (image-text mismatch) 或图像信息不足 (image information insufficiency) 的情况,可能需要进一步研究。
- 计算资源消耗: 支持 102 种语言的大规模多模态模型,尤其是在
Decoder-only设置下使用Llama2这样的LLM,其训练和推理的计算成本可能非常高昂。如何进一步优化模型效率和可部署性是重要的研究方向。 - 交叉注意力公式的歧义: 在方法论部分,
CVLM的交叉注意力公式与文字描述存在矛盾。虽然在实验中取得了成功,但这种表达上的不一致可能会给理解和复现带来困惑,未来需要澄清。
个人启发与批判 (Personal Insights & Critique)
这篇论文提供了几个重要的启发:
-
视觉上下文的巨大潜力: 论文有力地证明了视觉信息作为一种语言无关 (language-agnostic) 的通用语义表示,在弥合大规模多语言间隙方面具有巨大潜力。这对于解决低资源语言翻译问题尤其重要,因为这些语言往往缺乏丰富的文本语料,但可以共享与高资源语言相同的视觉上下文。
-
多模态提示与
LLM的结合:m3P成功地将多模态提示机制应用于LLM(Llama2),这预示着未来多模态LLM在多语言任务上的广阔前景。通过将视觉信息以结构化的提示形式注入LLM,可以有效激发其多模态推理和生成能力。 -
对比学习在多模态对齐中的作用:
MMCL作为一种显式的对齐机制,在将不同模态和不同语言的表示拉入共享语义空间方面发挥了关键作用。这种方法可以推广到其他跨模态、跨语言的任务中。同时,也存在一些可以批判或深入思考的地方:
-
InstrMulti102的质量: 虽然InstrMulti102扩展了语言覆盖范围,但其数据来源于机器翻译。机器翻译的固有误差和风格单一性可能限制了模型学习到更自然、多样化的多语言表达。未来研究如果能结合人工标注的少量多语言多模态数据进行蒸馏 (distillation) 或微调,可能会进一步提升模型的鲁棒性。 -
公式与描述的严格性:
CVLM部分的交叉注意力公式与文字描述的矛盾是一个值得注意的细节。在严谨的学术研究中,这种不一致性应避免,需要明确其正确的实现方式,以确保研究的可复现性。 -
“中心语言”的哲学思考: 将图像视为“中心语言”是一个巧妙的比喻。但在实际操作中,图像只是一个语义载体,它是否真的能够承载所有语言的“中心”语义,以及这种“中心”是否在所有情况下都比任意一种自然语言更通用,仍有探讨空间。例如,图像对于抽象概念、文化特定表达的表达力是有限的。
-
跨文化差异: 尽管图像是语言无关的,但不同文化对同一图像的解读可能存在差异。模型如何应对这种跨文化视觉语义差异,是多模态多语言任务中一个潜在的挑战。
总的来说,
m3P是一项令人印象深刻的工作,它在多模态多语言翻译领域取得了显著进展,并为未来的研究开辟了新的道路,特别是在结合LLM和处理大规模语言方面。
相似论文推荐
基于向量语义检索推荐的相关论文。