1. 论文基本信息

1.1. 标题

iTransformer：倒置Transformer在时间序列预测中表现出色 (iTransformer: Inverted Transformers Are Effective for Time Series Forecasting)

1.2. 作者

Yong Liu, Tengge Hu, Haoran Zhang, Haixu Wu, Shiyu Wang, Lintao Ma, Mingsheng Long。 作者主要来自清华大学软件学院和BNRist，部分作者来自蚂蚁集团。

1.3. 发表期刊/会议

该论文发布在 arXiv 预印本平台。

1.4. 发表年份

2023年。

1.5. 摘要

最近线性预测模型 (linear forecasting models) 的兴起，对基于Transformer的预测器在架构修改上的持续热情提出了质疑。传统的基于Transformer的预测器利用Transformer来建模时间序列中时间令牌 (temporal tokens) 的全局依赖关系，其中每个令牌由同一时间戳的多个变量 (variates) 组成。然而，当预测具有更大回溯窗口 (lookback windows) 的时间序列时，Transformer面临性能下降和计算爆炸的挑战。此外，每个时间令牌的嵌入融合了多个变量，这些变量可能代表潜在的延迟事件和不同的物理测量，这可能导致无法学习以变量为中心的表示 (variate-centric representations) 并产生无意义的注意力图 (attention maps)。

在这项工作中，我们反思了Transformer组件的胜任职责，并在不修改基本组件的情况下重新设计了Transformer架构。我们提出了iTransformer，它简单地将注意力 (attention) 和前馈网络 (feed-forward network) 应用于倒置维度 (inverted dimensions)。具体来说，将单个序列的时间点嵌入到变量令牌中，这些令牌被注意力机制用于捕获多变量相关性 (multivariate correlations)；同时，前馈网络应用于每个变量令牌以学习非线性表示。iTransformer模型在具有挑战性的真实世界数据集上取得了最先进的 (state-of-the-art) 性能，进一步增强了Transformer家族的性能、跨不同变量的泛化能力 (generalization ability) 以及对任意回溯窗口的更好利用，使其成为时间序列预测基本骨干的一个良好替代方案。

1.6. 原文链接

https://arxiv.org/abs/2310.06625 PDF 链接: https://arxiv.org/pdf/2310.06625v4.pdf 发布状态: 预印本 (Preprint)

2. 整体概括

2.1. 研究背景与动机

2.1.1. 研究背景

Transformer模型 (Transformer model) 在自然语言处理 (Natural Language Processing, NLP) 和计算机视觉 (Computer Vision, CV) 领域取得了巨大成功，并成为遵循规模法则 (scaling law) 的基础模型 (foundation model)。受此启发，Transformer也被引入时间序列预测 (time series forecasting) 领域，期望其强大的建模成对依赖 (pairwise dependencies) 和提取多层次表示 (multi-level representations) 的能力能解决时间序列问题。

2.1.2. 动机与现有挑战

尽管Transformer在其他领域取得了成功，但最近一些研究，尤其是线性预测模型 (linear forecasting models) 的兴起，对基于Transformer的时间序列预测器的有效性提出了质疑。论文指出了当前基于Transformer的时间序列预测器存在的核心问题和挑战：

• 不恰当的令牌化 (Improper Tokenization): 传统的Transformer模型通常将同一时间戳的多个变量嵌入到一个时间令牌 (temporal token) 中，并在这些时间令牌上应用注意力机制来捕获时间依赖。这种做法的问题在于：
  • 语义缺失与噪音引入: 同一时间戳的变量可能代表完全不同的物理含义、测量单位或潜在的延迟事件。将它们融合到一个令牌中，可能会抹去变量间的固有相关性，导致难以学习以变量为中心的表示，甚至在非因果或延迟过程中引入交互噪音。
  • 局部感受野 (Local Receptive Field): 单个时间步形成的令牌可能由于其过度局限的感受野，难以揭示有益的信息。
  • 置换不变性问题 (Permutation Invariance Issue): Transformer的注意力机制本质上是置换不变的。将其不恰当地应用于时间维度，会削弱模型捕获序列顺序对时间序列变化影响的能力。
• 性能瓶颈与计算爆炸: 在预测具有更大回溯窗口的时间序列时，传统的Transformer面临性能下降和计算复杂度呈平方级增长 (computation explosion) 的问题。
• 线性模型表现优异: 简单线性模型在性能和效率上超越了复杂的Transformer，进一步加剧了对Transformer在时间序列领域应用的质疑。

2.1.3. 论文切入点与创新思路

论文认为，Transformer模型本身并非无效，而是其架构在时间序列预测中被不恰当地使用了。作者反思了Transformer组件（如自注意力层和前馈网络）的“胜任职责”，提出了一种“倒置”的视角，重新配置这些未经修改的组件。核心思路是：

• 倒置维度: 不再将时间步作为令牌，而是将每个变量的完整时间序列作为一个变量令牌 (variate token)。
• 重新分配组件职责:
  • 自注意力机制 (Self-attention) 用于捕获变量之间的多变量相关性 (multivariate correlations)。
  • 前馈网络 (Feed-forward network, FFN) 用于学习每个变量令牌的非线性表示 (nonlinear representations)。
  • 层归一化 (Layer Normalization) 用于减少变量间差异。

2.2. 核心贡献/主要发现

• 提出了 iTransformer 模型: iTransformer在不修改Transformer基本组件的前提下，颠覆性地将Transformer架构的维度倒置，将每个独立的时间序列视为一个变量令牌，从而利用自注意力机制捕获多变量相关性，并利用层归一化和前馈网络学习更好的序列全局表示。
• 实现了最先进的性能 (State-of-the-Art Performance): iTransformer在多个具有挑战性的真实世界数据集上取得了全面的最先进性能，超越了包括线性模型和现有Transformer变体在内的众多基线模型。
• 增强了泛化能力 (Enhanced Generalization Ability):
  • 跨变量泛化: iTransformer在未见过的变量上表现出强大的泛化能力，这得益于其前馈网络学习可迁移的时间序列表示。
  • 任意回溯窗口利用: 模型能够更好地利用任意长度的回溯窗口，解决了传统Transformer在长回溯窗口下性能下降的问题。
• 提升了模型可解释性 (Improved Interpretability): 倒置的注意力机制能够生成更具解释性的注意力图，直观地揭示变量之间的相关性。
• 框架通用性 (Framework Generality): 倒置的框架可以一致地提升各种Transformer变体的性能，且能够有效利用高效注意力机制来处理大规模变量。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 时间序列 (Time Series)

时间序列是按时间顺序排列的一系列数据点。例如，股票价格、气温、电力消耗等。在多元时间序列 (multivariate time series) 中，会有多个相关的变量在同一时间段内被观测。

3.1.2. 时间序列预测 (Time Series Forecasting)

时间序列预测是利用历史数据来预测未来时间点或时间段的值。给定过去 $T$ 个时间步的观测值，目标是预测未来 $S$ 个时间步的值。

3.1.3. 回溯窗口 (Lookback Window) 与 预测长度 (Prediction Length)

• 回溯窗口 (Lookback Window): 指用于预测的过去时间点的数量，即模型观察的历史数据长度。通常用 $T$ 表示。
• 预测长度 (Prediction Length): 指模型需要预测的未来时间点的数量。通常用 $S$ 表示。

3.1.4. Transformer 模型 (Transformer Model)

Transformer是一种由Google在2017年提出的深度学习模型架构，最初用于自然语言处理，以其强大的序列建模能力而闻名。其核心组成部分是自注意力机制 (self-attention mechanism) 和前馈网络 (feed-forward network)。

3.1.5. 自注意力机制 (Self-Attention Mechanism)

自注意力机制是Transformer的核心，它允许模型在处理序列的某个元素时，能够同时考虑到序列中所有其他元素的重要性。它通过计算查询（Query, $Q$）、键（Key, $K$）和值（Value, $V$）之间的相似度来加权求和，从而获得每个元素的上下文表示。 $$\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 其中：

• $Q$ (Query): 查询矩阵，由输入序列的嵌入向量通过线性变换得到。
• $K$ (Key): 键矩阵，由输入序列的嵌入向量通过线性变换得到。
• $V$ (Value): 值矩阵，由输入序列的嵌入向量通过线性变换得到。
• $d_k$: 键向量的维度，用于缩放点积，防止梯度过大。
• $\mathrm{softmax}$: 归一化指数函数，将注意力权重归一化到 (0, 1) 之间，且和为1。
• $QK^T$: 计算查询和键的点积相似度。

3.1.6. 前馈网络 (Feed-Forward Network, FFN)

在Transformer中，每个自注意力层之后都跟着一个位置感知 (position-wise) 的前馈网络。它通常由两个线性变换和一个激活函数（如 ReLU）组成，对每个位置的表示独立地进行非线性变换。 $$\mathrm{FFN}(x) = \max(0, xW_1 + b_1)W_2 + b_2$$ 其中：

• $x$: 输入到前馈网络的向量。
• $W_1, W_2$: 权重矩阵。
• $b_1, b_2$: 偏置向量。
• $\max(0, \cdot)$: ReLU激活函数。

3.1.7. 层归一化 (Layer Normalization)

层归一化 (Layer Normalization) 是一种归一化技术，应用于神经网络的每一层输入，旨在稳定学习过程并加速训练。它独立地计算每个样本的特征的均值和方差，并进行归一化。 $$\mathrm{LayerNorm}(x) = \gamma \odot \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} + \beta$$ 其中：

• $x$: 输入到层归一化的向量。
• $\mu$: 输入 $x$ 的均值。
• $\sigma^2$: 输入 $x$ 的方差。
• $\gamma, \beta$: 可学习的缩放和偏移参数。
• $\epsilon$: 一个小常数，用于避免除以零。

3.1.8. 均方误差 (Mean Squared Error, MSE)

MSE是衡量预测值与真实值之间差异的常用指标。 $$\mathrm{MSE} = \frac{1}{n} \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2$$ 其中：

• $n$: 数据点的数量。
• $Y_i$: 第 $i$ 个真实值。
• $\hat{Y}_i$: 第 $i$ 个预测值。

3.1.9. 平均绝对误差 (Mean Absolute Error, MAE)

MAE是另一种衡量预测值与真实值之间差异的指标，对异常值不如MSE敏感。 $$\mathrm{MAE} = \frac{1}{n} \sum_{i=1}^{n} |Y_i - \hat{Y}_i|$$ 其中：

• $n$: 数据点的数量。
• $Y_i$: 第 $i$ 个真实值。
• $\hat{Y}_i$: 第 $i$ 个预测值。

3.2. 前人工作

• 传统基于Transformer的预测器: 如Autoformer (Wu et al., 2021)、FEDformer (Zhou et al., 2022) 等，它们通常将同一时间戳的多个变量作为单个时间令牌，通过自注意力机制在时间维度上建模依赖。
• 线性模型 (Linear Models): 如DLinear (Zeng et al., 2023)、TiDE (Das et al., 2023)、RLinear (Li et al., 2023) 等，这些模型近期在时间序列预测中表现出色，甚至超越了一些复杂的Transformer模型，这引发了对Transformer在时间序列领域应用的反思。
• Patching (补丁化): 如PatchTST (Nie et al., 2023) 和Crossformer (Zhang & Yan, 2023)，这些方法尝试通过将时间序列切分成更长的“补丁”来作为令牌，以扩大感受野，而非单个时间点。
• 通道独立性 (Channel Independence, CI): 这种策略是将多变量时间序列中的每个变量独立处理，使用共享的骨干网络进行预测，从而避免变量间不恰当的交互。
• Stationarization (平稳化): 如Stationary (Liu et al., 2022b) 和RevIN (Kim et al., 2021)，通过对时间序列进行去趋势、去周期等操作来处理非平稳性，以提高模型的预测能力。

3.3. 技术演进

时间序列预测领域从传统的统计方法（如ARIMA、指数平滑）发展到基于深度学习的模型，如循环神经网络 (Recurrent Neural Networks, RNNs) 和时间卷积网络 (Temporal Convolutional Networks, TCNs)。随着Transformer在NLP和CV领域的巨大成功，其“注意力机制就是你所需要的一切” (Attention is all you need) 的理念迅速被引入时间序列领域。早期研究直接将Transformer应用于时间序列，通常将每个时间步的多变量数据作为令牌。然而，这种直接应用面临上述挑战，包括计算复杂度、对长序列的性能下降以及对多变量特性的不适应。随后，研究者开始对Transformer进行各种修改，如优化注意力机制（Informer, Flowformer）、引入分解思想 (Autoformer, FEDformer) 或采用补丁化策略 (PatchTST, Crossformer)。

iTransformer的工作正是在这种背景下产生的反思。它没有去修改Transformer的内部组件，而是从根本上改变了Transformer处理时间序列的“视角”——将令牌的维度从时间倒置为变量，从而更好地利用Transformer的固有能力来解决多变量时间序列预测的独特挑战。

3.4. 差异化分析

iTransformer与现有方法的主要区别和创新点在于其独特的“倒置”架构和对Transformer组件职责的重新分配：

• 与传统Transformer-based预测器的区别:

  • 令牌定义: 传统方法将同一时间戳的多个变量聚合为一个时间令牌，注意力机制在时间维度上作用。iTransformer将每个变量的完整时间序列定义为一个变量令牌，注意力机制在变量维度上作用，捕获多变量相关性。
  • 关注点: 传统方法侧重于时间依赖性建模。iTransformer则更侧重于多变量间的相关性建模，并将时间序列自身的表示学习交由前馈网络。
  • 挑战应对: iTransformer通过倒置维度，解决了传统Transformer在长回溯窗口下的性能下降和计算爆炸问题，以及因融合不相关变量导致注意力图无意义的问题。

• 与线性模型的区别:

  • 线性模型简单高效，但其表达能力有限，难以捕获复杂的非线性关系和多变量交互。
  • iTransformer虽然在变量的序列表示学习上借鉴了线性模型的“同维度共享前馈网络”思想，但通过引入注意力机制在变量维度上建模复杂的多变量相关性，使其具备了远超纯线性模型的非线性建模能力和泛化能力。

• 与Patching方法的区别 (如PatchTST):

  • Patching方法将时间序列切分成时间段（补丁）作为令牌。虽然扩大了感受野，但令牌仍然是时间维度的。
  • iTransformer的令牌是整个变量的时间序列，更加“变量中心化” (variate-centric)。并且，Patching可能引入时间未对齐补丁间的交互噪音，而iTransformer的变量令牌自然地避免了这一点。

• 与Channel Independence (CI) 方法的区别:

  • CI方法通过独立处理每个变量来避免不当交互，但通常不能显式地利用多变量之间的相关性。

  • iTransformer在保持变量独立嵌入的同时，通过自注意力机制显式地建模和利用多变量相关性，实现了CI的优点（避免噪音）和通道依赖性（Channel Dependence, CD）的优点（捕获交互）的结合。

    下图（原文 Figure 2）清晰地展示了传统Transformer与iTransformer在处理时间序列时的不同策略：

    该图像是论文中展示的示意图，比较了传统Transformer与所提iTransformer的时间序列编码方式差异。传统Transformer以时间步为token嵌入多变量，关注时间依赖；iTransformer则反转维度，以变量为token进行嵌入，关注多变量间的关联。

图示：Vanilla Transformer（上）将同一时间步的多变量嵌入为时间令牌，注意力作用于时间维度。iTransformer（下）将每个变量的整个时间序列独立嵌入为变量令牌，注意力作用于变量维度，FFN处理序列表示。

下图（原文 Figure 3）则将iTransformer在基于Transformer的时间序列预测器中的定位展现出来：

该图像是图表，展示了基于Transformer的时间序列预测模型按组件和架构修改的分类。图中以二维坐标区分修改组件与修改架构，突出显示了iTransformer在架构和组件双重修改中的位置。

图示：基于Transformer的时间序列预测器按组件和架构修改的分类，iTransformer属于同时修改组件和架构的第四类。

4. 方法论

4.1. 方法原理

iTransformer的核心思想是“倒置”Transformer对时间序列的处理维度。传统的Transformer通常将多变量时间序列 $X \in \mathbb{R}^{T \times N}$ （$T$ 个时间步， $N$ 个变量）中的每个时间步 $x_t \in \mathbb{R}^N$ 视为一个令牌，并对这 $T$ 个时间令牌进行注意力操作。iTransformer则反其道而行之，将每个变量的完整时间序列 $X_{:,n} \in \mathbb{R}^T$ 视为一个令牌，即“变量令牌” (variate token)。这样，原本应用于时间维度上的自注意力机制，现在被应用于变量维度，用于捕获不同变量之间的多变量相关性。同时，原本用于处理令牌间交互后的位置感知前馈网络，现在则独立地应用于每个变量令牌，用于学习该变量时间序列的非线性表示。这种维度倒置的设计，使得Transformer的各个组件能够更好地发挥其在时间序列预测中的“胜任职责”。

4.2. 核心方法详解

iTransformer采用Transformer的编码器 (encoder-only) 架构，包括嵌入层 (embedding)、投影层 (projection) 和多个Transformer块 (Transformer blocks)。其整体结构如下面的图4所示。

该图像是图4的结构示意图，展示了iTransformer的整体架构。图中包含（a）原始多变量时间序列嵌入为变异变量令牌，（b）多变量自注意力机制及相关矩阵计算过程，（c）共享前馈网络提取序列表示，以及（d）采用时间层归一化降低变量间差异。

图示：iTransformer的整体架构，与Transformer编码器的模块排列相同。(a) 不同变量的原始序列被独立嵌入为令牌。(b) 自注意力应用于嵌入的变量令牌，具有增强的可解释性，揭示多变量相关性。(c) 每个令牌的序列表示由共享的前馈网络提取。(d) 采用层归一化减少变量间的差异。

在多变量时间序列预测中，给定历史观测值 $\mathbf{X} = \{ \mathbf{x}_1, \ldots, \mathbf{x}_T \} \in \mathbb{R}^{T \times N}$，其中 $T$ 是时间步数，$N$ 是变量数。我们旨在预测未来 $S$ 个时间步 $\mathbf{Y} = \{ \mathbf{x}_{T+1}, \ldots, \mathbf{x}_{T+S} \} \in \mathbb{R}^{S \times N}$。为方便起见，我们用 $\mathbf{X}_{:,n}$ 表示第 $n$ 个变量的完整时间序列。

iTransformer预测未来序列 $\hat{\mathbf{Y}}_{:,n}$ 的过程可以概括为以下步骤：

4.2.1. 输入数据转置与嵌入 (Input Transposition and Embedding)

首先，原始输入 $\mathbf{X} \in \mathbb{R}^{T \times N}$ 需要转置为 $\mathbf{X} \in \mathbb{R}^{N \times T}$，以便每个变量的整个时间序列作为一个输入项。 然后，每个变量的完整时间序列 $\mathbf{X}_{:,n} \in \mathbb{R}^T$ 被独立地嵌入为一个变量令牌 $\mathbf{h}_n^0 \in \mathbb{R}^D$，其中 $D$ 是令牌的维度。这个嵌入过程由多层感知机 (Multi-Layer Perceptron, MLP) 实现。 $$\mathbf{h}_n^0 = \operatorname{Embedding}(\mathbf{X}_{:,n})$$ 其中：

• $\mathbf{X}_{:,n}$: 第 $n$ 个变量的完整时间序列，维度为 $T$。

• $\operatorname{Embedding}$: 由多层感知机 (MLP) 实现的嵌入函数，将 $T$ 维的序列映射到 $D$ 维的令牌表示。

• $\mathbf{h}_n^0$: 第 $n$ 个变量的初始嵌入令牌，维度为 $D$。

  这样，我们就得到了 $N$ 个维度为 $D$ 的嵌入令牌集合 $\mathbf{H}^0 = \{ \mathbf{h}_1^0, \ldots, \mathbf{h}_N^0 \} \in \mathbb{R}^{N \times D}$。

4.2.2. iTransformer 块 (iTransformer Blocks)

嵌入后的变量令牌 $\mathbf{H}^0$ 接着通过 $L$ 个 iTransformer 块进行处理。每个 iTransformer 块 (TrmBlock) 的结构与Transformer编码器中的块类似，包含层归一化、自注意力机制和前馈网络。 $$\mathbf{H}^{l+1} = \operatorname{TrmBlock}(\mathbf{H}^l), \quad l = 0, \ldots, L-1$$ 其中 $\mathbf{H}^l$ 是第 $l$ 层 iTransformer 块的输出。

4.2.2.1. 层归一化 (Layer Normalization)

在每个 iTransformer 块内部，层归一化被应用于每个单个变量令牌的表示。这与传统Transformer在时间维度上对多变量融合表示进行归一化不同。iTransformer中，归一化应用于个体变量序列的表示，有助于减少由于测量单位或统计分布不一致而引起的变量间差异。它已经被证明在处理非平稳问题时有效。 $$\mathrm{LayerNorm}(\mathbf{H}) = \left\{ \frac{\mathbf{h}_n - \mathrm{Mean}(\mathbf{h}_n)}{\sqrt{\mathrm{Var}(\mathbf{h}_n) + \epsilon}} \bigg| \ n = 1, \ldots, N \right\}$$ 其中：

• $\mathbf{h}_n$: 第 $n$ 个变量的嵌入令牌。
• $\mathrm{Mean}(\mathbf{h}_n)$: 令牌 $\mathbf{h}_n$ 的均值。
• $\mathrm{Var}(\mathbf{h}_n)$: 令牌 $\mathbf{h}_n$ 的方差。
• $\epsilon$: 一个小的常数，防止除以零。

4.2.2.2. 自注意力机制 (Self-attention)

在 iTransformer 中，自注意力机制的核心职责是捕获多变量相关性。由于每个令牌代表一个完整的变量时间序列，注意力机制不再是捕捉时间依赖，而是捕捉不同变量令牌之间的相似性和依赖关系。 具体来说，输入是 $N$ 个维度为 $D$ 的变量令牌 $\mathbf{H} = \{ \mathbf{h}_1, \ldots, \mathbf{h}_N \} \in \mathbb{R}^{N \times D}$。通过线性变换生成查询 (Query)、键 (Key) 和值 (Value) 矩阵 $\mathbf{Q}, \mathbf{K}, \mathbf{V} \in \mathbb{R}^{N \times d_k}$，其中 $d_k$ 是投影维度。 预 Softmax 的得分矩阵 $\mathbf{A} \in \mathbb{R}^{N \times N}$ 中的每个条目 $\mathbf{A}_{i,j}$ 表示第 $i$ 个变量令牌与第 $j$ 个变量令牌之间的相关性。 $$\mathbf{A}_{i,j} = \left( \frac{\mathbf{Q} \mathbf{K}^\top}{\sqrt{d_k}} \right)_{i,j} \propto \mathbf{q}_i^\top \mathbf{k}_j$$ 其中：

• $\mathbf{q}_i$: 第 $i$ 个变量令牌的查询向量。
• $\mathbf{k}_j$: 第 $j$ 个变量令牌的键向量。 注意力机制会根据这些相关性，对值矩阵 $\mathbf{V}$ 进行加权求和，从而为每个变量令牌生成一个包含其与其他所有变量令牌交互信息的新表示。高度相关的变量会得到更高的权重。

4.2.2.3. 前馈网络 (Feed-Forward Network, FFN)

前馈网络在 iTransformer 中被赋予学习序列表示的职责。它独立地应用于每个变量令牌的输出。由于每个变量令牌已经聚合了其对应的整个时间序列信息，FFN能够提取复杂且可泛化的特征来描述该时间序列的内在属性，如幅度、周期性、频率谱等。这类似于最近纯MLP模型在时间序列领域表现出色的原因。 更重要的是，这里的前馈网络是共享的，即所有变量令牌都通过同一个FFN进行处理。这使得模型能够学习到适用于所有时间序列的通用表示。由于序列的顺序隐含地存储在FFN的神经元排列中，因此不再需要传统Transformer中的位置编码 (position embedding)。

4.2.3. 投影层 (Projection)

经过 $L$ 个 iTransformer 块处理后，我们得到最终的变量令牌表示 $\mathbf{H}^L = \{ \mathbf{h}_1^L, \ldots, \mathbf{h}_N^L \} \in \mathbb{R}^{N \times D}$。最后，一个多层感知机 (MLP) 作为投影层，将每个变量令牌 $\mathbf{h}_n^L$ 投影回其未来 $S$ 个时间步的预测值 $\hat{\mathbf{Y}}_{:,n} \in \mathbb{R}^S$。 $$\hat{\mathbf{Y}}_{:,n} = \operatorname{Projection}(\mathbf{h}_n^L)$$ 其中：

• $\mathbf{h}_n^L$: 第 $n$ 个变量的最终嵌入令牌。

• $\operatorname{Projection}$: 由多层感知机 (MLP) 实现的投影函数，将 $D$ 维的令牌表示映射到 $S$ 维的预测序列。

• $\hat{\mathbf{Y}}_{:,n}$: 第 $n$ 个变量的未来 $S$ 个时间步的预测序列。

  最终，所有变量的预测序列 $\hat{\mathbf{Y}}_{:,n}$ 被组合起来，并转置回 $\hat{\mathbf{Y}} \in \mathbb{R}^{S \times N}$ 作为模型的总输出。

4.2.4. 算法伪代码 (Algorithm 1)

以下是 iTransformer 的整体架构伪代码：

<div class="table-wrapper"><table>
<tr><td>Algorithm 1 iTransformer - Overall Architecture.</td><td></td></tr>
<tr><td colspan="2">Require: Input lookback time series X  RT ×N ; input Length T; predicted length S; variates</td></tr>
<tr><td></td><td>number N; token dimension D; iTransformer block number L.</td></tr>
<tr><td>1: X=X.transpose</td><td>>X  RN×T 2:  Multi-layer Perceptron works on the last dimension to embed series into variate tokens.</td></tr>
<tr><td>3: H0 = MLP(X)</td><td>H0  RN×D</td></tr>
<tr><td>4: for l in {1, . . . , L}:</td><td> Run through iTransformer blocks.</td></tr>
<tr><td>5:</td><td> Self-attention layer is applied on variate tokens.</td></tr>
<tr><td>6:</td><td>Hl−1 = LayerNorm(Hl−1 + Self−Attn(Hl−1))</td></tr>
<tr><td>7:</td><td>Feed-forward network is utilized for series representations, broadcasting to each token. H RN×D</td></tr>
<tr><td>8:</td><td>Hl = LayerNorm(Hl−1 + Feed-Forward(Hl−1))</td></tr>
<tr><td>9:</td><td> LayerNorm is adopted on series representations to reduce variates discrepancies.</td></tr>
<tr><td colspan="2">10: End for</td></tr>
<tr><td></td><td>11:  = MLP(HL) Project tokens back to predicted series,   RN×S</td></tr>
<tr><td></td><td>12: =.transpose</td></tr>
<tr><td>13: Return </td><td> Return the prediction result </td></tr>
</table></div>

算法 1: iTransformer - 整体架构

输入:

• 回溯时间序列 $\mathbf{X} \in \mathbb{R}^{T \times N}$
• 输入长度 $T$
• 预测长度 $S$
• 变量数量 $N$
• 令牌维度 $D$
• iTransformer 块数量 $L$

步骤:

1. $\mathbf{X} = \mathbf{X}.\mathrm{transpose()}$ // 将输入转置为 $\mathbb{R}^{N \times T}$，使每个行代表一个变量的完整序列。
2. // 多层感知机作用于最后一个维度，将序列嵌入为变量令牌。
3. $\mathbf{H}^0 = \mathrm{MLP}(\mathbf{X})$ // $\mathbf{H}^0 \in \mathbb{R}^{N \times D}$，得到 $N$ 个 $D$ 维的变量令牌。
4. for $l$ in $\{1, \ldots, L\}$: // 遍历 iTransformer 块。
5. // 自注意力层应用于变量令牌。
6. $\mathbf{H}^{l-1} = \mathrm{LayerNorm}(\mathbf{H}^{l-1} + \mathrm{Self-Attn}(\mathbf{H}^{l-1}))$
7. // 前馈网络用于序列表示，广播到每个令牌。
8. $\mathbf{H}^l = \mathrm{LayerNorm}(\mathbf{H}^{l-1} + \mathrm{Feed-Forward}(\mathbf{H}^{l-1}))$
9. // 层归一化应用于序列表示，以减少变量差异。
10. End for
11. $\hat{\mathbf{Y}} = \mathrm{MLP}(\mathbf{H}^L)$ // $\hat{\mathbf{Y}} \in \mathbb{R}^{N \times S}$，将令牌投影回预测序列。
12. $\hat{\mathbf{Y}} = \hat{\mathbf{Y}}.\mathrm{transpose()}$ // 将预测结果转置为 $\mathbb{R}^{S \times N}$。
13. Return $\hat{\mathbf{Y}}$ // 返回预测结果。

5. 实验设置

5.1. 数据集

实验使用了7个真实世界数据集，并额外在一个内部数据集上进行了评估。

• ECL (Electricity Consuming Load): 包含321个客户的每小时电力消耗数据。
  • Dim: 321
  • Frequency: Hourly
  • Information: Electricity
• ETT (Electricity Transformer Temperature): 包含2016年7月至2018年7月电力变压器的7个因素数据。分为4个子集：
  • ETTh1, ETTh2: 每小时记录。
  • ETTm1, ETTm2: 每15分钟记录。
  • Dim: 7
  • Frequency: Hourly (ETTh1, ETTh2), 15min (ETTm1, ETTm2)
  • Information: Electricity
• Exchange (Exchange Rates): 收集了1990年至2016年8个国家的每日汇率面板数据。
  • Dim: 8
  • Frequency: Daily
  • Information: Economy
• Traffic (Road Occupancy): 收集了2015年1月至2016年12月旧金山湾区高速公路862个传感器测量的每小时道路占用率。
  • Dim: 862
  • Frequency: Hourly
  • Information: Transportation
• Weather (Meteorological Factors): 包含2020年Max Planck生物地球化学研究所气象站每10分钟收集的21个气象因素。
  • Dim: 21
  • Frequency: 10min
  • Information: Weather
• Solar-Energy (Solar Power Production): 记录了2006年137个光伏电站的太阳能发电量，每10分钟采样一次。
  • Dim: 137
  • Frequency: 10min
  • Information: Energy
• PEMS (Public Traffic Network Data): 包含加州公共交通网络的5分钟窗口数据，使用了SCINet中采用的4个子集 (PEMS03, PEMS04, PEMS07, PEMS08)。
  • Dim: 358 (PEMS03), 307 (PEMS04), 883 (PEMS07), 170 (PEMS08)
  • Frequency: 5min
  • Information: Transportation
• Market (Alipay Server Load): 论文额外收集的支付宝在线交易应用的分钟级服务器负载数据，时间范围为2023年1月30日至2023年4月9日，变量数量从285到759不等，包含6个子数据集。
  • Dim: 285-759
  • Frequency: 10min (原文Market dataset描述中提到的是10min，但表4中Market-Merchant等是10min，同时描述为“minute-sampled”，这里以Table 4为准，显示10min)
  • Information: Transaction

数据处理和划分:

• 遵循TimesNet (Wu et al., 2023) 使用的数据处理和训练-验证-测试集划分协议，严格按时间顺序划分，确保没有数据泄漏。

• 回溯长度 (lookback length): 对于ETT, Weather, ECL, Solar-Energy, PEMS和Traffic数据集，固定为96。对于Market数据集，回溯长度为144（过去一天的数据）。

• 预测长度 (prediction length): 对于ETT, Weather, ECL, Solar-Energy, Traffic数据集，预测长度变化范围为 $\{96, 192, 336, 720\}$。对于PEMS数据集，预测长度为 $\{12, 24, 36, 48\}$。对于Market数据集，预测长度为 $\{12, 24, 72, 144\}$。

  以下是原文 Table 4 的数据集详细描述：

  Dataset	Dim	Prediction Length	Dataset Size	Frequency	Information
  ETTh1, ETTh2	7	{96, 192, 336, 720}	(8545, 2881, 2881)	Hourly	Electricity
  ETTm1, ETTm2	7	{96, 192, 336, 720}	(34465, 11521, 11521)	15min	Electricity
  Exchange	8	{96, 192, 336, 720}	(5120, 665, 1422)	Daily	Economy
  Weather	21	{96, 192, 336, 720}	(36792, 5271, 10540)	10min	Weather
  ECL	321	{96, 192, 336, 720}	(18317, 2633, 5261)	Hourly	Electricity
  Traffic	862	{96, 192, 336, 720}	(12185, 1757, 3509)	Hourly	Transportation
  Solar-Energy	137	{96, 192, 336, 720}	(36601, 5161, 10417)	10min	Energy
  PEMS03	358	{12, 24, 48, 96}	(15617, 5135, 5135)	5min	Transportation
  PEMS04	307	{12, 24, 48, 96}	(10172, 3375, 3375)	5min	Transportation
  PEMS07	883	{12, 24, 48, 96}	(16911, 5622, 5622)	5min	Transportation
  PEMS08	170	{12, 24, 48, 96}	(10690, 3548, 3548)	5min	Transportation
  Market-Merchant	285	{12, 24, 72, 144}	(7045, 1429, 1429)	10min	Transaction
  Market-Wealth	485	{12, 24, 72, 144}	(7045, 1429, 1429)	10min	Transaction
  Market-Finance	405	{12, 24, 72, 144}	(7045, 1429, 1429)	10min	Transaction
  Market-Terminal	307	{12, 24, 72, 144}	(7045, 1429, 1429)	10min	Transaction
  Market-Payment	759	{12, 24, 72, 144}	(7045, 1429, 1429)	10min	Transaction
  Market-Customer	395	{12, 24, 72, 144}	(7045, 1429, 1429)	10min	Transaction

5.2. 评估指标

论文主要使用两个常用指标来评估预测性能：均方误差 (Mean Squared Error, MSE) 和平均绝对误差 (Mean Absolute Error, MAE)。

5.2.1. 均方误差 (Mean Squared Error, MSE)

• 概念定义 (Conceptual Definition): MSE 衡量预测值与真实值之间差异的平方的平均值。它对预测误差的惩罚是二次的，因此对于较大的误差会给予更高的惩罚。这使得MSE对异常值 (outliers) 比较敏感，常用于评估模型预测的精确度。
• 数学公式 (Mathematical Formula): $$\mathrm{MSE} = \frac{1}{n} \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2$$
• 符号解释 (Symbol Explanation):
  • $n$: 样本点的总数量。
  • $Y_i$: 第 $i$ 个样本的真实值。
  • $\hat{Y}_i$: 第 $i$ 个样本的预测值。

5.2.2. 平均绝对误差 (Mean Absolute Error, MAE)

• 概念定义 (Conceptual Definition): MAE 衡量预测值与真实值之间绝对差值的平均值。它对误差的惩罚是线性的，因此相对于MSE而言，对异常值不那么敏感。MAE直观地表示了平均预测误差的大小。
• 数学公式 (Mathematical Formula): $$\mathrm{MAE} = \frac{1}{n} \sum_{i=1}^{n} |Y_i - \hat{Y}_i|$$
• 符号解释 (Symbol Explanation):
  • $n$: 样本点的总数量。
  • $Y_i$: 第 $i$ 个样本的真实值。
  • $\hat{Y}_i$: 第 $i$ 个样本的预测值。

5.3. 对比基线

论文将 iTransformer 与 10 个广受认可的先进预测模型进行了比较，这些模型可以分为三类：

1. 基于Transformer的模型 (Transformer-based methods):
   • Autoformer (Wu et al., 2021): 带有自相关分解的Transformer。
   • FEDformer (Zhou et al., 2022): 频率增强分解Transformer。
   • Stationary (Liu et al., 2022b): 处理时间序列非平稳性的Transformer。
   • Crossformer (Zhang & Yan, 2023): 利用跨维度依赖的Transformer。
   • PatchTST (Nie et al., 2023): 通过补丁化处理长序列的Transformer。
2. 基于线性模型的方法 (Linear-based methods):
   • DLinear (Zeng et al., 2023): 线性分解模型。
   • TiDE (Das et al., 2023): 时间序列密集编码器。
   • RLinear (Li et al., 2023): 重新审视长期时间序列预测中的线性映射。
3. 基于TCN的模型 (TCN-based methods):

   • SCINet (Liu et al., 2022a): 带有样本卷积和交互的时间序列模型。

   • TimesNet (Wu et al., 2023): 时间2D变分建模，用于通用时间序列分析。

     这些基线模型涵盖了当前时间序列预测领域的多种主流和先进技术，具有代表性，能够全面评估 iTransformer 的性能。

6. 实验结果与分析

6.1. 核心结果分析

iTransformer 在多个真实世界数据集上取得了最先进的预测性能，尤其在处理高维时间序列时表现突出。

以下是原文 Table 1 的主要结果，展示了 iTransformer 在 ECL、Exchange、Traffic 和 Weather 数据集上的表现，以及与其他基线模型的对比。

注意： 原文 Table 1 存在排版问题，数据未能完全对齐，无法直接解读。但从摘要和正文描述可知，iTransformer 实现了最先进的性能。根据论文描述，iTransformer 尤其擅长预测高维时间序列。

以下是原文 Table 7 的完整性能提升结果，对比了 Transformer 和 iTransformer 在所有数据集上的平均性能：

分析： 从 Table 7 可以看出，iTransformer 相较于原始的 Transformer 在所有数据集上都带来了显著的性能提升（Promotion 指 MSE/MAE 的相对减少）。例如，在 ETT 数据集上，MSE 减少了 86.1%，MAE 减少了 70.4%。这有力地证明了“倒置”架构对于 Transformer 在时间序列预测中的有效性。

对高维时间序列的优势： 对于 Traffic（862个变量）和 ECL（321个变量）这类高维数据集，iTransformer 显著优于之前的最先进模型。例如，PatchTST 在 PEMS 数据集的一些情况下表现不佳，这可能源于其补丁机制在处理极度波动的序列时失去焦点。相比之下，iTransformer 聚合了整个序列的变动来学习序列表示，能更好地应对这种情况。

与 Crossformer 的对比： 尽管 Crossformer 显式捕获了跨时间和跨变量的依赖关系，但其性能仍不如 iTransformer。这表明，对时间未对齐的补丁进行交互可能会引入不必要的预测噪音。iTransformer 通过倒置架构，使 Transformer 的原生组件能够胜任时间建模和多变量关联的任务。

6.2. 消融实验与参数分析

6.2.1. 消融实验 (Ablation Study)

为了验证 iTransformer 中 Transformer 组件职责分配的合理性，论文进行了详细的消融实验，包括替换组件和移除组件的实验。

以下是原文 Table 3 的消融实验结果摘要：

分析：

• iTransformer (Variate: Attention, Temporal: FFN): 取得了最佳性能，这验证了将自注意力用于多变量相关性建模，将前馈网络用于序列表示学习的合理性。
• 替换组件 (Replace):
  • 将两个维度都使用 Attention (即传统Transformer的配置) 导致性能显著下降，尤其在 Traffic 数据集上 MSE 从 0.428 飙升到 0.913。这表明传统 Transformer 架构的潜在风险。
  • 将 Variate 维度使用 FFN 而 Temporal 维度使用 Attention 的配置（可以理解为一种线性模型与注意力结合的方式），性能也远不如 iTransformer。
  • 将两个维度都使用 FFN（即一个纯 MLP 模型），性能介于传统 Transformer 和 iTransformer 之间。这证实了 MLP 在处理时间序列表示方面的有效性，但无法显式建模多变量相关性，因此不如 iTransformer。
• 移除组件 (w/o):

  • 移除 Attention（即只保留 FFN 的作用）和移除 FFN（即只保留 Attention 的作用）都会导致性能下降，这说明两个组件在 iTransformer 的架构中都发挥了不可或缺的作用。

    完整消融实验结果见原文 Table 6，这里只展示摘要。

6.2.2. 序列表示分析 (Analysis of Series Representations)

论文通过中心核对齐 (Centered Kernel Alignment, CKA) 相似度来分析模型学习到的序列表示。CKA 值越高表示表示越相似。之前的研究表明，时间序列预测作为一种低级生成任务，更倾向于更高的 CKA 相似度以获得更好的性能。 如下图（原文 Figure 7 左侧）所示，iTransformer 学习到的表示具有更高的 CKA 相似度，这表明其学习到了更适合准确预测的序列表示。

该图像是图表，展示了Traffic数据集中部分传感器的路段占用率随时间变化的曲线图。图中可以观察到部分序列（如传感器2和4）表现出较强的同步性，同时也存在明显的时间延迟和提前现象（如传感器1与传感器2，传感器859与传感器861）。

图示：左图：Transformer 和 iTransformer 之间表示的 MSE 和 CKA 相似度比较。更高的 CKA 相似度表示更受青睐的表示，可用于准确预测。

6.2.3. 多变量相关性分析 (Analysis of Multivariate Correlations)

iTransformer 将多变量相关性建模的任务分配给注意力机制，使得学习到的注意力图具有更强的可解释性。 如下图（原文 Figure 7 右侧）和 Figure 11 所示，在 Solar-Energy 数据集上，注意力机制在浅层学到的注意力图与原始输入序列的相关性高度相似。随着模型深入，深层学到的注意力图逐渐与未来序列的相关性相似。这表明 iTransformer 能够学习到可解释的变量间相关性，并在编码历史和解码未来过程中利用这些相关性。

该图像是图表，展示了论文中案例1到案例3的回顾期和未来时间序列的多变量相关性及不同层的反转自注意力得分图，数据来自Solar-Energy数据集。

图示：回溯序列和未来序列的多变量相关性，以及不同层倒置自注意力学习到的得分图的可视化。案例均来自 Solar-Energy 数据集。

进一步，在 Market 数据集上，如下图（原文 Figure 12）所示，iTransformer 的注意力图能清晰地识别出属于同一应用组的变量之间的强相关性，这体现了其在识别语义相关变量方面的能力。

该图像是图表，展示了Market数据集中两个案例中若干变参的时间序列曲线及其学习到的多变量相关性热力图。左侧为时间序列走势，右侧为对应的相关性矩阵，图中标注了注意力机制关注的特定变参对。

图示：Market 数据集中变量和学习到的多变量相关性可视化。每个变量代表一个应用程序的监测接口值，应用程序可以进一步分组为更精细的类别。

6.2.4. iTransformers 的通用性 (iTransformers Generality)

6.2.4.1. 性能提升 (Performance Promotion)

iTransformer 框架能够一致地提升各种 Transformer 变体的性能，包括 Reformer、Informer、Flowformer 和 FlashAttention。 以下是原文 Table 2 的性能提升概览：

分析： iTransformer 框架对各种 Transformer 变体的性能提升是普遍且显著的。平均而言，在 Transformer 上实现了 38.9% 的性能提升，Reformer 上 36.1%，Informer 上 28.5%，Flowformer 上 16.8%，Flashformer 上 32.2%。这表明，之前 Transformer 架构在时间序列预测中的不当使用才是问题所在。

6.2.4.2. 变量泛化能力 (Variate Generalization)

iTransformer 赋予了模型在未见变量上进行泛化的能力。由于输入令牌数量的灵活性，变量通道的数量不再受限，可以在训练和推理时灵活变化。此外，iTransformer 中的前馈网络对独立的变量令牌进行相同的处理，其神经元学习的是任何时间序列的内在模式（如振幅、周期性），这些模式倾向于在不同变量之间共享和可迁移。 如下图（原文 Figure 5）所示，iTransformer 在仅用 20% 变量训练的情况下，能有效地预测所有变量，且泛化性能良好。相比之下，Channel Independence (CI) 策略虽然也能泛化，但在推理时需要逐一预测每个变量，效率较低。

该图像是图表，展示了图5中iTransformer模型在不同数据集(ECL、Traffic、Solar-Energy)上对未见变量的泛化能力。图中比较了Transformer、Informer、Reformer和Flowformer模型，在所有变量(100%)和部分变量(20%)条件下的均方误差(MSE)表现。

图示：在未见变量上泛化能力的性能。我们将每个数据集的变量分成五个文件夹，用 20% 的变量训练模型，并使用部分训练的模型预测所有变量。iTransformer 可以高效训练并具有良好的泛化能力进行预测。

6.2.4.3. 增加回溯长度 (Increasing Lookback Length)

传统 Transformer 往往无法从增加的回溯长度中获益，甚至性能下降。然而，线性预测模型通常能从更多历史信息中受益。iTransformer 通过将 MLPs 应用于时间维度（每个变量令牌的序列表示），使得模型能够更好地利用扩展的回溯窗口来获得更精确的预测。 如下图（原文 Figure 6）所示，随着回溯长度的增加，iTransformer 及其变体的性能持续提升，而原始 Transformer 的性能则趋于饱和甚至下降。

该图像是图表，展示了不同模型在ECL和Traffic两个数据集上，随回望长度$T \in \{48, 96, 192, 336, 720\}$变化的预测性能，纵轴为均方误差（MSE）。结果显示iTransformer在扩大回望窗口时性能明显优于其他Transformer及其变体。

图示：在回溯长度 $T \in \{48, 96, 192, 336, 720\}$ 和固定预测长度 $S = 96$ 下的预测性能。基于 Transformer 的预测器性能不一定受益于增加的回溯长度，而倒置框架赋予了普通 Transformer 及其变体在扩大回溯窗口下改进的性能。

6.2.5. 高效训练策略 (Efficient Training Strategy)

针对多变量场景中自注意力机制的二次复杂度问题，iTransformer 提出了一种高效训练策略：在每个批次中随机选择部分变量进行训练。由于其变量通道的灵活性，模型在推理时仍能预测所有变量。 如下图（原文 Figure 8）所示，这种策略在性能保持可比的同时，显著降低了内存占用。

该图像是图表，展示了图8中不同采样比例下部分训练变量的性能（左图，MSE）和内存占用（右图，GB）变化。结果显示性能保持稳定，而内存占用显著下降，右图中交通数据的内存下降趋势在插图中放大展示。

图示：高效训练策略的分析。在不同采样比例下，部分训练变量的性能（左）保持稳定，而内存占用（右）可以大幅削减。

6.2.6. 超参数敏感性 (Hyperparameter Sensitivity)

如下图（原文 Figure 9）所示，论文对学习率 lr、Transformer 块数 $L$ 和变量令牌隐藏维度 $D$ 进行了超参数敏感性分析。

• 学习率 (learning rate): 对于变量数量较多的数据集（如 ECL 和 Traffic），学习率的选择需要更谨慎。

• 块数 (number of Transformer blocks) 和隐藏维度 (hidden dimension): 并非越大越好，iTransformer 在适度的块数和隐藏维度下就能取得良好性能。

  该图像是图表，展示了图9中iTransformer模型针对学习率、Transformer块数和变元隐藏维度的超参数敏感性分析，采用了回溯窗口长度$T=96$和预测窗口长度$S=96$。横轴分别为不同超参数，纵轴为MSE误差，包含ETT、ECL、Traffic和Weather四个数据集的对比结果。

图示：关于学习率、Transformer 块数和变量令牌隐藏维度的超参数敏感性。结果记录在回溯窗口长度 $T=96$ 和预测窗口长度 $S=96$ 的情况下。

6.3. 模型效率 (Model Efficiency)

如下图（原文 Figure 10）所示，iTransformer 在效率上表现出色。

该图像是图表，展示了在输入-96预测-96任务中，Weather（21种变量）和Traffic（862种变量）数据集上多种模型的效率对比，包括训练时间、MSE和显存占用，iTransformer在多个维度表现优异。

图示：在 Weather 和 Traffic 数据集上，输入-96-预测-96 的模型效率比较。

分析：

• 变量数量较少的数据集 (如 Weather, 21个变量): iTransformer 的效率优于其他 Transformer 模型。
• 变量数量较多的数据集 (如 Traffic, 862个变量): iTransformer 的内存占用与 Transformer 变体基本相同，但训练速度更快。尽管自注意力机制的复杂度为 $O(N^2)$ (N为令牌数量)，在 Traffic 数据集中，原始 Transformer 的时间令牌数量 $N=96$ 远小于 iTransformer 的变量令牌数量 $N=862$，但 iTransformer 仍能更快，这说明其在处理高维变量时，通过有效利用多变量相关性，虽然单次注意力计算可能更复杂，但整体效率依然出色。
• 结合高效注意力机制或高效训练策略: iTransformer 可以通过结合线性复杂度的注意力机制 (如 Flowformer) 或其提出的高效训练策略，达到与线性模型相当的速度和内存占用。

6.4. 预测结果可视化 (Visualization of Prediction Results)

如下图 Figures 13-16 所示，iTransformer 在各种数据集上的预测结果，与真实值相比，能够更精确地捕捉序列的波动和趋势，预测的未来序列变动最接近真实情况，展现出卓越的性能。

该图像是多模型预测效果的折线图对比，展示了iTransformer、PatchTST、DLinear、Crossformer、Autoformer和Transformer在Traffic数据集上的input-96-predict-96预测结果。

图示：Traffic 数据集上输入-96-预测-96 结果的可视化。

该图像是对比6种时间序列预测模型在ECL数据集上输入96步预测96步结果的折线图。图中展示了iTransformer、PatchTST、DLinear、Crossformer、Autoformer及Transformer的预测曲线与真实曲线的对比，反映各模型预测的准确性。

图示：ECL 数据集上输入-96-预测-96 结果的可视化。

该图像是论文中展示的多个时间序列预测模型预测结果对比的折线图，显示在不同模型下预测值与真实值的匹配情况。图中包含iTransformer、PatchTST、DLinear、Crossformer、Autoformer和Transformer六种模型的结果对比。

图示：Weather 数据集上输入-96-预测-96 结果的可视化。

该图像是多个时间序列预测模型的预测曲线和真实值曲线对比图，展示了iTransformer及其他五种模型（PatchTST、DLinear、Crossformer、Autoformer、Transformer）在PEMS数据集上input-96-predict-96任务的表现。

图示：PEMS 数据集上输入-96-预测-96 结果的可视化。

6.5. 嵌入时间戳多变量点的风险 (Risks of Embedding Multivariate Points of A Timestamp)

论文在附录 E.3 中通过 Traffic 数据集案例进一步说明了传统 Transformer 架构中将同一时间戳的多变量点嵌入为单个令牌的风险。 如下图（原文 Figure 17）所示，Traffic 数据集中的传感器数据存在明显的相位偏移（例如传感器1和传感器2，传感器859和传感器861之间存在延迟或提前）。

该图像是图表，展示了图9中iTransformer模型针对学习率、Transformer块数和变元隐藏维度的超参数敏感性分析，采用了回溯窗口长度$T=96$和预测窗口长度$S=96$。横轴分别为不同超参数，纵轴为MSE误差，包含ETT、ECL、Traffic和Weather四个数据集的对比结果。

图示：Traffic 部分变量的可视化。我们可以观察到几个序列表现出强同步性（如传感器2和传感器4），并且序列之间也存在明显的延迟和提前（如传感器1和传感器2，传感器859和传感器861）。

分析： 在这种情况下，如果将同一时间戳的多个变量融合到一个令牌中，由于这些变量代表着系统性时间滞后或不同物理含义的事件，那么传统的注意力机制（旨在捕获时间依赖）将可能生成“无意义”的注意力图，导致模型性能下降。iTransformer 通过将整个序列作为一个变量令牌，能够更鲁棒地应对这些真实世界场景中的复杂性，如延迟事件、不一致测量、不规则时间序列、系统性监测延迟以及生成和记录时间序列的时间间隔等。

6.6. 完整实验结果

6.6.1. 完整框架通用性结果

以下是原文 Table 8 的完整框架通用性结果，展示了 iTransformer 对各种 Transformer 变体的提升效果：

6.6.2. 完整变量泛化结果

以下是原文 Figure 18 的完整变量泛化结果，比较了 iTransformers 和 CI-Transformers：

该图像是多个子图组成的条形图，展示了 iTransformers 与 CI-Transformers 在 ECL、Traffic、Solar-Energy、PEMS03、PEMS04 和 PEMS08 数据集上对未见变元的泛化能力对比，误差用 MSE 衡量，x 轴为不同模型。图中通过 20% 和 100% 变元训练模型，并以不同颜色区分结果。

图示：未见变量泛化的完整性能，比较了 iTransformers 和 CI-Transfomers。我们将每个数据集的变量分成五个文件夹，用 20% 的变量训练，并使用训练好的模型预测所有变量。我们绘制了所有五个文件夹的平均结果。

6.6.3. 完整预测结果

以下是原文 Table 9 的 PEMS 预测任务完整结果：

以下是原文 Table 10 的长期预测任务完整结果：

以下是原文 Table 11 的 Market 数据集结果：

7. 总结与思考

7.1. 结论总结

本研究提出了 iTransformer，一个通过“倒置”Transformer架构来有效解决时间序列预测问题的新模型。iTransformer 的核心创新在于重新定义了 Transformer 在时间序列中的作用维度：它将每个独立的变量时间序列视为一个变量令牌，并利用自注意力机制在变量维度上捕获多变量相关性，同时将前馈网络应用于每个变量令牌以学习非线性序列表示。这种设计不仅解决了传统 Transformer 在长回溯窗口下性能下降和计算复杂度爆炸的问题，还克服了因不当融合多变量信息导致注意力图无意义的挑战。实验结果表明，iTransformer 在多个真实世界数据集上取得了最先进的性能，并展现出卓越的泛化能力（包括对未见变量的泛化和对任意回溯窗口的有效利用）和增强的可解释性。此外，该“倒置”框架具有通用性，可以提升现有各种 Transformer 变体的性能。

7.2. 局限性与未来工作

论文指出了现有工作的一些讨论和未来的研究方向：

• 非平稳性处理: 尽管 iTransformer 中的层归一化在一定程度上处理了非平稳问题，但仍有进一步改进的空间来更好地处理分布偏移 (distribution shift) 问题。
• 单变量场景下的局限: 在单变量时间序列预测中，iTransformer 实际上会退化为堆叠的线性预测器（因为注意力机制无法作用），这时其对时间依赖性的利用可能还有待增强。
• 更精细的变量令牌化和嵌入机制: 尽管 iTransformer 提出了变量令牌化的新范式，但未来的工作可以探索更精细的变量令牌化方式，并设计更具归纳偏置 (inductive bias) 的嵌入机制（例如结合 TCN），以处理更复杂的场景，如不规则时间序列等。
• 大规模预训练: iTransformer 展现出的变量泛化能力为其在大规模时间序列数据上进行预训练 (large-scale pre-training) 奠定了基础，这是一个值得探索的未来方向。
• 更多时间序列分析任务: iTransformer 可以作为时间序列分析的基础骨干模型，未来可以将其应用于更多的时间序列分析任务。

7.3. 个人启发与批判

7.3.1. 个人启发

• “维度倒置”的颠覆性思维: iTransformer 最具启发性的一点是其“维度倒置”的思维。在深度学习领域，我们常常习惯于在某个既定维度（如NLP中的token序列，CV中的图像patch序列）上应用SOTA模型。iTransformer告诉我们，重新审视数据的基本结构和模型组件的“职责”，可能比单纯地改进模型内部机制更能带来突破。它提醒研究者，有时问题的症结不在于模型不够强大，而在于模型的应用方式不恰当。
• 组件职责的清晰化: 论文清晰地定义了注意力机制和前馈网络在“倒置”架构中的新职责（注意力捕获变量间相关性，FFN学习序列表示），这使得模型设计更加有针对性和可解释。这种分工思想对于理解和优化复杂模型非常有价值。
• 泛化能力的潜力: iTransformer在未见变量和长回溯窗口上的卓越泛化能力，预示着其作为时间序列基础模型 (foundation model) 的巨大潜力。这对于构建可迁移、可扩展的时间序列预测系统至关重要。

7.3.2. 批判与潜在改进

• “维度倒置”的普适性边界: 虽然 iTransformer 在多变量时间序列上取得了成功，但其在单变量时间序列或变量数量非常少（N值很小，导致注意力机制效果不明显）的场景下，性能可能退化。在这种情况下，模型本质上更接近于一个堆叠的 MLP 线性预测器，其捕获复杂时间依赖的能力是否足够，值得进一步探讨和优化。
• 计算复杂度的细致考量: 尽管 iTransformer 在许多数据集上表现出高效率，但当变量数量 $N$ 变得极其庞大时，注意力机制的 $O(N^2)$ 复杂度仍然是一个潜在瓶颈。虽然论文提到了高效注意力机制和高效训练策略，但其在超大规模变量场景下的实际效率和可扩展性仍需严格验证。
• 可解释性的进一步量化: 论文通过可视化注意力图展示了多变量相关性，提供了很好的直观解释。未来工作可以尝试更量化、更严格的方法来评估和验证这种可解释性，例如通过因果推断 (causal inference) 或其他统计方法来确认注意力权重是否真正对应于实际的变量间影响。
• 非平稳性处理的深度: 论文提到层归一化有助于处理非平稳性，但时间序列的非平稳性是复杂多样的。更深层次的非平稳性处理技术（如趋势分解、季节性分解或更复杂的自适应归一化方法）是否能与 iTransformer 结合，进一步提升其鲁棒性，是一个有前景的方向。
• “变量令牌”的内部结构探索: 当前的变量令牌是通过 MLP 将整个时间序列嵌入得到的。如果时间序列本身具有复杂的内部结构（如多尺度特征、长程依赖），单一 MLP 嵌入可能无法完全捕捉。可以探索更复杂的编码器（如 TCN、RNN 或更专门设计的 Transformer 变体）来生成更丰富的变量令牌表示，但这可能会增加模型的复杂性。