1. 论文基本信息

1.1. 标题

LLM-PS: 赋能大语言模型进行时间序列预测，融合时序模式与语义 (LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics)

1.2. 作者

• Jialiang Tang (1, 2)
• Shuo Chen (3)
• Chen Gong (4)
• Jing Zhang (5)
• Dacheng Tao (2)

隶属机构：

1. 澳大利亚悉尼大学 (University of Sydney, Australia)
2. 悉尼AI中心 (Sydney AI Centre)
3. 墨尔本大学 (University of Melbourne)
4. 南京农业大学 (Nanjing Agricultural University)
5. 悉尼大学 (University of Sydney)

1.3. 发表期刊/会议

该论文作为预印本 (arXiv preprint) 发布。

• 发布状态: 预印本 (Preprint)
• 相关领域声誉: arXiv 是计算机科学和相关领域研究论文的主要预印本存储库，论文在此发布以供社区审查和讨论。它在学术交流中扮演着重要角色，但尚未经过正式的同行评审 (peer review) 流程。

1.4. 发表年份

2025年

1.5. 摘要

时间序列预测 (TSF) 在金融规划和健康监测等众多现实世界领域至关重要。最近的研究表明，大语言模型 (LLMs) 凭借其强大的上下文建模能力，在 TSF 方面具有巨大潜力。然而，现有基于 LLM 的方法通常表现不佳，因为它们忽略了时间序列数据的固有特性。与 LLM 预训练中使用的文本数据不同，时间序列数据语义稀疏，并包含独特的时序模式。为解决此问题，本文提出了 LLM-PS，通过学习时间序列数据中的基本模式 (Patterns) 和有意义的语义 (Semantics) 来增强 LLM 的 TSF 能力。LLM-PS 包含一个新型的多尺度卷积神经网络 (MSCNN)，擅长捕捉时间序列中的短期波动和长期趋势。同时，我们引入了一个时间到文本 (time-to-text, T2T) 模块，用于从连续时间间隔而非孤立时间点提取有价值的语义。通过整合这些模式和语义，LLM-PS 有效地建模了时间依赖性，实现了对时间序列的深入理解，并提供了准确的预测。大量的实验结果表明，LLM-PS 在短期和长期预测任务，以及少样本 (few-shot) 和零样本 (zero-shot) 设置中均取得了最先进的 (state-of-the-art, SOTA) 性能。

1.6. 原文链接

https://arxiv.org/abs/2503.09656v1

1.7. PDF 链接

https://arxiv.org/pdf/2503.09656v1.pdf

2. 整体概括

2.1. 研究背景与动机

时间序列预测 (Time Series Forecasting, TSF) 是一个在金融、能源、交通、医疗等多个关键领域都具有广泛应用的重要任务。传统的深度学习方法通常依赖于为特定任务定制的模型设计，这导致它们在面对不同领域或具有不同时序特性的数据时，泛化能力较差。此外，这些模型往往从头开始训练，在数据有限的实际场景中容易过拟合 (overfitting)。

近年来，大语言模型 (Large Language Models, LLMs) 在自然语言处理 (Natural Language Processing, NLP) 领域取得了巨大成功，展现出强大的上下文建模和泛化能力。由于时间序列数据和文本数据都具有序列性 (sequentiality) 和上下文依赖性 (contextual dependency) 的相似之处，研究者们开始探索将 LLM 应用于 TSF。然而，现有基于 LLM 的 TSF 方法主要关注于对齐时间序列数据与文本数据，却普遍忽略了时间序列数据本身的固有特性，导致其性能 suboptimal (次优)。

论文指出，时间序列数据存在两个核心特性是 LLM 预训练文本数据所不具备的，且现有 LLM 方法未充分解决：

1. 多样化的时序模式 (Diverse Temporal Patterns): 时间序列数据包含周期性的短期波动 (short-term periodic fluctuations) 和持续的长期趋势 (persistent long-term trends)。这些模式在文本数据中很少出现，是时间序列预测的关键。

2. 语义稀疏性 (Semantic Sparsity): 时间序列数据通常语义稀疏，需要一个完整的序列才能表达特定的含义（例如“快速增长”或“突然下降”），而文本数据中的词汇通常具有明确的语义。LLM 预训练在语义丰富的文本数据上，难以直接从稀疏的时间序列中精确提取语义。

   因此，该论文的动机在于，要实现可靠的时间序列预测，关键在于识别时间序列数据中固有的基本时序模式和特定的语义信息，并以此指导 LLM 进行预测。

2.2. 核心贡献/主要发现

该论文提出了 LLM-PS 框架，旨在通过充分利用时间序列数据中的时序模式和语义信息，赋能大语言模型进行更准确的时间序列预测。其核心贡献和主要发现包括：

• 识别并解决时间序列数据固有特性： LLM-PS 首次明确指出并着手解决 LLM 应用于 TSF 时，现有方法忽略了时间序列数据语义稀疏和多样化时序模式的固有特性，并提出了一种新颖的 TSF 框架来利用这些特性。
• 多尺度卷积神经网络 (MSCNN) 的设计： 提出了一个新颖的 MSCNN 模块，能够有效地捕获时间序列中的短期波动 (short-term fluctuations) 和长期趋势 (long-term trends)。该模块通过并行分支和递归结构实现多尺度特征提取，并通过基于小波变换 (wavelet transform) 的模式解耦与组装 (decoupling and assembling) 机制进一步细化和增强这些时序模式。
• 时间到文本 (T2T) 语义提取模块的引入： 设计了一个 T2T 模块，通过自监督学习 (self-supervised learning) 的方式，从时间序列数据中提取有价值的语义信息。该模块通过重建掩码 (masked) 时间序列片段并预测其语义标签来学习，从而将时间序列的稀疏语义转化为 LLM 更易理解的形式。
• 整合模式与语义的 LLM 赋能框架： LLM-PS 将 MSCNN 提取的丰富时序模式和 T2T 提取的语义信息通过特征融合 (feature transfer) 输入到 LLM 中，从而使 LLM 对时间序列数据有更全面的理解和建模能力。
• 卓越的性能表现： LLM-PS 在多个主流时间序列预测基准数据集上，包括长期预测 (long-term forecasting)、短期预测 (short-term forecasting) 以及更具挑战性的少样本 (few-shot) 和零样本 (zero-shot) 场景下，均持续取得了最先进的 (SOTA) 性能。
• 高效率与鲁棒性： 实验结果表明，LLM-PS 相较于其他 LLM 微调方法具有显著的训练效率，并且对噪声数据展现出更强的鲁棒性 (robustness)。

3. 预备知识与相关工作

3.1. 基础概念

• 时间序列预测 (Time Series Forecasting, TSF): TSF 是一种利用历史数据预测未来时间点数值的技术。它在金融、气象、医疗等领域有广泛应用。核心挑战在于捕捉数据中的趋势、季节性、周期性以及不规则波动等复杂模式。
• 大语言模型 (Large Language Models, LLMs): LLM 是一种基于 Transformer 架构的深度学习模型，通过在海量文本数据上进行预训练，学习语言的统计规律和语义信息。它们具有强大的上下文理解、生成和泛化能力。典型的 LLM 包括 GPT 系列和 Llama 系列。
• Transformer (变换器): Transformer 是一种主要用于处理序列数据的神经网络架构，其核心是自注意力机制 (self-attention mechanism)。Transformer 摒弃了传统的循环神经网络 (Recurrent Neural Network, RNN) 或卷积神经网络 (Convolutional Neural Network, CNN) 结构，能够并行处理序列中的所有元素，从而有效捕捉长距离依赖关系。 Transformer 中的 Attention (注意力) 机制允许模型在处理序列中的某个元素时，能够“关注”到序列中所有其他相关元素，并根据其相关性赋予不同的权重。其核心计算公式如下： $$\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 符号解释：
  • $Q$ (Query): 查询矩阵，由当前词的嵌入向量经过线性变换得到。
  • $K$ (Key): 键矩阵，由序列中所有词的嵌入向量经过线性变换得到。
  • $V$ (Value): 值矩阵，由序列中所有词的嵌入向量经过线性变换得到。
  • $Q K^T$: Query 和 Key 的点积，衡量 Query 与序列中每个 Key 的相似度或相关性。
  • $\sqrt{d_k}$: 缩放因子，用于防止点积结果过大导致 softmax 函数梯度过小。$d_k$ 是 Key 向量的维度。
  • $\mathrm{softmax}(\cdot)$: 归一化函数，将相似度分数转换为权重分布，确保所有权重之和为1。
  • $V$: 值矩阵，加权求和后得到的信息表示。
• 卷积神经网络 (Convolutional Neural Network, CNN): CNN 是一种专门处理具有网格状拓扑数据（如图像、时间序列）的神经网络。其核心是卷积层 (convolutional layer)，通过滑动滤波器 (filter) 在输入数据上提取局部特征。在时间序列中，CNN 可以通过一维卷积核捕捉不同时间窗口内的局部模式。
• 多尺度特征 (Multi-Scale Features): 指在不同时间尺度或空间粒度上提取的特征。在时间序列中，多尺度特征可以同时捕捉短期的局部波动和长期的全局趋势。
• 小波变换 (Wavelet Transform, WT): WT 是一种时频分析 (time-frequency analysis) 工具，可以将信号分解成不同频率分量，从而在时间和频率域同时分析信号。与傅里叶变换 (Fourier Transform) 只能给出信号的总体频率信息不同，小波变换能够提供信号在不同时间点上的频率信息，使其特别适用于分析非平稳信号，如时间序列中的突变或瞬态现象。它能将信号分解为低频（近似）分量和高频（细节）分量，分别对应长期趋势和短期波动。
• 参数高效微调 (Parameter-Efficient Fine-Tuning, PEFT): 指在微调大型预训练模型时，只更新模型参数的一个小子集，而不是更新所有参数。这大大减少了计算资源和存储需求，并能有效缓解灾难性遗忘。LoRA (Low-Rank Adaptation) 是其中一种流行的 PEFT 技术。
• 自监督学习 (Self-Supervised Learning, SSL): 一种机器学习范式，模型通过从数据本身生成监督信号来学习有用的数据表示，而无需人工标注。常见的任务包括掩码语言建模 (Masked Language Modeling, MLM) 或重建掩码输入。

3.2. 前人工作

• 传统 TSF 方法:
  • 统计模型: 如 ARIMA (Autoregressive Integrated Moving Average) 和 ETS (Error, Trend, Seasonality)，它们基于历史数据的统计特性进行预测。
  • 深度学习模型: 随着计算能力的提升，RNN (如 LSTM 和 GRU)、CNN、Transformer 和 MLP (Multi-Layer Perceptron) 等深度学习模型被广泛应用于 TSF。例如，TimesNet (Wu et al., 2023a), TCN (Bai et al., 2018), MICN (Wang et al., 2022) 是 CNN-based 方法；PatchTST (Nie et al., 2023), iTransformer (Liu et al., 2024b), Crossformer (Zhang & Yan, 2023a), FEDformer (Zhou et al., 2022), Autoformer (Wu et al., 2021) 是 Transformer-based 方法；DLinear (Zeng et al., 2023), TiDE (Das et al., 2023), TimeMixer (Wang et al., 2024) 是 MLP-based 方法。
• 基于 LLM 的 TSF 方法:
  • PromptCast (Xue & Salim, 2023): 将时间序列和文本数据编码成 prompts (提示)，以指导 LLM 预测。prompts 包含上下文信息、任务要求和所需输出格式。
  • TimeLLM (Jin et al., 2024): 通过 text prototypes (文本原型) 对时间序列数据进行重编程 (reprogramming)，以弥合时间序列和文本模态之间的鸿沟，从而释放 LLM 的 TSF 性能。它通过 prompts 进一步增强 LLM 的指导，其中包含领域信息、指令和数据统计。
  • CALF (Liu et al., 2024a): 为时间序列和文本数据训练独立的 LLM 分支，并在中间层和输出层对齐它们的特征。
  • GPT4TS (Zhou et al., 2023b): 将连续时间序列数据分段为与 LLM 兼容的离散词元 (tokens)。
  • LLM-TS (Chen et al., 2024): 使用 CNN 作为时间序列分支，并通过最小化互信息 (mutual information) 来指导 LLM。
  • LLMMixer (Kowsher et al., 2024): 学习多尺度特征。

3.3. 技术演进

时间序列预测从最初的统计模型（如 ARIMA），发展到基于 RNN、CNN 等特定深度学习模型，再到 Transformer 架构的广泛应用。近年来，预训练大模型的兴起，特别是 LLM 在 NLP 领域的成功，促使研究者们探索将 LLM 的强大序列建模能力迁移到时间序列领域。早期的 LLM-based TSF 方法主要关注如何将时间序列数据转化为 LLM 可以理解的格式（如 PromptCast, GPT4TS），或如何对齐不同模态的特征（如 TimeLLM, CALF）。这些方法虽然取得了进展，但往往未能深入挖掘时间序列数据特有的时序模式和语义稀疏性带来的挑战。

3.4. 差异化分析

LLM-PS 与现有 LLM-based TSF 方法的核心区别在于，它不仅试图对齐文本和时间序列模态，更重要的是，它积极地、有针对性地解决了时间序列数据固有的“多样化时序模式”和“语义稀疏性”这两个特性。

• 处理时序模式： 现有方法如 LLMMixer 也尝试学习多尺度特征，但 LLM-PS 引入了专门设计的 MSCNN 模块，通过结合并行卷积分支和递归结构，以及基于小波变换的解耦和组装机制，更有效地捕捉和细化短期波动和长期趋势。这使得 LLM-PS 能够在一个统一的框架内高效处理不同尺度的时序信息，而无需像某些方法那样通过多个不同窗口大小的池化操作来生成多尺度信号，从而避免了巨大的计算开销。
• 解决语义稀疏性： 针对时间序列数据语义稀疏的问题，LLM-PS 提出了独特的 T2T 模块。该模块通过自监督学习的掩码重建和语义标签预测任务，迫使模型从连续的时间间隔中提取有意义的语义信息，并将其转化为 LLM 更易理解的文本嵌入形式。这与直接将时间序列离散化为 tokens 或简单对齐特征的方法不同，它专注于提升时间序列数据本身的语义表达能力，从而更好地引导 LLM 进行预测。
• 系统性整合： LLM-PS 将 MSCNN 提取的模式和 T2T 提取的语义进行有效整合，通过特征转移 (feature transfer) 共同输入到 LLM 中，实现了对时间序列数据的全面理解，从而在各种预测任务中取得更优的性能。

4. 方法论

本节将详细阐述 LLM-PS (Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics) 的方法论。LLM-PS 旨在通过学习时间序列数据中固有的时序模式 (Patterns) 和有意义的语义 (Semantics) 来增强大语言模型 (LLM) 的时间序列预测 (TSF) 能力。整个框架由三个主要组成部分构成：多尺度卷积神经网络 (MSCNN)、时间到文本语义提取模块 (T2T) 和 LLM 的高效训练机制。

下图（原文 Figure 2）展示了我们提出的 LLM-PS 的总览：

该图像是一个示意图，展示了 LLM-PS 方法的架构，包括多尺度卷积神经网络 (MSCNN) 和时间到文本提取器 (T2T Extractor)。该方法通过捕获短期波动和长期趋势来转移多尺度特征，并提取语义特征，从而预测时间序列数据。公式 L_{TIME} = rac{1}{T} imes ext{∑}_{i=1}^{T} orm{Y_{i} - ar{Y}_{i}}_{2} 表示目标函数。

我们的 LLM-PS 包含一个多尺度卷积神经网络 (MSCNN)，用于从输入时间序列中提取具有不同感受野（即不同时序模式，颜色越深表示感受野越大）的特征 $\mathbf{F}_{\mathrm{MS}}$，从而捕获局部短期波动和更广泛的长期趋势。同时，T2T 模块通过特征转移 (feature transferring) 提取具有有意义语义的特征 $\mathbf{F}_{\mathrm{T2T}}$，并将其输入到 LLM 中，以生成精确的时间序列预测 $\hat{\mathbf{Y}}$。

4.1. 方法原理

LLM-PS 的核心思想是，为了让 LLM 能够准确预测时间序列，必须为其提供时间序列数据中特有的结构性信息。这些信息包括：

1. 多尺度的时序模式： 时间序列数据通常同时包含快速变化的短期波动（如日内周期性）和缓慢演变的长期趋势（如季节性或年度趋势）。LLM 预训练于文本，可能难以有效捕捉这些模式。

2. 丰富的语义信息： 尽管时间序列数据本身语义稀疏，但连续的时间间隔可以传达“快速上升”、“缓慢下降”等有意义的语义。这些语义对于理解时间序列的行为至关重要。

   LLM-PS 通过专门设计的 MSCNN 模块来捕捉多尺度时序模式，并通过 T2T 模块从时间序列中提取语义信息。这些模式和语义随后被整合并输入到 LLM 中，以指导其进行精确的预测。

4.2. 多尺度卷积神经网络 (MSCNN)

真实世界的时间序列数据是复杂且多变的，同时包含短期波动和长期趋势，这两者对于准确预测都至关重要。传统的卷积神经网络 (CNN) 由于其固定感受野 (receptive field) 的卷积层，在捕捉这些多样化时序模式时存在局限性。LLM-PS 引入了一个新型的 MSCNN，旨在有效捕捉不同尺度的时序模式。

下图（原文 Figure 3）展示了 MSCNN 块的示意图：

该图像是示意图，展示了MSCNN块的结构和数据流。输入特征首先通过$1 \times 1$卷积层进行通道分离，随后通过$3 \times 3$卷积层提取不同频率模式。使用小波变换（WT）和逆小波变换（IWT）将特征解耦为长短期模式$(\mathbf{P}_L, \mathbf{P}_S)$。接着，通过局部与全局组装增强模式，最终合并改进后的模式，通过$1 \times 1$卷积层生成多尺度特征。

4.2.1. MSCNN 块的结构

MSCNN 块借鉴了经典 CNN 结构（如 ResNet 的 bottleneck 块），通过并行分支来学习多尺度特征。每个 MSCNN 块的输入特征 $\mathbf{F}_{\mathrm{in}} \in \mathbb{R}^{C \times V}$ 首先经过一个 $1 \times 1$ 卷积层进行通道处理，然后被分成 $B$ 个分支 $\{\mathbf{F}_1, \dots, \mathbf{F}_B\}$，其中 $\mathbf{F}_i \in \mathbb{R}^{C/B \times V}$ (为简化描述，此处省略批量维度)。接着，$B$ 个分支的特征递归地输入到各自的 $3 \times 3$ 卷积层，并与前一个分支的输出（除了 $\mathbf{F}_1$）相加，如下所示：

$$\begin{array}{r} \bar{\mathbf{F}}_{i} = \left\{ \begin{array}{ll} \mathbf{Conv}_{i}(\mathbf{F}_{i}), & i = 1, \\ \mathbf{Conv}_{i}(\mathbf{F}_{i} + \bar{\mathbf{F}}_{i-1}), & 1 < i \leq B. \end{array} \right. \end{array}$$ 符号解释：

• $\mathbf{F}_{\mathrm{in}}$: 输入特征，形状为 $C \times V$，其中 $C$ 是通道数，$V$ 是变量数。

• $C$: 通道数。

• $V$: 时间序列的变量数（例如，多元时间序列的维度）。

• $B$: MSCNN 块中的分支数量。

• $\mathbf{F}_i$: 第 $i$ 个分支的输入特征，形状为 $C/B \times V$。

• $\mathbf{Conv}_i(\cdot)$: 第 $i$ 个分支中的 $3 \times 3$ 卷积层。

• $\bar{\mathbf{F}}_i$: 第 $i$ 个分支的输出特征。

  通过这种递归结构，各个分支特征的感受野 (receptive field) 呈序列式增长。具体来说，具有较小感受野的特征 ($\bar{\mathbf{F}}_1$) 主要捕捉局部周期性波动，而具有较大感受野的特征 ($\bar{\mathbf{F}}_B$) 则能关注更广泛的全局趋势。

最后，这些分支的输出特征 $\{\bar{\mathbf{F}}_1, \dots, \bar{\mathbf{F}}_B\}$ 被拼接 (concatenate) 起来，并通过一个 $1 \times 1$ 卷积层进行融合，再与原始输入特征 $\mathbf{F}_{\mathrm{in}}$ 进行残差连接 (shortcut)，得到输出特征 $\mathbf{F}_{\mathrm{out}}$：

$$\mathbf{F}_{\mathrm{out}} = \mathbf{Conv}_{1 \times 1}(\mathrm{Concate}(\{\bar{\mathbf{F}}_1, \dots, \bar{\mathbf{F}}_B\}) + \mathbf{F}_{\mathrm{in}}$$ 符号解释：

• $\mathrm{Concate}(\{\bar{\mathbf{F}}_1, \dots, \bar{\mathbf{F}}_B\})$: 将所有分支的输出特征沿通道维度拼接起来。

• $\mathbf{Conv}_{1 \times 1}(\cdot)$: 一个 $1 \times 1$ 卷积层，用于融合拼接后的特征。

• $\mathbf{F}_{\mathrm{out}}$: MSCNN 块的最终输出特征。

• $\mathbf{F}_{\mathrm{in}}$: 原始输入特征，通过残差连接加到输出特征中，有助于训练更深的网络并缓解梯度消失问题。

  MSCNN 块的输出 $\mathbf{F}_{\mathrm{out}}$ 将作为后续 MSCNN 块的输入，最终生成用于 LLM 的多尺度特征 $\mathbf{F}_{\mathrm{MS}}$。

4.2.2. 时序模式解耦与组装 (Temporal Patterns Decoupling and Assembling)

为了进一步精炼多尺度特征中的时序模式，LLM-PS 引入了一种基于小波变换 (wavelet transform) 的模式解耦与组装机制。这种机制利用了时间序列的高频和低频分量分别对应短期和长期模式的特性。

首先，MSCNN 块中 $B$ 个分支的输出特征 $\{\bar{\mathbf{F}}_1, \dots, \bar{\mathbf{F}}_B\}$ 使用小波变换 $\mathrm{WT}(\cdot)$ 被解耦为低频分量 $\mathbf{W}_{\mathrm{low}}$ 和高频分量 $\{\mathbf{W}_{\mathrm{high},i}\}_{i=1}^w$：

$$\mathbf{W}_{\mathrm{low}}^b, \{\mathbf{W}_{\mathrm{high}\_i}^b\}_{i=1}^w = \mathrm{WT}(\bar{\mathbf{F}}_b, w), \quad b \in \{1, \dots, B\}$$ 符号解释：

• $\bar{\mathbf{F}}_b$: 第 $b$ 个分支的输出特征。

• $\mathrm{WT}(\cdot, w)$: 小波变换函数，将输入特征分解为 $w$ 个分解级别。

• $\mathbf{W}_{\mathrm{low}}^b$: 第 $b$ 个分支对应的低频分量，代表长期趋势。

• $\{\mathbf{W}_{\mathrm{high}\_i}^b\}_{i=1}^w$: 第 $b$ 个分支对应的 $w$ 个高频分量，代表短期波动。

• $w$: 小波分解的层级数。

  接着，短期模式 $\mathbf{P}_{\mathrm{S}}$ 和长期模式 $\mathbf{P}_{\mathrm{L}}$ 通过逆小波变换 $\mathrm{IWT}(\cdot)$ 构建：

$$\begin{array}{r} \left\{ \begin{array}{l} \mathbf{P}_{\mathrm{S}}^b = \mathrm{IWT}(\mathrm{Zero}(\mathbf{W}_{\mathrm{low}}^b), \{\mathbf{W}_{\mathrm{high}\_i}^b\}_{i=1}^w), \\ \mathbf{P}_{\mathrm{L}}^b = \mathrm{IWT}(\mathbf{W}_{\mathrm{low}}^b, \{\mathrm{Zero}(\mathbf{W}_{\mathrm{high}\_i}^b)\}_{i=1}^w), \end{array} \right. \end{array}$$ 符号解释：

• $\mathrm{IWT}(\cdot, \cdot)$: 逆小波变换函数，用于从分解分量中重构信号。

• $\mathrm{Zero}(\cdot)$: 一个操作，生成与输入维度匹配但填充为零的特征。

• $\mathbf{P}_{\mathrm{S}}^b$: 第 $b$ 个分支重构的短期模式。通过将低频分量置零，仅用高频分量重构。

• $\mathbf{P}_{\mathrm{L}}^b$: 第 $b$ 个分支重构的长期模式。通过将高频分量置零，仅用低频分量重构。

  为了进一步增强短长期模式的表示，LLM-PS 采用了局部到全局 (local-to-global) 和全局到局部 (global-to-local) 的组装策略：

$$\left\{ \begin{array}{ll} \mathrm{For} \ b: 2 \to B \ \mathrm{do}: & \quad \mathbf{P}_{\mathrm{S}}^b = \mathbf{P}_{\mathrm{S}}^b + \mathbf{P}_{\mathrm{S}}^{b-1}, \\ \mathrm{For} \ b: (B-1) \to 1 \ \mathrm{do}: & \quad \mathbf{P}_{\mathrm{L}}^b = \mathbf{P}_{\mathrm{L}}^b + \mathbf{P}_{\mathrm{L}}^{b+1}. \end{array} \right.$$ 符号解释：

• $\mathbf{P}_{\mathrm{S}}^b = \mathbf{P}_{\mathrm{S}}^b + \mathbf{P}_{\mathrm{S}}^{b-1}$: 短期模式从局部（小感受野分支）向全局（大感受野分支）累积。

• $\mathbf{P}_{\mathrm{L}}^b = \mathbf{P}_{\mathrm{L}}^b + \mathbf{P}_{\mathrm{L}}^{b+1}$: 长期模式从全局（大感受野分支）向局部（小感受野分支）累积。

  这种组装方式利用了不同分支感受野的特性：小感受野分支更擅长捕获局部周期性波动，其短期模式通过局部到全局的方式传播；大感受野分支更关注全局趋势，其长期模式通过全局到局部的方式影响较小感受野的分支。

组装完成后，每个分支的特征 $\{\bar{\mathbf{F}}_1, \dots, \bar{\mathbf{F}}_B\}$ 通过结合其增强后的短期模式和长期模式进行重构：

$$\bar{\mathbf{F}}_b = \mathbf{P}_{\mathrm{S}}^b + \mathbf{P}_{\mathrm{L}}^b, \quad b \in \{1, \dots, B\}.$$ 符号解释：

• $\bar{\mathbf{F}}_b$: 重构后的第 $b$ 个分支的输出特征。

4.3. 时间到文本语义提取 (Time-to-Text Semantics Extraction, T2T)

LLM 在大量语义丰富的文本数据上进行预训练，而时间序列数据则具有语义稀疏的特点。这意味着单个时间点通常不具备明确的语义，而只有连续的时间间隔才能表达“快速增长”或“突然下降”等特定含义。为解决 LLM 难以精确解释时间序列语义的问题，LLM-PS 提出了 T2T 模块。T2T 模块采用编码器-解码器结构，通过自监督学习提取时间序列数据中的语义信息。

下图（原文 Figure 7）展示了 Time-to-Text (T2T) 模块的示意图：

该图像是示意图，展示了提出的时间到文本（T2T）模块的架构。图中分为两部分：左侧为T2T编码器和解码器的工作流程，包含输入时间序列的处理、隐藏状态的生成及标签预测；右侧为语义过滤过程，通过相似性基础的语义过滤提升嵌入效果。图例中的符号说明了不同的输入、输出、层次结构和注意力机制，强调了如何有效捕获时间序列数据中的模式和语义信息。

4.3.1. T2T 模块的结构与训练

T2T 模块的灵感来源于音频处理领域的自监督学习方法，其设计包括一个编码器 (encoder) 和一个解码器 (decoder)，两者都由 Transformer 层堆叠而成。

数据预处理： 首先，输入时间序列 $\mathbf{X} \in \mathbb{R}^{H \times V}$ (其中 $H$ 是历史时间步长，$V$ 是变量数) 被分割成 $P$ 个连续的片段 (patches) $\{\mathbf{X}_i\}_{i=1}^P$，其中每个片段 $\mathbf{X}_i \in \mathbb{R}^{L \times V}$，$L$ 是片段长度。然后，约 $75\%$ 的片段会被随机掩码 (masked)。

自监督学习任务： T2T 模块在训练过程中执行两个任务以学习精确的语义信息：

1. 重建掩码片段： 模型需要重建被掩码的片段。

2. 预测片段标签： 模型需要预测这些片段的语义标签。

   T2T 模块的损失函数定义如下：

$$\mathcal{L}_{\mathrm{T2T}} = \frac{1}{P} \sum_{i=1}^P \left( \mathbb{1}_{[\mathbf{M}(i)=1]} \|\mathbf{X}_i - \hat{\mathbf{X}}_i\|_2 + l_i \log \frac{l_i}{\hat{l_i}} \right).$$ 符号解释：

• $P$: 时间序列被分割成的片段总数。
• $\mathbb{1}_{[\mathbf{M}(i)=1]}$: 指示函数，如果第 $i$ 个片段被掩码（即 $\mathbf{M}(i)=1$），则为 1，否则为 0。
• $\mathbf{X}_i$: 原始的第 $i$ 个片段。
• $\hat{\mathbf{X}}_i$: T2T 模块重建的第 $i$ 个片段。
• $\|\cdot\|_2$: 欧几里得范数 (L2 范数)，用于计算重建误差。
• $l_i$: 原始第 $i$ 个片段的语义标签 (作为独热编码或概率分布)。
• $\hat{l_i}$: T2T 模块预测的第 $i$ 个片段的语义标签 (作为概率分布)。
• $l_i \log \frac{l_i}{\hat{l_i}}$: 这部分是 Kullback-Leibler (KL) 散度的一种形式，用于衡量预测标签分布 $\hat{l_i}$ 与真实标签分布 $l_i$ 之间的差异。

语义标签分配： 对于每个片段 $\mathbf{X}_i$ (或其重建版本 $\hat{\mathbf{X}}_i$)，其语义标签 $l_i$ (或 $\hat{l_i}$) 通过计算其与 LLM 文本嵌入 (text embeddings) 词汇中最相似的词来分配。相似度 $\mathbf{S}_i$ 计算如下：

$$\mathbf{S}_i = \mathrm{Proj}(\mathbf{X}_i) \cdot \mathbf{E}^\top.$$ 符号解释：

• $\mathrm{Proj}(\cdot)$: 一个线性变换函数，将输入片段 $\mathbf{X}_i$ 投影到与 LLM 文本嵌入 $\mathbf{E}$ 相同的维度。

• $\mathbf{E}$: 预定义的 LLM 文本嵌入词汇表（或其中一部分）。

• $\top$: 转置操作。

• $\mathbf{S}_i$: 第 $i$ 个片段与 LLM 词汇表中所有词嵌入的相似度向量。

  具体来说，作者首先从 GPT2 模型中筛选出与 TSF 相关的文本索引 $\{t_j\}_{j=1}^I$，构建一个子词汇表 $\hat{\mathbf{E}} = \{\mathbf{E}_{\mathrm{ori}}[t_j]\}_{j=1}^I$。然后，计算 $\hat{\mathbf{E}}$ 与原始 LLM 词嵌入 $\mathbf{E}_{\mathrm{ori}}$ 之间的相似度：

$$\mathbf{s} = \frac{\hat{\mathbf{E}} \cdot \mathbf{E}_{\mathrm{ori}}}{\|\hat{\mathbf{E}}\|_2 \|\mathbf{E}_{\mathrm{ori}}\|_2}.$$ 符号解释：

• $\mathbf{E}_{\mathrm{ori}}$: GPT2 模型原始的完整词嵌入矩阵，形状为 $W \times D$，其中 $W$ 是词汇表大小，$D$ 是嵌入维度。

• $t_j$: 与 TSF 相关的文本词元的索引。

• $\hat{\mathbf{E}}$: 从 $\mathbf{E}_{\mathrm{ori}}$ 中提取的与 TSF 相关的词嵌入子集。

• $\mathbf{s}$: 相似度矩阵，衡量 $\hat{\mathbf{E}}$ 中每个嵌入与 $\mathbf{E}_{\mathrm{ori}}$ 中所有嵌入的相似度。

• $\|\cdot\|_2$: L2 范数。

  最终，选择相似度最高的 100 个词作为 T2T 训练的语义词汇表 $\mathbf{E}$。

4.4. LLM-PS 的高效训练 (Efficient Training of LLM-PS)

为了高效地训练具有大量参数的 LLM，LLM-PS 采用了参数高效微调 (Parameter-Efficient Fine-Tuning, PEFT) 技术，具体是 Low-Rank Adaptation (LoRA)。

LLM-PS 的总目标函数 $\mathcal{L}_{\mathrm{OBJ}}$ 结合了时间序列预测损失 $\mathcal{L}_{\mathrm{TIME}}$ 和特征对齐损失 $\mathcal{L}_{\mathrm{FEAT}}$：

$$\mathcal{L}_{\mathrm{OBJ}} = \mathcal{L}_{\mathrm{TIME}} + \lambda \mathcal{L}_{\mathrm{FEAT}},$$ 其中，

$$\left\{ \begin{array}{ll} \displaystyle \mathcal{L}_{\mathrm{TIME}} = \frac{1}{T} \sum_{i=1}^T \|\mathbf{Y}_i - \hat{\mathbf{Y}}_i\|_2, \\ \displaystyle \mathcal{L}_{\mathrm{FEAT}} = \frac{1}{C} \sum_{j=1}^C \|\mathbf{F}_{\mathrm{MS}}^j - \mathbf{F}_{\mathrm{T2T}}^j\|_2. \end{array} \right.$$ 符号解释：

• $\mathcal{L}_{\mathrm{OBJ}}$: LLM-PS 的总目标函数，旨在优化模型以实现准确预测并有效融合模式和语义。
• $\mathcal{L}_{\mathrm{TIME}}$: 时间序列预测损失。它鼓励 LLM 生成的预测 $\hat{\mathbf{Y}}$ 与真实值 $\mathbf{Y}$ 尽可能接近。
  • $T$: 预测时间步长。
  • $\mathbf{Y}_i$: 第 $i$ 个时间步的真实时间序列值。
  • $\hat{\mathbf{Y}}_i$: 第 $i$ 个时间步的预测时间序列值。
  • $\|\cdot\|_2$: 欧几里得范数 (L2 范数)，通常计算预测值与真实值之间的平方差，这里表示均方误差 (MSE) 的一种形式。
• $\mathcal{L}_{\mathrm{FEAT}}$: 特征对齐损失。它通过语义对齐来丰富 MSCNN 提取的多尺度特征 $\mathbf{F}_{\mathrm{MS}}$。

  • $\lambda$: 一个权衡参数，用于平衡 $\mathcal{L}_{\mathrm{TIME}}$ 和 $\mathcal{L}_{\mathrm{FEAT}}$ 的贡献。

  • $C$: 特征通道数。

  • $\mathbf{F}_{\mathrm{MS}}^j$: MSCNN 提取的特征的第 $j$ 个通道。

  • $\mathbf{F}_{\mathrm{T2T}}^j$: T2T 模块生成的特征的第 $j$ 个通道。

  • $\|\cdot\|_2$: 欧几里得范数 (L2 范数)，用于衡量两种特征之间的相似度。

    LoRA (Low-Rank Adaptation) 是一种 PEFT 方法，它通过在 Transformer 模型的特定层中注入小的、可训练的低秩矩阵来微调 LLM。这使得在训练过程中只更新这些小矩阵的参数，而保持大部分预训练 LLM 参数冻结，从而显著减少了可训练参数的数量。

5. 实验设置

本节将详细介绍 LLM-PS 的实验设置，包括使用的数据集、评估指标、对比基线以及具体的实现细节。

5.1. 数据集

实验在多个广泛使用的时间序列数据集上进行，涵盖了不同的领域和特性，以全面评估 LLM-PS 的性能。

下图（原文 Figure 5）展示了金融数据和天气数据的可视化，可以观察到不同类型时间序列的特点：

该图像是一个示意图，展示了金融（红色曲线）和天气（蓝色曲线）的实时数据波动情况。横轴为时间（秒），纵轴为数据值，图中可以观察到金融数据的明显波动而天气数据相对平稳。

从图中可以看出，金融数据 (Financial Data) 波动频繁且剧烈，而天气数据 (Weather Data) 变化相对平稳，这体现了时间序列数据的多样性。

具体的实验数据集包括：

• ETT (Electricity Transformer Temperature, 电力变压器温度): 包含四个子集：ETTh1, ETTh2, ETTm1, ETTm2。这些数据集记录了中国两座变压器站点的负载和油温等指标。其中，ETTh1 和 ETTh2 的数据采样粒度为小时，ETTm1 和 ETTm2 的采样粒度为15分钟。它们用于评估长期预测任务。
• Weather (天气): 记录了2020年全年每10分钟一次的空气温度、湿度等气象指标。
• Electricity (电力): 包含2017年美国2000多个电力公司的电力消耗数据。
• Traffic (交通): 记录了2016年7月1日至2018年7月2日期间，两条主要高速公路上862个传感器位置每15分钟的交通流量数据。
• ILI (Influenza-Like Illness, 流行性感冒样疾病): 记录了美国疾病控制与预防中心 (CDC) 每周报告的流感样疾病患者比例。
• ECG (Electrocardiography, 心电图): 包含来自47个受试者的48份半小时双通道动态心电图记录，采样率为360Hz。
• M4 Dataset: 这是一个综合性的预测竞赛数据集，包含月度、季度、年度和其他类型的营销数据，用于评估短期预测任务。

5.2. 评估指标

论文使用了多种广泛采用的指标来评估模型的预测性能，这些指标根据预测任务类型（长期预测或短期预测）有所不同。

5.2.1. 长期预测指标

• 均方误差 (Mean Squared Error, MSE):

  1. 概念定义: MSE 衡量预测值与真实值之间差异的平方的平均值。由于误差被平方，它对较大的误差给予更高的惩罚，因此对异常值 (outliers) 敏感。MSE 的目标是越小越好。
  2. 数学公式: $$\mathrm{MSE} = \frac{1}{T} \sum_{i=1}^{T} \left( \mathbf{x}_{H+i} - \hat{\mathbf{x}}_{H+i} \right)^2.$$
  3. 符号解释:
     • $T$: 预测时间步长（prediction length）。
     • $\mathbf{x}_{H+i}$: 在历史数据长度 $H$ 之后，第 $i$ 个时间步的真实时间序列值。
     • $\hat{\mathbf{x}}_{H+i}$: 在历史数据长度 $H$ 之后，第 $i$ 个时间步的预测时间序列值。

• 平均绝对误差 (Mean Absolute Error, MAE):

  1. 概念定义: MAE 衡量预测值与真实值之间绝对差异的平均值。与 MSE 不同，它不对误差进行平方，因此对所有误差的处理是线性的，对异常值相对不那么敏感。MAE 的目标是越小越好。
  2. 数学公式: $$\mathrm{MAE} = \frac{1}{T} \sum_{i=1}^{T} \left| \mathbf{x}_{H+i} - \hat{\mathbf{x}}_{H+i} \right|.$$
  3. 符号解释:
     • $T$: 预测时间步长。
     • $\mathbf{x}_{H+i}$: 在历史数据长度 $H$ 之后，第 $i$ 个时间步的真实时间序列值。
     • $\hat{\mathbf{x}}_{H+i}$: 在历史数据长度 $H$ 之后，第 $i$ 个时间步的预测时间序列值。
     • $|\cdot|$: 绝对值函数。

5.2.2. 短期预测指标

• 平均绝对比例误差 (Mean Absolute Scaled Error, MASE):

  1. 概念定义: MASE 是一种对不同尺度时间序列具有可比性的评估指标。它通过将预测误差与一个简单的基准（通常是朴素预测，即当前值等于上一期值）的平均绝对误差进行缩放来计算。MASE 的值小于1表示预测模型比基准模型表现更好。MASE 的目标是越小越好。
  2. 数学公式: $$\mathrm{MASE} = \frac{\frac{1}{T} \sum_{i=1}^{T} |\mathbf{x}_{H+i} - \hat{\mathbf{x}}_{H+i}|}{\frac{1}{H-1} \sum_{j=2}^{H} |\mathbf{x}_j - \mathbf{x}_{j-1}|}.$$
  3. 符号解释:
     • $T$: 预测时间步长。
     • $H$: 历史数据长度。
     • $\mathbf{x}_{H+i}$: 在历史数据长度 $H$ 之后，第 $i$ 个时间步的真实时间序列值。
     • $\hat{\mathbf{x}}_{H+i}$: 在历史数据长度 $H$ 之后，第 $i$ 个时间步的预测时间序列值。
     • $\mathbf{x}_j$: 历史数据中第 $j$ 个时间步的真实时间序列值。
     • $\frac{1}{H-1} \sum_{j=2}^{H} |\mathbf{x}_j - \mathbf{x}_{j-1}|$: 朴素预测（naive forecast）的 MAE，用作缩放因子。

• 对称平均绝对百分比误差 (Symmetric Mean Absolute Percentage Error, SMAPE):

  1. 概念定义: SMAPE 是 MAPE (Mean Absolute Percentage Error) 的一种变体，旨在解决 MAPE 在真实值接近零时可能变得无限大的问题。它通过将预测误差除以真实值和预测值的平均值来对称化误差。SMAPE 的目标是越小越好。
  2. 数学公式: $$\mathrm{SMAPE} = \frac{1}{T} \sum_{i=1}^{T} \frac{2 |\mathbf{x}_{H+i} - \hat{\mathbf{x}}_{H+i}|}{\mathbf{x}_{H+i} + |\hat{\mathbf{x}}_{H+i}|}.$$
  3. 符号解释:
     • $T$: 预测时间步长。
     • $\mathbf{x}_{H+i}$: 在历史数据长度 $H$ 之后，第 $i$ 个时间步的真实时间序列值。
     • $\hat{\mathbf{x}}_{H+i}$: 在历史数据长度 $H$ 之后，第 $i$ 个时间步的预测时间序列值。
     • $|\cdot|$: 绝对值函数。

• 总体加权平均 (Overall Weighted Average, OWA):

  1. 概念定义: OWA 是一种综合指标，用于结合多个任务或指标的性能，通常通过加权平均得到。在 M4 竞赛中，OWA 被定义为 MASE 和 SMAPE 的加权平均，它提供了一个单一的度量来评估整体预测准确性。OWA 的目标是越小越好。
  2. 数学公式: $$\mathrm{OWA} = \sum_{k=1}^K w_k \cdot v_k,$$
  3. 符号解释:
     • $K$: 组合的指标数量 (例如，在 M4 竞赛中，通常是 MASE 和 SMAPE)。
     • $w_k$: 分配给第 $k$ 个指标的权重，且所有权重之和为1 ($\sum_{k=1}^K w_k = 1$)。
     • $v_k$: 第 $k$ 个指标的评估结果（例如，MASE 值或 SMAPE 值）。

5.3. 对比基线

LLM-PS 与以下几类最先进 (SOTA) 方法进行了广泛比较：

• LLM-based 方法:

  • CALF (Liu et al., 2024a)
  • GPT4TS (Zhou et al., 2023b)
  • TimeLLM (Jin et al., 2024)
  • LLMMixer (Kowsher et al., 2024)

• Transformer-based 方法:

  • Crossformer (Zhang & Yan, 2023a)
  • FEDformer (Zhou et al., 2022)
  • PatchTST (Nie et al., 2023)
  • iTransformer (Liu et al., 2024b)
  • ETSformer (Woo et al., 2022)
  • Autoformer (Wu et al., 2021)
  • Informer (Zhou et al., 2021b)

• CNN-based 方法:

  • TimesNet (Wu et al., 2023a)
  • TCN (Bai et al., 2018)
  • MICN (Wang et al., 2022)

• MLP-based 方法:

  • DLinear (Zeng et al., 2023)
  • TiDE (Das et al., 2023)
  • TimeMixer (Wang et al., 2024)

• 经典方法 (用于短期预测):

  • N-HiTS (Challu et al., 2022)
  • N-BEATS (Oreshkin et al., 2019b)
  • LSSL (Gu et al., 2022)
  • LSTM (Hochreiter & Schmidhuber, 1997)

5.4. 实现细节

• LLM 骨干网络: 遵循 Zhou et al., 2023b 和 Liu et al., 2024a，使用预训练的 GPT2 模型 (Radford et al., 2019) 的前六层作为默认的 LLM 骨干网络。
• 优化器: 使用 Adam 优化器。
• 学习率: 初始学习率为 0.0005。
• LoRA 参数: 秩 (rank) 设置为 8，缩放因子 (scale factor) 设置为 32，丢失率 (dropout ratio) 设置为 0.1。
• 损失函数权衡参数: 总目标函数 $\mathcal{L}_{\mathrm{OBJ}}$ 中的权衡参数 $\lambda$ 设置为 0.01。
• 硬件: 所有实验在单张 NVIDIA RTX 4090 GPU 上进行。
• 输入/预测长度: 对于长期预测，输入长度 $H$ 设置为 96，预测长度 $T$ 分别为 $\{96, 192, 336, 720\}$。对于短期预测 (M4 数据集)，预测范围相对较小，在 [6, 48] 之间，输入长度是对应预测范围的两倍。
• T2T 模块配置:
  • 编码器和解码器分别包含 4 层和 1 层 Transformer 层。
  • 每层 Transformer 包含多头注意力层、前馈网络和层归一化。
  • 片段大小 (patch size) 为 24，隐藏维度 (hidden dimension) 为 96，前馈隐藏层大小 (feedforward hidden size) 为 384，输出大小 (output size) 为 24。
  • T2T 训练时学习率为 0.001。
  • 输入时间序列片段的掩码比例 (masking ratio) 设置为 0.75。

6. 实验结果与分析

本节将详细分析 LLM-PS 在各种时间序列预测任务中的实验结果，包括长期预测、短期预测、少样本 (few-shot) 预测和零样本 (zero-shot) 预测，并进行模型分析，如多尺度特征提取、时序模式解耦、语义信息利用、模型效率和对噪声的鲁棒性。

6.1. 长期预测

设置: 实验在 ETT (ETTh1, ETTh2, ETTm1, ETTm2), Weather, Electricity, Traffic, ILI, ECG 等数据集上进行。输入历史数据长度 $H$ 设为 96，预测长度 $T$ 设为 $\{96, 192, 336, 720\}$。评估指标为 MSE (均方误差) 和 MAE (平均绝对误差)，数值越低表示性能越好。

结果: 以下是原文 Table 1 报告的多元长期预测的平均结果：

以下是原文 Table 7 报告的长期预测完整结果，考虑预测范围 $H$ 在 $\{96, 192, 336, 720\}$ 内，其中 "Avg." 表示所有四个预测长度的平均结果。

分析:

• 整体优势: LLM-PS 在长期预测任务中表现出显著的优势，在 9 个数据集的 18 种评估指标 (MSE/MAE) 中，有 15 项取得了最佳结果，这表明其能够对长期的时序数据进行精确预测。
• 对比 LLM-based 方法: 相较于其他 LLM-based 最先进方法（如 CALF、TimeLLM 和 GPT4TS），LLM-PS 在 MSE/MAE 上分别平均实现了 $6\%/3\%$、$11\%/9\%$ 和 $9\%/5\%$ 的性能提升。这强调了 LLM-PS 在处理时间序列固有特性方面的有效性，使其在 LLM 家族中脱颖而出。
• 对比传统深度学习方法: LLM-PS 也显著优于基于 Transformer、CNN 和 MLP 的传统深度学习方法，尤其是在 Traffic、ILI 和 ECG 等数据集上。这可能是因为这些数据集包含更复杂的时序模式或更稀疏的语义，而 LLM-PS 的 MSCNN 和 T2T 模块能够更好地捕捉这些特性。
• 对长序列的理解: 实验结果表明，LLM-PS 能够通过有效利用输入序列中的时序模式和语义，精确预测长期的未来时间序列，即使输入长度有限。

6.2. 短期预测

设置: 在 M4 数据集上进行短期预测评估，该数据集包含月度、季度、年度等多种类型的时间序列。预测范围 (prediction horizons) 相对较小，在 [6, 48] 之间，输入长度为对应预测范围的两倍。评估指标为 SMAPE (对称平均绝对百分比误差)、MASE (平均绝对比例误差) 和 OWA (总体加权平均)。

结果: 以下是原文 Table 2 报告的短期预测结果，其中 "1st Count" 表示在各子集及其对应指标上获得最佳结果的次数：

分析:

• LLM-PS 在 M4 数据集的短期预测任务中也表现出色，在所有评估指标 (SMAPE、MASE 和 OWA) 上均取得了最佳结果。总计在 15 项指标中有 14 项排名第一。
• 这表明 LLM-PS 不仅在长期预测中具有优势，在短期预测中也能够有效捕捉时序模式和语义，实现精确预测。

6.3. 少样本/零样本预测 (Few/Zero-Shot Forecasting)

设置:

• 少样本 (Few-shot) 预测: 仅使用 ETT 数据集 $10\%$ 的训练数据，预测长度 $T \in \{96, 192, 336, 720\}$。
• 零样本 (Zero-shot) 预测: 在一个数据集上训练 LLM，然后在另一个数据集上直接进行测试，例如在 ETTh1 上训练的模型在 ETTm1 上进行评估。

结果: 以下是原文 Table 3 报告的少样本预测平均结果：

以下是原文 Table 4 报告的零样本预测平均结果：

分析:

• 少样本优势: 在数据量仅为 $10\%$ 的少样本预测任务中，LLM-PS 在 8 个案例中的 7 个取得了最佳结果，这展示了其在数据稀缺场景下的强大学习能力。相较于 CALF、TimeLLM 和 GPT4TS 等 LLM-based 方法，LLM-PS 分别实现了 $3\%$、$17\%$ 和 $13\%$ 的性能提升。这归因于其能够高效地从有限数据中学习到有价值的时序模式和语义。
• 零样本优势: 在更具挑战性的零样本预测任务中，LLM-PS 在 8 个案例中的 5 个取得了最佳结果。相较于其他微调 LLM 的方法，LLM-PS 的性能提升分别为 CALF 的 $5\%$、TimeLLM 的 $8\%$ 和 GPT4TS 的 $9\%$。这表明 LLM-PS 提取的模式和语义具有更好的泛化性，使其能够将在一个数据集上学到的知识有效地迁移到未见过的数据集上。

6.4. 模型分析

6.4.1. 多尺度特征提取

比较: LLM-PS 的 MSCNN 与现有通过不同窗口大小的池化操作 (pooling operations) 来生成多尺度特征的方法 (Kowsher et al., 2024) 进行比较。

下图（原文 Figure 4a）展示了 MSCNN 和池化操作在不同预测长度下的性能对比：

图4a：不同多尺度特征提取方法在ETTh1数据集上的MSE/MAE性能，预测长度从96到720。

分析:

• 从图中可以看出，LLM-PS 的 MSCNN 模块在所有预测长度下均优于使用池化操作的方法。
• 这表明 MSCNN 通过其独特的并行卷积分支和递归结构，能更有效地捕捉时间序列中的短期和长期模式，而不是简单地通过聚合操作。

6.4.2. 时序模式解耦

比较: LLM-PS 基于小波变换 (wavelet transform) 的解耦机制与基于傅里叶变换 (Fourier transform) 和平均池化 (average pooling) 的解耦技术 (Wu et al., 2021; Wang et al., 2024) 进行比较。

下图（原文 Figure 4b）展示了不同解耦技术在ETTh1数据集上的MSE/MAE性能：

图4b：不同时序模式解耦方法在ETTh1数据集上的MSE/MAE性能，预测长度从96到720。

下图（原文 Figure 6）展示了时序模式解耦的可视化结果：

图6：时序模式解耦的可视化结果，比较了原始信号与傅里叶变换、平均池化和小波变换分解得到的短期和长期模式。

分析:

• 性能优越性: LLM-PS 基于小波变换的解耦操作优于基于傅里叶变换和平均池化的方法。
• 可视化验证: 图 6 进一步直观地展示了小波变换在分离短期波动和长期趋势方面的精确性。相比于傅里叶变换和平均池化，小波变换能够更准确地捕捉信号的局部性和非平稳性，从而提供更精细的模式解耦。
• 同时利用时域和频域信息: 论文强调，小波变换能够同时从时域和频域学习，这使得它能够更准确地分解短期和长期分量，优于仅依赖时域平均池化或频域傅里叶变换的方法。

6.4.3. 语义信息利用

消融实验: 通过移除 LLM-PS 中的 T2T 模块 (即 w/o T2T) 来评估其对语义信息学习的贡献。

以下是原文 Table 5 报告的在 ETTh1 数据集上 T2T 模块的长期预测消融结果：

分析:

• 从表中可以看出，在 10 个评估指标 (MSE/MAE) 中，移除 T2T 模块后，有 9 个案例的 LLM 性能下降。
• 这有力地证明了 T2T 模块提取的语义信息对于增强 LLM 的时间序列预测性能是至关重要的。它弥补了时间序列数据语义稀疏的问题，为 LLM 提供了更丰富的上下文语义。

6.4.4. 模型效率

比较: LLM-PS 与其他 LLM 微调方法在训练成本 (时间) 和性能上的比较。实验在 ETTh1, ETTm1, Weather, Traffic 四个数据集上进行，使用相同的 GPT2 骨干网络，输入长度和预测长度均为 96。

以下是原文 Table 6 报告的 LLM-PS 和其他 LLM-based 方法的微调成本和平均 MSE/MAE：

分析:

• LLM-PS 在所有四个数据集上都展现出最低的训练时间，显著优于其他 LLM-based 方法。这表明 LLM-PS 在保持高性能的同时，也具有出色的计算效率。
• 例如，与 LLMMixer 相比，LLM-PS 在性能上取得了 $17\%$ 的提升，但训练时间仅为 LLMMixer 的 $9\%$。
• 这表明 LLM-PS 能够高效且有效地从时间序列数据中学习时序模式和语义信息，从而实现可靠的 TSF 性能。

6.4.5. 噪声数据鲁棒性 (Robustness to Noisy Data)

设置: 在 ETTh1 数据集上添加高斯噪声 (Gaussian noise)，噪声因子 (noise factors) 分别为 [0.0, 0.1, 0.3, 0.5]。输入和预测长度均设置为 96。

下图（原文 Figure 4c & 4d）展示了不同方法在带噪声的 ETTh1 数据集上的 MSE/MAE 性能：

图4c (MSE) & 4d (MAE)：不同方法在带噪声的 ETTh1 数据集上的 MSE/MAE 性能。

分析:

• LLM-PS 在各种噪声因子下均持续保持卓越性能。
• 随着噪声因子的增加，LLM-PS 相较于其他方法的性能优势变得更加显著。
• 这表明 LLM-PS 对噪声具有很强的鲁棒性，使其在实际应用中更具可靠性，因为现实世界的时间序列数据往往不可避免地包含测量误差和缺失值。

6.5. 参数敏感性分析

设置: 分析总目标函数 $\mathcal{L}_{\mathrm{OBJ}}$ (公式 9) 中权衡参数 $\lambda$ 的敏感性。通过在 $\{0.0001, 0.001, 0.01, 0.1, 1\}$ 范围内变化 $\lambda$ 值，在 ETTh1 数据集上观察平均 MSE/MAE 随预测长度 $\{96, 192, 336, 720\}$ 的变化。

下图（原文 Figure 8）展示了 $\lambda$ 参数的敏感性：

分析:

• 尽管 $\lambda$ 值变化较大，但 MSE/MAE 曲线相对稳定，表明 LLM-PS 对该参数并不极端敏感。
• 当 $\lambda = 0.01$ 时，LLM-PS 取得了最佳性能。因此，在所有实验中都采用了这一参数配置。

7. 总结与思考

7.1. 结论总结

本论文提出了 LLM-PS 框架，旨在解决现有基于大语言模型 (LLM-based) 的时间序列预测 (TSF) 方法忽略时间序列数据固有特性（即多样化的时序模式和语义稀疏性）的问题。LLM-PS 通过引入两个核心模块来应对这些挑战：

1. 多尺度卷积神经网络 (MSCNN): 专门设计用于捕获时间序列中的短期波动和长期趋势。它通过并行卷积分支、递归结构和基于小波变换的模式解耦与组装机制，有效地提取和精炼多尺度时序模式。

2. 时间到文本 (T2T) 语义提取模块: 采用编码器-解码器架构和自监督学习任务，从语义稀疏的时间序列数据中提取有价值的语义信息，并将其转化为 LLM 易于理解的形式。

   LLM-PS 将 MSCNN 提取的时序模式和 T2T 提取的语义信息进行有效整合，并通过参数高效微调 (LoRA) 赋能 LLM 进行准确预测。大量的实验结果表明，LLM-PS 在长期和短期预测任务，以及少样本 (few-shot) 和零样本 (zero-shot) 场景下均取得了最先进的 (SOTA) 性能。此外，模型还表现出高效率和对噪声数据的强大鲁棒性。

7.2. 局限性与未来工作

论文中未明确指出自身的局限性，但在 Impact Statement 中提到了对 LLM 预测技术潜在滥用的伦理考虑。尽管如此，从技术角度来看，可以推断出一些潜在的局限性和未来工作方向：

• 模型复杂性与可解释性： 尽管 LLM-PS 提升了性能，但其结合了 MSCNN、T2T 和 LLM，模型整体结构较为复杂。尤其是在 LLM 内部，其决策过程本身就具有一定的黑箱性质。未来的工作可以探索如何提高 LLM-PS 整体的可解释性，例如通过注意力可视化或归因方法来理解 LLM 在预测时对时序模式和语义信息的依赖程度。
• 计算资源需求： 尽管采用了 LoRA 进行参数高效微调，但作为基于 LLM 的方法，其预训练 LLM 本身仍然是巨大的，对推理和部署的计算资源仍有较高要求。未来可以探索更轻量级的 LLM 骨干网络，或进一步优化微调策略，以适应资源受限的环境。
• 语义词汇表的泛化性： T2T 模块依赖于从 GPT2 中筛选出的与 TSF 相关的文本词汇表。这个词汇表可能针对特定领域（如金融、天气）效果良好，但在跨领域或全新领域的时间序列数据上，其提取的语义是否仍然具有普适性，可能需要进一步验证。未来的工作可以探索更自适应或领域无关的语义提取方法。
• 对非数值型时间序列的扩展： 本文主要关注数值型时间序列预测。然而，一些时间序列数据可能包含事件、类别等非数值信息。未来的工作可以研究如何将 LLM-PS 扩展到处理这些更复杂、多模态的时间序列数据。
• 长尾分布和稀有事件预测： 现实世界的时间序列中常存在长尾分布和稀有但重要的事件（如金融危机、疾病爆发）。LLM-PS 在少样本和零样本设置下表现良好，但对于极度稀有的事件，其捕捉和预测能力仍有待深入研究和优化。

7.3. 个人启发与批判

这篇论文的创新点在于其对时间序列数据固有特性（时序模式和语义稀疏性）的深刻洞察，并为此设计了有针对性的模块。这种“对症下药”的策略，而非仅仅将 LLM 视为通用序列建模器，是其成功的关键。

个人启发：

• 模态转换的深度思考： 论文通过 T2T 模块将时间序列的稀疏语义“翻译”成 LLM 熟悉的文本嵌入空间，这提供了一种有力的模态转换范式。这启发我们，在将 LLM 应用于其他非文本模态时，可能不仅需要进行简单的特征对齐，更需要设计专门的机制来提取该模态特有的、且能被 LLM 深度理解的“语义”表示。
• 多尺度建模的重要性： MSCNN 模块通过结合不同感受野和时频域解耦的方式，强调了在处理时间序列时，同时考虑短期局部变化和长期全局趋势的必要性。这种思想可以推广到其他序列建模任务中，例如自然语言处理中的短语级和文档级上下文建模，或基因序列分析中的局部基序和全局结构分析。
• LLM 的潜力再挖掘： LLM-PS 证明了 LLM 在特定领域经过精心设计和微调后，其能力远超简单应用。它打开了 LLM 在更广泛的科学计算和工程领域应用的想象空间，不仅仅局限于语言任务。

批判：

• 语义标签的“真实性”： T2T 模块中语义标签的分配是通过与 LLM 文本嵌入中最相似的词汇来确定的。这种“最相似”的语义是否真正捕捉了时间序列的内在含义？例如，一个“快速增长”的时间序列片段，其最相似的文本词汇可能只是“上升”，但“快速”这种程度信息是否能被充分捕捉？这种语义标签的客观性和精细度可能会影响 T2T 模块的上限。未来的工作可以探索更高级的语义提取方法，例如通过弱监督或对比学习从时间序列中直接学习语义概念，而不仅仅是匹配现有文本词汇。
• MSCNN 与 Transformer 的冗余性： MSCNN 旨在捕捉多尺度时序模式，而 Transformer 内部的注意力机制本身也具有捕捉长短程依赖的能力。虽然论文通过实验证明 MSCNN 的有效性，但其与 LLM 内部 Transformer 结构在时序建模能力上可能存在一定程度的冗余。进一步的分析可以探讨这两种结构如何协同工作，或者是否可以设计一种更统一的架构，以更优雅的方式实现多尺度时序建模。
• 计算成本与可扩展性： 尽管 LoRA 降低了微调成本，但 MSCNN 和 T2T 模块的引入增加了模型的复杂性和计算量。特别是 T2T 模块的掩码重建和标签预测任务，以及小波变换等操作，都增加了额外的计算负担。对于超大规模、超长序列的时间序列数据，这种方法的计算效率和可扩展性仍需进一步考量和优化。