论文状态:已完成

MTP: Exploring Multimodal Urban Traffic Profiling with Modality Augmentation and Spectrum Fusion

发表:2025/11/13
原文链接PDF 下载
价格:0.100000
价格:0.100000
已有 5 人读过
本分析由 AI 生成,可能不完全准确,请以原文为准。

TL;DR 精炼摘要

本文提出了一种新颖的多模态城市交通画像框架MTP,通过数值、视觉和文本三种视角进行多模态特征学习,克服了传统单模态方法的局限,系统地理解和预测交通信号的数据,在六个真实世界数据集上展现出优越性能。

摘要

With rapid urbanization in the modern era, traffic signals from various sensors have been playing a significant role in monitoring the states of cities, which provides a strong foundation in ensuring safe travel, reducing traffic congestion and optimizing urban mobility. Most existing methods for traffic signal modeling often rely on the original data modality, i.e., numerical direct readings from the sensors in cities. However, this unimodal approach overlooks the semantic information existing in multimodal heterogeneous urban data in different perspectives, which hinders a comprehensive understanding of traffic signals and limits the accurate prediction of complex traffic dynamics. To address this problem, we propose a novel Multimodal framework, MTP, for urban Traffic Profiling, which learns multimodal features through numeric, visual, and textual perspectives. The three branches drive for a multimodal perspective of urban traffic signal learning in the frequency domain, while the frequency learning strategies delicately refine the information for extraction. Specifically, we first conduct the visual augmentation for the traffic signals, which transforms the original modality into frequency images and periodicity images for visual learning. Also, we augment descriptive texts for the traffic signals based on the specific topic, background information and item description for textual learning. To complement the numeric information, we utilize frequency multilayer perceptrons for learning on the original modality. We design a hierarchical contrastive learning on the three branches to fuse the spectrum of three modalities. Finally, extensive experiments on six real-world datasets demonstrate superior performance compared with the state-of-the-art approaches.

思维导图

论文精读

中文精读

1. 论文基本信息

1.1. 标题

MTP: Exploring Multimodal Urban Traffic Profiling with Modality Augmentation and Spectrum Fusion

1.2. 作者

Haolong Xiang, Peisi Wang, Xiaolong Xu, Kun Yi, Xuyun Zhang, Quanzheng Sheng, Amin Beheshti, Wei Fan

作者分别来自南京信息工程大学软件学院、南京大学软件新技术国家重点实验室、中国国家信息中心、麦考瑞大学计算学院和奥克兰大学计算机科学学院。

1.3. 发表期刊/会议

该论文的发表信息为预印本 (arXiv),发布于 2025 年 11 月 13 日。预印本平台在学术界具有重要影响力,常用于快速分享最新研究成果,但尚未经过正式同行评审。

1.4. 发表年份

2025年

1.5. 摘要

随着现代城市化进程的加速,来自各种传感器的数据在城市状态监测中扮演着重要角色,为确保安全出行、缓解交通拥堵和优化城市交通流动性提供了坚实基础。然而,大多数现有的交通信号建模方法通常依赖于原始数据模态,即城市中传感器直接提供的数值读数。这种单模态方法忽略了多模态异构城市数据中存在的语义信息,从而阻碍了对交通信号的全面理解并限制了复杂交通动态的准确预测。

为了解决这个问题,本文提出了一种新颖的多模态框架 MTP (Multimodal framework for urban Traffic Profiling),用于城市交通画像。该框架通过数值、视觉和文本三种视角学习多模态特征。这三个分支驱动了在频域中对城市交通信号进行多模态学习,同时频率学习策略精细地提炼了信息以进行提取。具体而言,MTP 首先对交通信号进行视觉增强,将原始模态转换为频率图像和周期性图像以进行视觉学习。其次,MTP 根据特定主题、背景信息和项目描述为交通信号增强描述性文本,以进行文本学习。为了补充数值信息,MTP 利用频率多层感知机 (Multi-Layer Perceptrons, MLPs) 对原始模态进行学习。MTP 设计了一种分层对比学习 (hierarchical contrastive learning) 机制,用于融合三种模态的频谱。最后,在六个真实世界数据集上进行的广泛实验表明,与最先进的方法相比,MTP 具有优越的性能。

1.6. 原文链接

https://arxiv.org/abs/2511.10218v2

1.7. PDF 链接

https://arxiv.org/pdf/2511.10218v2.pdf

2. 整体概括

2.1. 研究背景与动机

2.1.1. 论文试图解决的核心问题

论文旨在解决现有城市交通信号建模方法主要依赖单一数值模态的局限性。这种单模态方法忽略了多模态异构数据中丰富的语义信息,导致对交通信号的理解不够全面,并且难以准确预测复杂的交通动态。

2.1.2. 为什么这个问题在当前领域是重要的?现有研究存在哪些具体的挑战或空白(Gap)?

  • 城市化加速与交通管理需求: 快速的城市化使得交通管理对确保出行安全、减少拥堵和优化出行效率的需求日益增长。交通信号数据是实现智能交通管理的核心。
  • 单模态方法的局限性: 传统的交通数据处理方法(如滑动窗口统计、支持向量机)或基于深度学习的时序模型(CNNs, RNNs, GNNs, Transformers)大多专注于单一数值模态。这些方法难以捕捉到交通数据的动态变化,并且无法整合来自视觉(如监控图像)和文本(如社交媒体反馈、事件描述)等异构数据源的丰富语义信息。
  • 现有大型模型 (LLMs/VLMs) 的挑战: 尽管大语言模型 (Large Language Models, LLMs) 和视觉语言模型 (Vision-Language Models, VLMs) 在处理多模态数据方面表现出强大能力,但它们在交通领域仍面临挑战:
    • LLMs/VLMs 通常针对特定模态优化,难以有效处理时间序列数据的动态变化。例如,LLMs 擅长处理文本,但难以解析时间序列特征的动态变化。
    • 文本增强模型可以理解交通事件描述,但缺乏对时间维度的建模能力。
    • 时间序列大型模型难以有效整合图像和文本中的语义信息。
  • 缺乏综合性多模态融合框架: 目前缺乏一个能够将数值时间序列、视觉信息和文本信息进行深度融合,并有效利用它们各自优势来全面理解和预测城市交通状态的框架。

2.1.3. 这篇论文的切入点或创新思路是什么?

本文的创新点在于:

  1. 模态增强 (Modality Augmentation): 不仅仅是简单地融合现有模态,而是主动对原始的数值交通信号进行增强,生成新的视觉模态(频率图像、周期性图像)和文本模态(描述性文本),从而从多角度挖掘原始数据中的潜在信息。
  2. 频域学习 (Frequency Domain Learning): 将所有模态(数值、视觉、文本)的学习都引入到频域中。通过傅里叶变换 (Fast Fourier Transform, FFT) 捕捉数据的周期性和多尺度特征,并通过频域MLPs、FIR 滤波器等技术进行信息提炼和去噪。这有助于更好地理解交通数据的动态模式和异常情况。
  3. 分层对比学习与频谱融合 (Hierarchical Contrastive Learning and Spectrum Fusion): 设计了一种分层对比学习机制,在不同模态之间建立语义对齐,并结合分布相似性融合策略,将不同模态的频域表示进行有效融合,生成更具判别力的联合特征。

2.2. 核心贡献/主要发现

2.2.1. 论文最主要的贡献是什么?

  1. 提出新颖的多模态框架 MTP: MTP 首次通过对交通信号进行模态增强,并从数值、视觉和文本三个视角在频域中学习多模态特征,实现了对城市交通的全面画像 (profiling)。
  2. 创新的模态增强技术: MTP 将原始数值交通信号转换为频率图像和周期性图像进行视觉学习,并根据主题、背景等信息生成描述性文本进行文本学习。
  3. 频域处理与融合机制: MTP 采用频域多层感知机处理数值信息,并对增强后的视觉和文本模态在频域进行去噪和交叉模态频谱增强。
  4. 分层对比学习与分布相似性融合: MTP 设计了分层对比学习来优化多模态学习并融合三种表示,同时结合基于 Jensen-Shannon 散度 (Jensen-Shannon divergence) 的分布相似性融合策略来增强模态间的一致性。
  5. 在真实世界数据集上的优越表现: 在六个真实世界数据集上进行的广泛实验证明,MTP 的性能显著优于现有的最先进方法,并且具有良好的鲁棒性。

2.2.2. 论文得出了哪些关键的结论或发现?

  • 多模态方法的有效性: 结合数值、视觉和文本信息能够显著提升城市交通画像的准确性和全面性,优于任何单一模态的方法。
  • 模态增强的重要性: 通过将原始数值数据转换为视觉和文本形式进行增强,可以从不同角度提取更丰富的语义和模式信息。
  • 频域学习的优势: 在频域中处理交通信号数据有助于捕捉其固有的周期性、多尺度特征和异常模式,从而提高模型对复杂交通动态的理解能力。
  • 融合机制的关键作用: 分层对比学习和分布相似性融合能够有效地对齐和整合不同模态的信息,生成更具判别力的特征表示。
  • 模型鲁棒性: MTP 在不同超参数设置下表现出良好的鲁棒性,且在各类数据集上均展现出稳定的高性能。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 交通画像 (Traffic Profiling)

Traffic Profiling 是指对交通数据进行分析和建模,以识别交通模式、预测交通状态(如拥堵、畅通)、检测异常事件(如事故、施工)等任务。它可以分为状态画像 (state profiling),例如平稳 (smooth)、缓慢 (slow) 和拥堵 (congested),以及事件画像 (event profiling),例如交通事故 (traffic accidents) 和道路施工 (road construction)。

3.1.2. 多模态学习 (Multimodal Learning)

Multimodal Learning 是指从多种类型的数据(或称“模态”,modality)中学习。在本文中,模态包括数值时间序列、图像和文本。多模态学习的目标是利用不同模态之间的互补信息,以实现比单模态学习更全面、更鲁棒的理解和预测。

3.1.3. 频域 (Frequency Domain)

Frequency Domain 是信号处理中的一个概念,与时域 (Time Domain) 相对。在时域中,信号是时间的函数;而在频域中,信号是频率的函数。通过傅里叶变换,可以将时域信号转换为频域信号,从而分析信号中包含的各种频率成分,例如周期性、高频噪声等。在交通数据中,频域分析可以帮助识别日周期、周周期等交通模式,以及偶发的异常交通状况。

3.1.4. 快速傅里叶变换 (Fast Fourier Transform, FFT)

Fast Fourier Transform (FFT) 是一种高效计算离散傅里叶变换 (Discrete Fourier Transform, DFT) 及其逆变换 (Inverse DFT, IDFT) 的算法。DFT 将一个时域离散信号转换为等长的频域离散信号。FFT 的引入使得频域分析在计算上变得可行,广泛应用于信号处理、图像处理等领域。 给定一个离散信号序列 x=(x0,x1,,xN1)\mathbf{x} = (x_0, x_1, \dots, x_{N-1}),其 DFT 定义为: Xk=n=0N1xnej2πknN,k=0,1,,N1 X_k = \sum_{n=0}^{N-1} x_n e^{-j \frac{2\pi k n}{N}}, \quad k=0, 1, \dots, N-1 其中,jj 是虚数单位,ej2πknN=cos(2πknN)jsin(2πknN)e^{-j \frac{2\pi k n}{N}} = \cos\left(\frac{2\pi k n}{N}\right) - j\sin\left(\frac{2\pi k n}{N}\right)

3.1.5. 多层感知机 (Multi-Layer Perceptron, MLP)

Multi-Layer Perceptron (MLP) 是一种前馈神经网络,由至少三层神经元组成:输入层、隐藏层和输出层。每层神经元都与下一层神经元全连接。MLP 能够学习复杂的非线性关系,是深度学习的基础组成单元。

3.1.6. 对比学习 (Contrastive Learning)

Contrastive Learning 是一种自监督学习方法,旨在通过将“相似”样本对的表示拉近,同时将“不相似”样本对的表示推远,从而学习到有意义的特征表示。在多模态背景下,它常用于对齐不同模态的表示,使同一语义内容的图像和文本具有相似的表示。InfoNCE 损失是对比学习中常用的损失函数之一。

3.1.7. 詹森-香农散度 (Jensen-Shannon Divergence, JS Divergence)

Jensen-Shannon Divergence (JS Divergence) 是一种衡量两个概率分布之间相似性的方法。它基于 Kullback-Leibler (KL) 散度,但具有对称性和取值范围有限(通常在 [0, 1] 之间)的优点,使其成为更稳定的相似性度量。 给定两个概率分布 PPQQ,它们的 JS 散度定义为: JS(PQ)=12DKL(PM)+12DKL(QM) JS(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) 其中 M=12(P+Q)M = \frac{1}{2}(P+Q)DKL(PQ)D_{KL}(P || Q) 是 Kullback-Leibler 散度,定义为: DKL(PQ)=xP(x)log(P(x)Q(x)) D_{KL}(P || Q) = \sum_x P(x) \log \left(\frac{P(x)}{Q(x)}\right)

3.2. 前人工作

论文将相关工作分为三类:

3.2.1. 传统交通时间序列画像 (Traditional Traffic Time Series Profiling)

这类方法主要依赖于单一模态数据,即数值时间序列。

  • 深度学习技术: 广泛使用了卷积神经网络 (Convolutional Neural Networks, CNNs)、循环神经网络 (Recurrent Neural Networks, RNNs)、图神经网络 (Graph Neural Networks, GNNs) 和基于 Transformer 的方法。

    • CNNs (He et al. 2016; Alam et al. 2023): 擅长捕捉局部模式,常用于提取时间序列的特征。
    • RNNs (Jin et al. 2017; Zheng et al. 2020): 特别是长短期记忆网络 (Long Short-Term Memory, LSTM) 和门控循环单元 (Gated Recurrent Unit, GRU),适合处理序列数据的长期依赖关系。
    • GNNs (Zhang et al. 2023; Deng, Wang, and Xue 2024): 适用于建模交通网络中节点之间的空间关系和时间动态。
    • Transformer-based methods (Lin et al. 2022a; Zerveas et al. 2021): 利用自注意力机制 (self-attention mechanism) 捕捉时间序列中的长距离依赖,并在许多时间序列任务中取得了最先进的性能。例如,TST (Zerveas et al. 2021) 将标准 Transformer 编码器应用于时域,PatchTST (Nie et al. 2023) 将时间序列视为补丁 (patch) 序列进行处理。
  • Shapelet-based methods (Cheng et al. 2021, ShapeNet): 通过学习具有代表性的“形状基元” (shapelet) 来对时间序列进行分类,这些 shapelet 能捕捉局部判别性模式。

  • 预训练框架 (Zuo et al. 2023, SVP-T): 为时间序列数据设计预训练模型,学习形状级别 (shape-level) 和速度级别 (velocity-level) 的表示,以增强特征鲁棒性。

    局限性: 核心限制在于其单模态性质,无法整合图像和文本等异构数据中的语义信息,从而难以全面理解复杂的交通状况。

3.2.2. 基于大语言模型 (LLMs) 的交通画像 (Traffic Profiling with LLMs)

随着 LLMs 在文本理解和泛化方面的强大能力,研究人员开始将其应用于智能交通领域。

  • 多模态框架结合 LLMs (Qian et al. 2021): 结合 BERT 和 ResNet 共同捕捉上下文信息。

  • LLM 驱动的优化 (Chen et al. 2024): 利用 LLMs 优化车辆调度和导航。

  • 增强文本信息融合图像 (Yan et al. 2024, UrbanCLIP): 通过视觉-文本预训练实现城市图像和文本的关联分类。

    局限性: 现有 LLMs 虽有潜力,但其应用通常是任务特定的,且主要针对单一模态(如文本)优化。它们在解析时间序列的动态变化方面仍存在困难,或难以有效整合时间维度信息。

3.2.3. 基于视觉语言模型 (VLMs) 的交通画像 (Traffic Profiling with VLMs)

VLMs 在联合处理和理解视觉和文本信息方面取得了显著进展。

  • 通用 VLMs (Hu et al. 2024, BLIVA; Yang et al. 2024, EMMA; Li et al. 2024, OmniActions): 展示了在处理复杂视觉问答和多模态交互任务中的强大能力。

    局限性: 这些方法尚未充分结合多模态数据来生成强大的表示用于道路交通画像。虽然 VLMs 可以作为“桥梁”将视觉信息转化为高质量文本信息,但这仍未解决将数值时间序列信息深度融合的问题。

3.3. 差异化分析

本文提出的 MTP 框架与现有工作的核心区别和创新点在于:

  1. 模态增强而非仅融合: 现有方法多直接处理或融合给定模态。MTP 创新性地对原始数值时间序列数据进行增强,生成视觉(频率图、周期图)和文本(描述性文本)两种新的模态,从而从更丰富的角度捕捉信息。
  2. 频域统一视角: MTP 强调在频域中进行多模态特征学习和融合。这使得模型能够更好地捕捉交通数据的周期性和多尺度动态,这是许多现有方法所欠缺的。
  3. 综合性的融合策略: MTP 结合了分层对比学习和基于分布相似性的融合策略,不仅在语义层面(通过对比学习)对齐不同模态,还在信息层面(通过 JS 散度)评估和融合它们的分布,形成更鲁棒和全面的特征表示。
  4. 克服现有 LLMs/VLMs 的不足: 针对现有 LLMs/VLMs 难以有效处理时间序列动态或整合多模态信息的问题,MTP 通过专门为时间序列数据设计的频域处理以及模态增强和融合机制,提供了一个更适合城市交通画像的解决方案。

4. 方法论

本文提出了一种新颖的多模态框架 MTP (Multimodal framework for urban Traffic Profiling),用于城市交通画像。MTP 的核心思想是通过数值、视觉和文本三种视角在频域中学习多模态特征,并设计了模态增强与频谱融合机制。MTP 的整体架构如图 1 所示,主要由三个模态编码器分支(时间序列模态编码器、视觉模态编码器、文本模态编码器)和一个特征融合方案组成。

4.1. 方法原理

MTP 的方法原理是,单一模态数据无法全面捕捉城市交通的复杂动态和语义信息。通过对原始数值交通信号进行模态增强,生成视觉(频率图像、周期性图像)和文本(描述性文本)两种互补模态,可以从更多维度理解数据。此外,将所有模态转换到频域进行处理,能够更好地捕获交通流固有的周期性、趋势和异常模式。最后,通过分层对比学习分布相似性融合,将来自不同模态和频域处理后的特征进行深度整合,从而生成更具判别力和语义一致性的联合特征,用于最终的交通状态分类。

4.2. 核心方法详解

4.2.1. 时间序列模态编码器 (Time Series Modality Encoder)

此模块(对应图 1 中的 “a” 部分)主要处理原始交通时间序列数据,并利用频谱转换技术。它包括语义嵌入、快速傅里叶变换 (FFT)、频域多层感知机 (MLPs) 和逆快速傅里叶变换 (IFFT)。

  1. 语义嵌入 (Semantic Embedding): 为了引入更丰富的语义信息,首先将输入的时间序列数据 XRn×l\mathbf{X} \in \mathbb{R}^{n \times l} 映射到一个隐藏表示 DRn×l×m\mathbf{D} \in \mathbb{R}^{n \times l \times m}。这通过一个可学习的权重向量 ψRl×m\psi \in \mathbb{R}^{l \times m} 实现。 D=X×ψ \mathbf{D} = \mathbf{X} \times \psi 其中,nn 是时间序列的数量,ll 是时间序列的长度,mm 是嵌入维度。

  2. 快速傅里叶变换 (Fast Fourier Transform, FFT): 将语义嵌入后的数据从时域转换到频域,以便模型能够提取交通时间序列数据的多尺度特征和周期性特征。给定转换后的输入 D\pmb {D},原始时间序列嵌入的傅里叶变换定义为: Dv[k]=i=0n1Dv[i]ej2πkin \pmb{\mathcal{D}}^{v}[k] = \sum_{i = 0}^{n - 1}\pmb {\mathcal{D}}^{v}[i]e^{-j\frac{2\pi k i}{n}} 其中,ii 是积分变量,jj 是虚数单位,ej2πkin=cos(2πkin)jsin(2πkin)e^{- j\frac{2\pi ki}{n}} = \cos (\frac{2\pi ki}{n}) - j\sin (\frac{2\pi ki}{n})。通过此过程,可以获得频率 2πki/n2\pi ki / n 处的数值频谱。

  3. 频域多层感知机 (Frequency-domain MLPs): 获得的频域分量被输入到频域 MLPs。该操作通过设定的复数权重矩阵 W\mathbf{W} 和偏置 B\mathbf{B} 进行,以获得频域输出结果。 Hi=FMLA(Dv,W,B) \mathcal{H}_i = FMLA(\mathcal{D}^v,W,B) 其中 FMLA 代表频域 MLP 的操作。频域 MLPs 的核心功能是对 FFT 转换后的频域特征进行非线性映射和特征提取,增强频域特征的表达能力,以满足捕捉交通时间序列分析中周期性和异常模式的需求。 具体地,频域 MLPs 可以计算为: Z=ReLU(HW+B) {\mathcal{Z}}=ReLU(\mathcal{H}W+B) 如果 MLPs 包含 ll 层,则每层的输入是前一层频域 MLPs 的输出 (Zl1)({\boldsymbol{Z}}^{\mathit{l-1}})。复数权重矩阵 W\mathbf{W} 满足条件 W=Wi+ηWjW = W_{i} + \eta W_{j},偏置 BB 满足条件 B=Bi+ηBjB = B_{i} + \eta B_{j}。根据复数乘法规则,可以从上述公式推导出: Zl=ReLU(O(Zl1)WilI(Zl1)Wjl+Bil)+ηReLU(O(Zl1)WjlI(Zl1)Wil+Bjl) \pmb {Z}^{l} = ReLU(\mathcal{O}(\mathcal{Z}^{l - 1})W_{i}^{l} - I(\mathcal{Z}^{l - 1})W_{j}^{l} + B_{i}^{l}) + \eta ReLU(\mathcal{O}(\mathcal{Z}^{l - 1})W_{j}^{l} - I(\mathcal{Z}^{l - 1})W_{i}^{l} + B_{j}^{l}) 其中 O()O(\cdot) 代表频域分量的实部 (original parts),I()I(\cdot) 代表频域分量的虚部 (imaginary parts)。

  4. 逆快速傅里叶变换 (Inverse Fast Fourier Transform, IFFT): 使用 IFFT 将优化后的频域特征逆转换为时域,这为后续的特征拼接 (Concatenation)、相似度计算和交通序列融合提供了具有频域信息的特征。IFFT 的计算公式为: Dv[i]=i=0n1Dv[k]ej2πkin D^{v}[i] = \sum_{i = 0}^{n - 1}{\pmb{\mathcal{D}}}^{v}[k]e^{j\frac{2\pi ki}{n}}

4.2.2. 视觉模态编码器 (Vision Modality Encoder)

此模块(对应图 1 中的 “b” 部分)主要用于视觉模态的特征提取。其过程是先将交通时间序列数据转换为图像,然后对图像进行频域处理以提取视觉特征。

  1. 图像生成 (Image Generation): 图像生成的核心是将时域交通时间序列数据转换为视觉图像,实现从数值模态到视觉模态的转换。

    • 频域编码器 (Frequency Domain Encoder): 通过对输入数据应用 FFT 提取频率信息。
    • 周期性域编码器 (Periodicity Domain Encoder): 对于每个时间戳 tt,使用以下公式获取新的编码: Pt=[sin(2πt/ϕ),cos(2πt/ϕ)] \pmb {P}_t = [\sin (2\pi t / \phi),\cos (2\pi t / \phi)] 其中 ϕ\phi 代表周期性超参数。这些编码与原始输入拼接,构成一组新的表示 Xg\mathbf{X}^g
    • 多尺度卷积 (Multi-scale Convolution):
      • 首先使用一个 1D 卷积层捕捉局部依赖。
      • 随后使用两个 2D 卷积层,其中一个将通道维度减半,另一个将特征映射到多个输出通道,以捕捉全局时间结构。
      • 输出特征通过双线性插值 (bilinear interpolation) 调整大小到期望的图像维度,然后进行归一化。
    • 通过上述步骤,将时间序列数据转换为图像形式的数值表示。
  2. 图像特征的频域处理:

    • FFT 转换: 生成的图像数值表示通过 FFT 转换为频域: Xg[k]=i=0n1Xg[i]ej2πkλ \mathcal{X}^g [k] = \sum_{i = 0}^{n - 1}\mathcal{X}^g [i]e^{-j\frac{2\pi k}{\lambda}} 其中 λ\lambda 在上下文中并未明确定义,但根据上下文应指代某种序列长度或采样率相关的参数,与时间序列的 FFT 类似。

    • 有限脉冲响应 (Finite Impulse Response, FIR) 滤波器: 为了减少增强图像中的噪声并聚焦核心信息,引入了 FIR 滤波器在频域处理特征。FIR 滤波器基于“窗函数”技术构建,具体使用了汉明窗 (Hamming window)。汉明窗的特性使得滤波器能够自然地聚合交通数据中的主要信息,同时平滑频谱波动。 给定滤波器长度 ss,通过汉明窗函数可以生成窗函数参数: ωi=0.540.46cos(zπi/s1) \omega_{i} = 0.54 - 0.46\cos (z\pi i / s - 1) 其中 zz 应该是 2。 然后,通过将窗函数与滤波器的理想脉冲响应 rr' 相乘,得到实际的脉冲响应 ri=ωi[i]rr^i = \omega_{i}[i] \cdot r'。这些脉冲响应形成一个包含 ss 个滤波器的滤波器组 R=[r1,r2,,rs]\mathbf{R} = [r^1, r^2, \dots, r^s]。 该滤波器组将输入频谱划分为多个子带。通过每个滤波器的脉冲响应 rir^i,可以滤出相应频率范围内的关键特征,避免无关频率的干扰。

    • 频谱压缩 (Spectrum Compression): 通过滤波器对频谱进行加权,保留重要频率分量并削弱冗余信息,从而实现高效的频谱压缩。 Xspeg=i=1s1cXg2ri \mathcal{X}_{spe}^{g} = \sum_{i = 1}^{s}{{\frac{1}{c}}|\mathcal{X}^{g}|^{2}\odot r^{i}} 其中 cc 代表图像模态的长度,\odot 代表逐元素乘法。

    • 平均池化 (Average Pooling): 为解决固定频谱压缩无法去除高频噪声的限制,引入平均池化。它通过平滑频谱来减少高频噪声和随机波动,保留整体趋势,使频谱更规则,从而提高压缩算法的效率和交通图像特征识别的效果。 Xpoolg=Average(Xspegδg) \mathcal{X}_{pool}^{g} = Average(\mathcal{X}_{spe}^{g}\odot \delta^{g}) 其中 δg\delta^{g} 代表一个与 Xspeg\mathcal{X}_{spe}^{g} 具有相应维度的矩阵。

    • 跨模态增强 (Cross-modal Enhancement): 在跨模态融合方面,图像的增强频谱借助文本模态信息生成: Xoutg=XspegXpoolt \mathcal{X}_{out}^{g} = \mathcal{X}_{spe}^{g}\odot \mathcal{X}_{pool}^{t} 其中 Xpoolt\mathcal{X}_{pool}^{t} 代表经过池化增强的文本模态输出。

    • IFFT 逆转换: 经过池化增强和频域的频谱交叉融合后,应用 IFFT 将特征逆转换为时域表示。 Xg[i]=i=0n1Xoutg[k]ej2πkiT \pmb{X}^{g}[i] = \sum_{i = 0}^{n - 1}\pmb{\mathcal{X}}_{\mathit{o u t}}^{g}[k]e^{j\frac{2\pi ki}{T}}

4.2.3. 文本模态编码器 (Text Modality Encoder)

此模块(对应图 1 中的 “c” 部分)处理文本信息。文本可以是原始交通时间序列数据中预定义的,也可以是从输入数据生成的。

  1. 文本生成 (Text Generation): 如果需要生成文本描述,可以利用大语言模型 (LLMs)(例如 ChatGPT)生成项目描述,以增强文本特征提取的语义信息。此外,可以直接从输入数据中提取更多上下文信息,如主题 (topic)、背景 (background) 和车辆位置 (vehicle position),从而为交通画像提供完整的文本信息。如果输入数据已包含完整的文本信息,则可以直接输入文本编码器生成向量特征进行后续处理。

  2. 文本特征的频域处理:

    • FFT 转换: 与视觉模态编码器类似,文本编码器生成的向量 Xt\mathbf{X}^{t} 也通过频谱转换技术转换为频域表示。 Xt[k]=i=0n1Xt[i]ej2πkin \mathcal{X}^{t}[k] = \sum_{i = 0}^{n - 1}X^{t}[i]e^{-j\frac{2\pi ki}{n}}

    • FIR 滤波器、平均池化与跨模态增强: 通过 FIR 滤波器、平均池化和与图像模态的交叉模态频谱增强处理,计算新的频谱表示: Xoutt=XspetAverage(Xspegδg) \pmb{\mathcal{X}}_{out}^{t} = \pmb{\mathcal{X}}_{spe}^{t}\odot Average(\pmb{\mathcal{X}}_{spe}^{g}\odot \delta^{g})

    • IFFT 逆转换: 最后,应用 IFFT 将频域特征逆转换为时域特征 Xoutt\mathbf{X}^{t}_{\text{out}},用于进一步的跨模态融合。

4.2.4. 跨模态融合 (Cross-modal Fusion)

每种模态经过频谱转换和频域处理后,通过两种方案实现特征融合:对比学习 (Contrastive Learning) 和分布相似性融合 (Distribution Similarity Fusion)。

  1. 对比学习 (Contrastive Learning): 对比损失 (contrastive loss) 的作用在于,通过减小同一交通场景不同模态特征之间的距离,同时增大不相关模态特征之间的距离,实现跨模态特征的语义对齐,从而增强多模态特征的一致性。

    • 监督损失 (Supervised Loss): 对于有标签数据,首先进行监督学习,计算监督损失 L(SUP)\mathcal{L}(SUP)。给定一个数据实例 xix_{i},可以得到配对 (xi,si)(x_{i}^{\prime}, s_{i}) 来计算监督损失,其中 xix_{i}^{\prime} 对应编码特征,sis_{i} 对应真实特征。给定一个包含 mm 个类别的数据集 Y={M1,M2,,Mm}\mathcal{Y} = \left\{\mathcal{M}_{1},\mathcal{M}_{2},\dots,\mathcal{M}_{m}\right\},对于每个实例,定义监督损失为 Li(xprime,si)\mathcal{L}_{i}(x^{prime},s_{i})。总的监督损失计算为: L(SUP)=Xy(xMi1MisMi,xs[Li(x,sv)+Li(xg,sg)+Li(x,st)]) \mathcal{L}(SUP) = \sum_{X}\sum_{y}\left(\sum_{x^{\prime}\in \mathcal{M}_{i}}\frac{1}{|\mathcal{M}_{i}|}\sum_{s\in \mathcal{M}_{i},x^{\prime}\neq s}\left[\mathcal{L}_{i}(x^{\prime \prime},s^{v})+\mathcal{L}_{i}(x^{\prime}g,s^{g}) + \mathcal{L}_{i}(x^{\prime \prime},s^{t})\right]\right) 注:原文中的公式存在一些排版或符号上的不一致,如 xx''x'g 的写法。在此严格按照原文呈现。其意图很可能是将编码特征 xx' 的不同模态表示(如 xv,xg,xtx'^v, x'^g, x'^t)与真实特征 ss 的相应模态表示进行对比学习。

    • 无监督损失 (Unsupervised Loss): 无监督学习主要通过对齐不同模态的特征来捕捉它们之间的差异。引入 InfoNCE 损失 (He et al. 2020) 来计算相似度: L(UNS)=13Xi=1X[Lv(xiv,xig,xit)+Lg(xig,xit,xiv)+Lt(xit,xiv,xig)] \mathcal{L}(UNS) = \frac{1}{3|X|}\sum_{i = 1}^{|X|}\left[\mathcal{L}_{v}(x_{i}^{v},x_{i}^{g},x_{i}^{t}) + \mathcal{L}_{g}(x_{i}^{g},x_{i}^{t},x_{i}^{v}) + \mathcal{L}_{t}(x_{i}^{t},x_{i}^{v},x_{i}^{g})\right] 其中 Lv(xiv,xig,xit)\mathcal{L}_{v}(x_{i}^{v},x_{i}^{g},x_{i}^{t}) 表示以数值模态 xivx_{i}^{v} 为锚点,将 xigx_{i}^{g}xitx_{i}^{t} 作为正样本,其他样本作为负样本计算的 InfoNCE 损失,其他项同理。

  2. 分布相似性融合 (Distribution Similarity Fusion): 为了确保跨模态特征的语义一致性,设计了一个分布相似性融合方案来评估不同模态特征之间的相似性。具体来说,MTP 应用任意两种模态之间的詹森-香农散度 (Jensen-Shannon, JS) 来计算分布相似性。给定一个数据实例 xx,其在数值模态中的后验概率可以定义为 I(αvxv)\mathbb{I}(\alpha^{v} | x^{v})。经过分布相似性融合后,JS 散度计算为: Δ=(JS(I(αvxv)I(αgxg))+JS(I(αvxv)I(αtxt))+JS(I(αgxg)I(αtxt)))/3, \begin{array}{rl} & {\Delta = (JS(\mathbb{I}(\alpha^v | x^v)||\mathbb{I}(\alpha^g | x^g)) + JS(\mathbb{I}(\alpha^v | x^v)||\mathbb{I}(\alpha^t | x^t))}\\ & {\quad +JS(\mathbb{I}(\alpha^{g} | x^g)||\mathbb{I}(\alpha^t | x^t)))/3,} \end{array} 其中 I(αvxv)\mathbb{I}(\alpha^v | x^v) 表示给定数值模态特征 xvx^v 时,潜在变量 αv\alpha^v 的分布。 然后,可以通过相似度度量结果获得经过分布相似性融合后的新特征 x^\hat{x}x^=(1Δ)(Kvxv+Kgxg+Ktxt)+Δxv+Δxg+Δxt \hat{x} = (1 - \Delta)(K^v x^v + K^g x^g + K^t x^t) + \Delta x^v + \Delta x^g + \Delta x^t 其中 KK 代表实例 xx 的训练度量 (training metric)。

  3. 最终分类与损失函数: 最后,使用多层感知机 (MLP) 分类器预测每个数据的标签。由于城市交通画像是一个多分类问题,引入了多类别交叉熵损失 (multi-class cross-entropy loss) 来计算融合损失。 L(CE)=EyY^i=1myilog(yi) \mathcal{L}(CE) = -\mathbb{E}_{y\sim \hat{Y}}\sum_{i = 1}^{m}y_{i}log(y_{i}^{\prime}) 其中 yiy_{i} 是真实标签,yiy_{i}^{\prime} 表示预测标签属于类别 ii 的概率。

  4. 总损失函数 (Total Loss Function): 目标损失由两部分组成:对比损失和融合损失。总损失计算为: L=αL(SUP)+βL(UNS)+γL(CE) \mathcal{L} = \alpha \mathcal{L}(\mathrm{SUP}) + \beta \mathcal{L}(\mathrm{UNS}) + \gamma \mathcal{L}(CE) 其中 α,β,γ\alpha, \beta, \gamma 是用于平衡不同模块影响的超参数。

图像引用

下图(Figure 1)展示了 MTP 框架的整体概览,包括了时间序列模态编码器、视觉模态编码器和文本模态编码器以及它们之间的融合机制。

fig 1 该图像是一个示意图,展示了多模态城市交通信号的源码结构,包括时间序列模态编码器、视觉模态编码器和文本模态编码器的过程。在这个框架中,采用FFT和多尺度卷积对频率域和周期性域的数据进行处理,以实现信息的增强和特征提取。

Figure 1: The overview of our framework. MTP learns multimodal features in the frequency domain from three perspectives: numerical, visual, and textual. These modalities are fused to provide more comprehensive features for urban traffic profiling.

5. 实验设置

5.1. 数据集

实验在六个广泛使用的公共时间序列分类基准数据集上进行。

  1. Chinatown:

    • 来源: UCR/UEA 时间序列分类档案 (UCR/UEA Time Series Classification Archive)。
    • 特点: 记录了唐人街区域两个不同位置的行人数量,是一个多元时间序列分类任务。
  2. METR-LA:

    • 来源: 大型交通数据集。
    • 特点: 包含洛杉矶县高速公路上 207 个传感器在 4 个月内的交通速度数据。是一个经典的多元时间序列数据集,广泛用于交通流量和速度预测研究。
    • 标签生成策略(补充说明,来自 Appendix F): 论文通过“自由流速度百分比 (Percentage of Free-Flow Speed, FFS)”方法,将连续的速度记录离散化为三种交通状态标签,以适应机器学习分类任务。
      • 高拥堵 (High Congestion): 速度 <40< 40 mph (约 <60%< 60\% FFS)。对应服务水平 (Level of Service, LOS) E/F,表示严重拥堵和走走停停的交通状况。
      • 中度拥堵 (Moderate Congestion): 速度 [40,60]\in [40, 60] mph。对应 LOS C/D,表示交通流变得不稳定但尚未完全崩溃的过渡阶段。
      • 低拥堵 (Low Congestion): 速度 >60> 60 mph。对应 LOS A/B,表示平稳、无阻碍的交通流。平均自由流速度设定为 65 mph。
  3. MelbournePedestrian (Melbourne):

    • 来源: 未明确指出具体来源,但描述为墨尔本市中心各地从 2015 年到 2017 年的每小时行人计数。
    • 特点: 用于城市出行模式分析和行人流量预测。
  4. PEMS-BAY:

    • 来源: 加州交通部性能测量系统 (California Department of Transportation's Performance Measurement System, PeMS)。
    • 特点: 包含旧金山湾区 325 个传感器在 6 个月内的交通数据,是一个大型交通数据集。
  5. DodgerLoopDay (DodgerLoop):

    • 来源: UCR/UEA 时间序列分类档案。
    • 特点: 包含通往洛杉矶道奇体育场道路上的车辆计数。分类任务是根据交通模式区分比赛日 (game days) 和非比赛日 (non-game days)。
  6. PEMS-SF:

    • 来源: Caltrans 性能测量系统 (Caltrans Performance Measurement System, PeMS)。

    • 特点: 包含旧金山湾区高速公路上 963 个传感器的交通占用率数据,是交通分类的常用基准。

      这些数据集涵盖了不同的地理区域、时间跨度和交通类型(行人计数、车辆速度、占用率),能够有效地验证 MTP 方法在不同城市交通场景下的性能和泛化能力。

5.2. 评估指标

论文采用了一系列分类指标来衡量性能。这里列出并解释这些指标。 对于一个多分类问题,通常会计算每个类别的精确率 (Precision)、召回率 (Recall) 和 F1 值,然后取其宏平均 (Macro-average)。

  1. 准确率 (Accuracy)

    • 概念定义: Accuracy 是指模型正确预测的样本数占总样本数的比例。它衡量了模型整体的正确性。
    • 数学公式: Accuracy=Number of Correct PredictionsTotal Number of Predictions \text{Accuracy} = \frac{\text{Number of Correct Predictions}}{\text{Total Number of Predictions}}
    • 符号解释:
      • Number of Correct Predictions:模型正确预测的样本数量。
      • Total Number of Predictions:总的预测样本数量。
  2. 宏平均精确率 (Macro-Precision)

    • 概念定义: Macro-Precision 是指先计算每个类别的精确率,然后对所有类别的精确率取算术平均值。它平等对待每个类别,不受类别样本数量不平衡的影响。
    • 数学公式: Macro-Precision=1Nclassesi=1NclassesTPiTPi+FPi \text{Macro-Precision} = \frac{1}{N_{\text{classes}}} \sum_{i=1}^{N_{\text{classes}}} \frac{\text{TP}_i}{\text{TP}_i + \text{FP}_i}
    • 符号解释:
      • NclassesN_{\text{classes}}:类别的总数量。
      • TPi\text{TP}_i (True Positives for class ii):类别 ii 中被正确预测为类别 ii 的样本数。
      • FPi\text{FP}_i (False Positives for class ii):其他类别中被错误预测为类别 ii 的样本数。
  3. 宏平均召回率 (Macro-Recall)

    • 概念定义: Macro-Recall 是指先计算每个类别的召回率,然后对所有类别的召回率取算术平均值。它平等对待每个类别,衡量模型在每个类别上识别所有相关样本的能力。
    • 数学公式: Macro-Recall=1Nclassesi=1NclassesTPiTPi+FNi \text{Macro-Recall} = \frac{1}{N_{\text{classes}}} \sum_{i=1}^{N_{\text{classes}}} \frac{\text{TP}_i}{\text{TP}_i + \text{FN}_i}
    • 符号解释:
      • NclassesN_{\text{classes}}:类别的总数量。
      • TPi\text{TP}_i (True Positives for class ii):类别 ii 中被正确预测为类别 ii 的样本数。
      • FNi\text{FN}_i (False Negatives for class ii):类别 ii 中被错误预测为其他类别的样本数。
  4. 宏平均 F1 值 (Macro F1-Score)

    • 概念定义: Macro F1-Score 是指先计算每个类别的 F1 值,然后对所有类别的 F1 值取算术平均值。F1 值是精确率和召回率的调和平均值,综合考虑了两者的表现。宏平均 F1 值同样平等对待每个类别。
    • 数学公式: F1-scorei=2PrecisioniRecalliPrecisioni+Recalli \text{F1-score}_i = 2 \cdot \frac{\text{Precision}_i \cdot \text{Recall}_i}{\text{Precision}_i + \text{Recall}_i} Macro F1-Score=1Nclassesi=1NclassesF1-scorei \text{Macro F1-Score} = \frac{1}{N_{\text{classes}}} \sum_{i=1}^{N_{\text{classes}}} \text{F1-score}_i
    • 符号解释:
      • NclassesN_{\text{classes}}:类别的总数量。
      • Precisioni\text{Precision}_i:类别 ii 的精确率。
      • Recalli\text{Recall}_i:类别 ii 的召回率。

5.3. 对比基线

论文将 MTP 框架与 8 种最先进的时间序列模型进行了比较,涵盖了基于 Transformer 的架构、基于 shapelet 的方法以及预训练框架。这些基线模型具有代表性,能够全面评估 MTP 的性能。

  1. TST (Time Series Transformer) (Zerveas et al. 2021): 直接将标准 Transformer 编码器架构应用于时域。它利用自注意力机制 (self-attention mechanism) 捕捉所有时间步之间的成对关系。
  2. ShapeNet (Cheng et al. 2021): 一种基于 shapelet 的神经网络,用于多元时间序列分类。它学习判别性的 shapelet 并将提取的 shapelet 特征输入全连接网络,以捕捉局部模式和全局依赖。
  3. PatchTST (Nie et al. 2023): 一种基于 Transformer 的模型,将时间序列视为一系列补丁 (patch,即子序列)。它独立处理每个通道,实现对长期预测和分类任务的有效表示学习。
  4. SVP-T (Zuo et al. 2023): 一个时间序列数据的预训练框架,在两个层面操作。它从时间序列的形状级别 (shape-level)(局部模式)和速度级别 (velocity-level)(趋势信息)学习表示,旨在为下游任务创建更鲁棒的特征。
  5. LightTS (Zhang, Chen, and He 2023): 一个轻量级时间序列分类框架。它采用自适应集成蒸馏技术,将知识从多个异构教师模型转移到单个轻量级学生模型中。
  6. ModernTCN (Wang et al. 2024c): 经典时间卷积网络 (Temporal Convolutional Network, TCN) 的现代化版本。它融合了现代 CNN 设计原则,如深度可分离卷积 (depthwise separable convolutions),以增强模型性能和可扩展性。
  7. CAFO (Li, Wang, and Liu 2024): 一个基于卷积注意力的骨干网络,专为时间序列分类任务设计。它有效地结合了卷积层的局部特征提取能力和注意力机制捕捉长距离依赖的能力。
  8. InterpGN (Wen, Ma et al. 2025): 一个旨在结合模型性能和可解释性的时间序列分类框架。它使用可学习的 shapelet 作为可解释模块,并通过门控机制将其输出与强大的“黑盒”网络融合,提供准确且可解释的预测。

5.4. 实现细节

  • 实现框架: PyTorch。
  • 硬件: 单块 NVIDIA RTX 3090 GPU。
  • 模态生成参数: 图像尺寸设置为 64x64 像素,最大文本长度为 128 词元 (tokens)。
  • 训练设置: 训练 50 个 epoch,批次大小 (batch size) 为 64。
  • 优化器: AdamW 优化器。
  • 学习率: 初始学习率为 1e-4,权重衰减 (weight decay) 为 0.01。
  • 学习率调度器: 带有线性预热 (linear warmup) 的学习率调度器。
  • 损失函数超参数: 对比损失权重 α\alpha 设置为 0.1,温度系数 τ\tau 设置为 0.07。
  • 验证策略: 采用五折交叉验证 (five-fold cross-validation) 以确保结果的鲁棒性。
  • 实验运行次数: 所有实验运行 15 次,并报告算术平均结果。

6. 实验结果与分析

6.1. 核心结果分析

MTP 框架在六个真实世界数据集上的性能与最先进基线模型的比较结果展示了其优越性。

以下是原文 Table 1 的结果:

Dataset ShapeNet TST PatchTST SVP-T LightTS ModernTCN CAFO InterpGN MTP
F1 Acc F1 Acc F1 Acc F1 Acc F1 Acc F1 Acc F1 Acc F1 Acc F1 Acc
Chinatown 0.7206 0.7259 0.9472 0.9563 0.9714 0.9767 0.9456 0.9592 0.9680 0.9708 0.9712 0.9767 0.9784 0.9825 0.9541 0.9659 0.9820 0.9839
Melbourne 0.7186 0.7314 0.8246 0.8421 0.8897 0.8873 0.8030 0.8065 0.8670 0.8655 0.8732 0.8786 0.8876 0.8860 0.8392 0.8364 0.9669 0.9635
PEMS-BAY 0.6365 0.6790 0.6712 0.6882 0.6838 0.6929 0.6573 0.6844 0.6736 0.6860 0.6950 0.7055 0.6637 0.6840 0.6770 0.6989 0.7091 0.7200
METR-LA 0.7186 0.7314 0.7143 0.7224 0.7295 0.7425 0.7158 0.7269 0.7113 0.7229 0.7483 0.7562 0.7158 0.7266 0.7262 0.7385 0.7590 0.7684
DodgerLoop 0.1500 0.2153 0.3523 0.4125 0.4535 0.5750 0.3817 0.4250 0.5156 0.5625 0.2442 0.3750 0.3607 0.4500 0.1519 0.2250 0.5676 0.6000
PEMS-SF 0.6373 0.6503 0.7900 0.7919 0.7468 0.7446 0.8215 0.8286 0.7384 0.7514 0.7594 0.7630 0.7857 0.7919 0.6246 0.6705 0.8310 0.8277

分析:

  • MTP 的卓越性能: 从 Table 1 可以看出,MTP 在绝大多数情况下持续取得最先进 (state-of-the-art) 的结果,优于所有基线模型。

    • Melbourne 数据集上,MTP 在 F1-score (0.9669) 和 Accuracy (0.9635) 上均获得最佳性能。
    • Chinatown 数据集上,MTP 达到了最高的 F1-score (0.9820) 和可比的 Accuracy (0.9839),仅次于 PatehTSTAccuracy (0.9767,但 MTP 实际更高,原文似乎写错了)。实际上,MTPChinatown 数据集上 Accuracy 为 0.9839,是第二好的结果(最好的在 Table 3 中是 0.9854),但此处原文表格中PatehTSTAcc为 0.9767,CAFO为 0.9825,因此 MTP 仍是最佳。
    • 在大型交通数据集 PEMS-BAYMETR-LA 上,MTP 同样表现出色,分别以 F1-score (0.7091 / 0.7590) 和 Accuracy (0.7200 / 0.7684) 排名第一。
    • 在波动性较大的 DodgerLoopDay 数据集上,MTP 再次以 F1-score (0.5676) 和 Accuracy (0.6000) 排名第一,显著优于大多数基线。
    • 即使在 PEMS-SF 数据集上,MTP 的表现也极具竞争力,获得了第二高的 Accuracy (0.8277)。
  • 多模态融合的有效性: MTP 的持续优异表现强有力地验证了其通过模态增强和多模态融合学习更全面特征表示的能力。这表明将数值、视觉和文本信息在频域中进行整合,能够更深入地理解复杂的城市交通动态,从而提高分类性能。

  • 基线模型的表现: PatchTSTCAFO 等基于 Transformer 和注意力机制的模型在某些数据集上也表现良好,例如 PatchTSTChinatown 上表现突出,CAFOChinatown 上也具有竞争力。这表明这些模型在处理时间序列数据方面具有强大能力,但 MTP 的多模态融合策略进一步提升了性能。ShapeNetInterpGN 等方法的性能相对较低,尤其是在 DodgerLoop 数据集上,这可能说明它们在处理复杂或波动性大的交通模式方面存在局限性。

6.2. 消融实验与参数分析

6.2.1. 消融实验 (Ablation Study)

论文通过移除 MTP 框架中的核心组件(视觉分支、文本分支和时间序列分支)来评估每个组件对最终性能的影响。

以下是原文 Table 2 的结果:

Variant Melbourne DodgerLoop
Acc Pre Rec F1 Acc Pre
MTP 0.9672 0.9671 0.9669 0.9669 0.600 0.6978
w/o Visual 0.7593 0.7617 0.7595 0.7584 0.2375 0.0674
w/o Textual 0.9659 0.9660 0.9657 0.9657 0.5375 0.6248
w/o TS 0.6839 0.6845 0.6833 0.6766 0.5875 0.6015

以下是原文 Table 3 的结果:

Dataset Metric MTP w/o V w/o T w/o TS
Chinatown Accuracy 0.9854 0.9271 0.9796 0.9563
Precision 0.9747 0.9008 0.9653 0.9312
Recall 0.9900 0.9233 0.9859 0.9699
F1-score 0.9820 0.9110 0.9749 0.9475
PEMS-BAY Accuracy 0.7128 0.7051 0.7071 0.6639
Precision 0.7133 0.6929 0.7037 0.6606
Recall 0.7093 0.6916 0.7066 0.6474
F1-score 0.7091 0.6905 0.7050 0.6478
METR-LA Accuracy 0.7680 0.7623 0.7671 0.7342
Precision 0.7592 0.7584 0.7590 0.7304
Recall 0.7592 0.7543 0.7520 0.7235
F1-score 0.7590 0.7552 0.7526 0.7248
PEMS-SF Accuracy 0.7977 0.6127 0.5549 0.6185
Precision 0.8100 0.5967 0.5641 0.6035
Recall 0.7912 0.5999 0.5448 0.6114
F1-score 0.7888 0.5810 0.5428 0.5997

分析:

  • 完整 MTP 框架的优越性: 完整的 MTP 框架在所有消融变体中始终表现最佳,这验证了所有模态(数值、视觉、文本)及其融合机制对于提升性能的整体重要性。
  • 视觉模态的关键贡献:DodgerLoop 数据集上,移除视觉分支 (w/o V) 导致 F1-score 从 0.5676 显著下降到 0.1048 (Table 2 中为 0.1048,原文中为 0.5848 -> 0.1048, Table 2 中为 0.2375)。这表明视觉信息,特别是通过频率图像和周期性图像捕捉的模式,对于理解该数据集的交通动态至关重要。PEMS-SF 数据集上也观察到类似情况,移除视觉模态导致 F1-score 从 0.7888 大幅下降到 0.5810。
  • 时间序列模态的重要性:Melbourne 数据集上,仅依赖视觉和文本模态而没有原始时间序列 (w/o TS) 导致性能显著下降 (F1-score 从 0.9669 下降到 0.6766)。这强调了原始数值时间序列数据作为基础信息源的不可替代性。在 PEMS-BAYMETR-LA 上,移除时间序列模态也导致了明显的性能下降。
  • 文本模态的辅助作用: 移除文本分支 (w/o T) 在 MelbourneChinatown 等数据集上导致的性能下降相对较小(例如,MelbourneF1-score 从 0.9669 降至 0.9657),但在 DodgerLoopPEMS-SF 上仍有明显影响。这表明文本模态虽然可能不是决定性因素,但它提供了有价值的语义信息,对提升整体性能起到了补充作用。
  • 结论: 所有的模态增强和融合策略都是 MTP 模型卓越性能的核心驱动力。每种模态都贡献了独特且互补的信息,共同构建了更全面的交通画像。

6.2.2. 超参数敏感性分析 (Hyperparameter Sensitivity Analysis)

论文对四个关键超参数进行了敏感性分析,以评估 MTP 模型的鲁棒性。

下图(Figure 2)展示了 MTP 对四个关键参数的敏感性分析:(a) 学习率 (Learning Rate),(b) 温度 (Temperature),(c) Alpha 权重 (Alpha weight),和 (d) 嵌入维度 (Embedding dimension)。

fig 2 该图像是四个参数对模型表现的影响图,其中分别显示了学习率(a)、温度(b)、阿尔法权重(c)和嵌入维度(d)与准确率、精确率、召回率及F1分数之间的关系。每个子图通过线条展示不同参数值对性能指标的影响趋势。

Figure 2: Hyperparameter sensitivity analysis on four key parameters: (a) Learning Rate, (b) Temperature, (c) Alpha weight, and (d) Embedding dimension.

分析:

  • 学习率 (Learning Rate): 性能在 1e-4 左右达到峰值,表明模型对学习率的变化具有一定的容忍度,但过高或过低都会导致性能下降。

  • 温度参数 (Temperature Parameter): 最佳范围在 0.05 到 0.1 之间。这是对比学习中的一个关键参数,影响正负样本的区分难度。在此范围内,模型能够有效地区分相似和不相似的样本。

  • 对比损失中的 Alpha 权重 (Alpha Weight): MTP 对较小的 alpha 值有明显的偏好,在 0.1 时达到最佳性能。alpha 权重用于平衡监督损失和无监督损失。这可能意味着无监督对比学习 (InfoNCE) 在模型整体优化中扮演了更重要的角色,或者过高的监督损失权重可能会导致过拟合。

  • 嵌入维度 (Embedding Dimension): 性能在嵌入维度达到 128 后趋于平稳。这意味着增加嵌入维度超过 128 对性能的提升不再显著,同时也增加了计算成本,因此 128 是一个合理的选择。

    结论: 这些结果共同验证了 MTP 框架的鲁棒性,表明它在不同的超参数设置下表现稳定,不需要进行大量的超参数调优。

6.3. 定性分析 (Qualitative Analysis)

为了直观地理解 MTP 框架的有效性,论文使用 t-SNE (t-Distributed Stochastic Neighbor Embedding) 可视化了 METR-LA 数据集上的特征分布。

下图(Figure 3)展示了 METR-LA 数据集上的 t-SNE 可视化结果,该数据集包含三种标签。

fig 3 该图像是一个示意图,展示了四种不同类型的特征,分别是最终融合特征(a)、图像特征(b)、文本特征(c)和时间序列特征(d)。每种特征在空间中的分布不同,提供了多模态学习的可视化结果。

Figure 3: Comparative t-SNE visualizations on the METR-LA dataset, which contains three types of labels.

下图(Figure 4)展示了 Chinatown 数据集上的 t-SNE 可视化结果,颜色编码:蓝色 (Class 0),绿色 (Class 1)。

fig 4 该图像是展示了多模态特征的可视化图,包含四个子图:最终融合特征(a)、图像特征(b)、文本特征(c)和时间序列特征(d),分别展示了不同特征在空间中的分布情况。

Figure 4: Comparative t-SNE visualizations on the Chinatown dataset. Color coding: blue (Class 0), green (Class 1).

分析:

  • 融合特征的优越性: 从 Figure 3 (a) 和 Figure 4 (a) 可以看出,MTP 框架学习到的最终融合特征在 2D 空间中形成了高度内聚且清晰分离的簇。来自不同类别的样本(用不同颜色表示)被明确地分隔开,重叠最小。这为 Table 1 中报告的高分类性能提供了强有力的视觉证据。
  • 单模态特征的局限性: 相比之下,来自单一模态的特征分布(Figure 3 (b)-(d) 和 Figure 4 (b)-(d))更加分散和混杂,类别之间的重叠更多。这表明单独使用任何一种模态都难以有效区分不同的交通状态。
  • 融合模块的成功: 这种定性结果与消融研究的结论一致,进一步证明了 MTP 的融合模块成功地整合了互补信息,从而产生了更强大和更具判别力的最终表示。融合后的特征能够更好地捕捉不同交通状态之间的细微差别,提高了分类的准确性。

7. 总结与思考

7.1. 结论总结

本文提出了一种新颖的多模态城市交通画像框架 MTP。MTP 解决了现有交通画像方法依赖单一数值模态、忽视多模态异构数据中语义信息的问题。其核心创新在于从数值、视觉和文本三个视角在频域中学习多模态特征。具体而言,MTP 通过将原始交通信号转换为频率图像和周期性图像进行视觉增强,并根据主题、背景信息等生成描述性文本进行文本增强。数值信息则通过频域多层感知机进行处理。MTP 还设计了分层对比学习来融合三种模态的频谱,并通过分布相似性融合策略进一步增强特征的判别力。在六个真实世界数据集上进行的广泛实验表明,MTP 框架显著优于现有的最先进方法,并在性能和鲁棒性方面表现出色。定性分析也证实了 MTP 学习到的融合特征具有高度的判别性。

7.2. 局限性与未来工作

7.2.1. 论文作者指出的局限性与未来工作

论文作者指出,未来的工作将涉及:

  1. 整合更多类型的城市模态数据: 例如,可能包括天气数据、公共事件数据、地理空间数据等,以进一步丰富交通画像的视角。
  2. 探索更细粒度的跨模态关联建模机制: 当前的融合机制可能仍有改进空间,可以研究更精细、更动态的机制来捕捉不同模态之间复杂的相互作用和依赖关系。

7.2.2. 个人启发与批判

个人启发:

  1. 模态增强的潜力: MTP 提出的模态增强思想(将时间序列转换为图像和文本)具有很强的启发性。这不仅仅是简单地利用已有的多模态数据,而是主动从原始数据中“创造”新的、具有语义信息的模态。这种思想可以推广到其他领域,例如将传感器数据转换为声音或触觉模态,以提供更丰富的特征表示。
  2. 频域分析的价值: 在交通领域,周期性是其核心特征之一。将数据转换到频域进行处理,能够直接有效地捕捉这些周期性,并过滤掉噪声,这比纯粹在时域进行复杂的序列建模可能更加直观和高效。
  3. 融合策略的精巧: MTP 结合了对比学习和分布相似性融合,这两种策略互补性强。对比学习确保了不同模态在语义层面的对齐,而基于 JS 散度的分布相似性融合则从信息理论的角度评估和整合了模态间的分布信息,使得融合更为全面。
  4. 对现有 LLMs/VLMs 的补充: MTP 的设计思路为 LLMs/VLMs 在时间序列数据处理方面的局限性提供了解决方案。它表明,通过将时间序列数据转化为这些模型擅长处理的模态(图像、文本),并进行专门的频域处理,可以更好地发挥其优势。

批判和潜在改进:

  1. 模态增强的自动化与泛化:
    • 图像生成: 当前的图像生成过程依赖于多尺度卷积和一些手动设计的编码(如周期性编码)。这部分是否能通过更自适应或学习的方式进行优化?例如,使用生成对抗网络 (Generative Adversarial Networks, GANs) 或变分自编码器 (Variational Autoencoders, VAEs) 来学习更具信息量的图像表示。
    • 文本生成: 依赖于 LLMs(如 ChatGPT)生成描述性文本,这可能引入外部模型的偏差或计算成本。此外,生成的文本质量和粒度如何影响最终性能,以及如何针对特定交通场景进行优化,值得进一步探究。
  2. 频域处理的解释性: 虽然频域处理在技术上有效,但其在模型内部的具体贡献和解释性可能不如时域特征直观。未来的工作可以尝试提供更深入的频域特征可视化和解释,以帮助理解模型决策。
  3. 计算复杂性: 引入多模态分支(尤其是视觉和文本分支,包括图像生成和 LLM 文本生成)以及频域转换和融合机制,无疑会增加模型的计算复杂性和训练时间。对于实时交通预测等对延迟敏感的应用,需要评估其部署可行性,并探索轻量化方案。
  4. 数据集的局限性: 论文在六个真实世界数据集上进行了实验,但这些数据集主要集中在交通流量和速度数据。未来的工作可以探索更广泛的交通数据类型(如公交延误、共享单车使用模式、交通事故报告等),以进一步验证 MTP 的泛化能力。
  5. 监督损失的公式表述: 论文中监督损失 L(SUP)\mathcal{L}(SUP) 的公式存在符号不一致的问题(如 xx''x'g),这可能在实现上造成困惑或暗示了原文中的排版错误。建议作者在后续版本中澄清或修正。
  6. 超参数敏感性分析的深度: 虽然论文展示了模型对超参数的鲁棒性,但这些分析是基于单变量变化的。不同超参数之间的交互作用(例如,温度和 alpha 权重的组合)也可能对性能产生影响,这可以作为进一步研究的方向。

相似论文推荐

基于向量语义检索推荐的相关论文。

暂时没有找到相似论文。