论文状态:已完成

Techniques and Challenges of Image Segmentation: A Review

发表:2023/03/02
原文链接
价格:0.100000
已有 4 人读过
本分析由 AI 生成,可能不完全准确,请以原文为准。

TL;DR 精炼摘要

图像分割是图像处理与计算机视觉领域的关键步骤,涉及将图像分为有意义的非重叠区域。尽管已有显著进展,但在特征提取和模型设计上依然存在挑战。本文系统综述了图像分割的发展历程,将其划分为经典分割、协同分割与基于深度学习的语义分割,分析了每个阶段的主要算法和技术,并讨论了面临的主要挑战与未来发展趋势。

摘要

Image segmentation, which has become a research hotspot in the field of image processing and computer vision, refers to the process of dividing an image into meaningful and non-overlapping regions, and it is an essential step in natural scene understanding. Despite decades of effort and many achievements, there are still challenges in feature extraction and model design. In this paper, we review the advancement in image segmentation methods systematically. According to the segmentation principles and image data characteristics, three important stages of image segmentation are mainly reviewed, which are classic segmentation, collaborative segmentation, and semantic segmentation based on deep learning. We elaborate on the main algorithms and key techniques in each stage, compare, and summarize the advantages and defects of different segmentation models, and discuss their applicability. Finally, we analyze the main challenges and development trends of image segmentation techniques.

思维导图

论文精读

中文精读

1. 论文基本信息

1.1. 标题

图像分割的技术与挑战:综述 (Techniques and Challenges of Image Segmentation: A Review)

1.2. 作者

Ying Yu, Chunping Wang, Qiang Fu, Renke Kou, Fuyu Huang, Boxiong Yang, Tingting Yang 和 Mingliang Gao。 他们的研究背景和隶属机构主要包括:

  • 中国人民解放军陆军工程大学电子光学工程系
  • 三亚学院信息与智能工程学院
  • 山东理工大学电气与电子工程学院

1.3. 发表期刊/会议

《电子学》(Electronics) 2023年第12卷第5期,文章编号1199。该期刊在电子、电气工程和计算机科学等领域具有一定的学术影响力。

1.4. 发表年份

2023年

1.5. 摘要

图像分割是图像处理和计算机视觉领域的研究热点,它指的是将图像划分为有意义且不重叠区域的过程,是自然场景理解的关键一步。尽管经过数十年的努力并取得了许多成就,但在特征提取和模型设计方面仍存在挑战。本文系统地综述了图像分割方法的发展。根据分割原理和图像数据特性,主要回顾了图像分割的三个重要阶段:经典分割、协同分割和基于深度学习的语义分割。论文详细阐述了每个阶段的主要算法和关键技术,比较并总结了不同分割模型的优缺点,并讨论了它们的适用性。最后,分析了图像分割技术面临的主要挑战和发展趋势。

1.6. 原文链接

/files/papers/69299a334015f90af7cc618f/paper.pdf

2. 整体概括

2.1. 研究背景与动机

  • 核心问题: 论文旨在解决图像分割领域面临的挑战,尤其是如何有效地将图像划分为有意义且不重叠的区域。这是一个在计算机视觉中基础且关键的问题。
  • 重要性: 图像分割是模式识别和图像理解的基础,其发展与自动驾驶、智能医疗技术、图像搜索引擎、工业检测和增强现实等众多学科和领域紧密相关。
  • 现有研究挑战与空白:
    1. “有意义区域”的定义难题: 由于视觉感知的不确定性和人类理解的多样性,对物体缺乏明确的定义,导致图像分割成为一个不适定问题 (ill-posed problem)。
    2. 对象有效表示难题: 数字图像由像素组成,如何有效地将像素根据颜色、纹理等信息分组为“像素集”或“超像素”,并从这些低级局部特征中获取全局信息(如形状和位置)是一个难点。
    3. 技术演进中的挑战: 经典分割方法依赖专业知识和人工干预,难以获取高级语义信息;协同分割需要先验知识;而基于深度学习的语义分割仍面临标注有限/稀疏、类别不平衡、过拟合、训练时间长和梯度消失等问题。
  • 论文的切入点或创新思路: 尽管已有多篇综述(如 [5-8])介绍了语义分割方法、数据集和评估指标,但它们尚未从图像分割技术如何演进和发展至今的角度进行整理和总结。因此,本文旨在系统地回顾现有图像分割方法,特别是最先进的 (state-of-the-art) 方法,并从算法发展演进的视角对其进行分析和重新分类。

2.2. 核心贡献/主要发现

  • 系统综述与分类: 论文系统地回顾了图像分割技术的发展,并根据分割原理和图像数据特性,将其划分为三个重要阶段:经典分割 (classic segmentation)、协同分割 (co-segmentation) 和基于深度学习的语义分割 (semantic segmentation based on deep learning)。
  • 算法与技术阐述: 详细阐述了每个阶段的主要算法和关键技术,并列举了一些具有影响力的算法。
  • 比较与总结: 对不同分割模型的优缺点进行了比较和总结,并讨论了它们的适用性。
  • 挑战与趋势分析: 深入分析了图像分割技术当前面临的主要挑战和未来的发展趋势,包括对语义、实例、全景分割的需求,对3D数据分割的挑战,对半监督、无监督、少样本学习的需求,以及对模型实时性和计算效率的追求。
  • 演进视角: 论文的一大特色在于其演进视角,展示了图像分割从粗粒度到细粒度 (coarse-grained to fine-grained)、从人工特征提取到自适应学习 (manual feature extraction to adaptive learning)、从面向单张图像到基于大数据共同特征 (single-image-oriented to segmentation based on common features of big data) 的发展趋势。

3. 预备知识与相关工作

3.1. 基础概念

  • 图像分割 (Image Segmentation): 计算机视觉中的一项核心任务,旨在将数字图像划分为多个有意义的、互不重叠的区域。每个区域通常包含具有相似特征(如颜色、纹理、亮度)的像素,或代表图像中的特定对象。
  • 有意义区域 (Meaningful Regions): 指的是在人类视觉感知或特定应用场景下具有语义的对象或背景部分。例如,在一张街景图中,汽车、行人、道路和建筑物都是有意义的区域。
  • 不适定问题 (Ill-posed Problem): 在数学和计算中,指一个问题不满足适定性的三个条件之一:解的存在性、唯一性或对初始条件的连续依赖性。在图像分割中,由于对“有意义区域”的定义模糊和主观性,导致它成为一个不适定问题。
  • 像素集 (Pixel Sets) / 超像素 (Superpixels):
    • 像素集: 简单地指一组像素。
    • 超像素: 是将图像中具有相似特征(如颜色、亮度、纹理、位置)的相邻像素聚合成的、具有感知意义的小区域。使用超像素代替单个像素作为处理单元可以显著降低后续图像处理任务的计算复杂度,并更好地保留图像的局部结构信息。
  • 低级特征 (Low-level Features): 指图像中容易直接从像素值或其局部统计量中提取的特征,如颜色、亮度、纹理、边缘等。它们反映了图像的局部属性。
  • 高级语义信息 (High-level Semantic Information): 指图像中与人类理解和认知相关的抽象概念或意义,如物体的类别、形状、位置、相互关系等。它需要对图像内容进行更深层次的理解和推理。
  • 感受野 (Receptive Field): 在卷积神经网络 (CNN) 中,指输出特征图上一个神经元的响应所对应的输入图像区域的大小。更大的感受野意味着神经元能够“看到”更大范围的输入信息,从而捕获更全局的上下文信息。
  • 空洞卷积 (Dilated Convolution) / 带孔卷积 (Atrous Convolution): 一种特殊的卷积操作,通过在卷积核的元素之间插入“洞”或零值来扩大卷积核的感受野,而无需增加模型参数或降低特征图的分辨率。这对于在不丢失空间分辨率的情况下捕获多尺度上下文信息非常有用。
  • 跳跃连接 (Skip Connections) / 残差连接 (Shortcut Connections): 在深度神经网络中,指将某一层的输出直接连接到后续更深层的输入,通常通过相加或拼接的方式。这种连接有助于缓解梯度消失问题,促进信息流动,并允许网络学习残差函数,从而训练更深层的网络。U-Net中的长跳跃连接 (long skip connection) 是一个典型例子,它将编码器中的高分辨率特征图直接传递给解码器,以恢复空间细节。
  • 注意力机制 (Attention Mechanisms): 一种在神经网络中模拟人类注意力的方法,允许模型在处理输入数据时动态地关注其中最重要的部分。它通过计算不同输入元素之间的关联性(权重)来实现,从而增强相关特征并抑制不相关特征。
  • Transformer: 最初在自然语言处理 (NLP) 领域提出的一种深度学习模型,完全基于自注意力机制 (self-attention mechanism),摒弃了传统的循环 (recurrence) 和卷积 (convolution) 操作。它能够高效地处理长距离依赖关系,并在计算机视觉领域也取得了显著进展。

3.2. 前人工作

论文在介绍图像分割演进时,自然地提及了许多前人工作,并将其分为三个主要阶段:

  1. 经典分割方法: 主要关注单个图像的信息提取,通常需要专业知识和人工干预。例如,边缘检测方法(如 Sobel、Canny 算子)、区域分割方法(如阈值法、区域生长、分水岭算法)、基于图论的方法(如图割 Graph Cuts、马尔可夫随机场 MRF)和聚类方法(如 K-means、Mean-shift、SLIC)。这些方法在早期的图像处理中起到了基础作用。
  2. 协同分割方法 (Co-segmentation): 2006年由 Rother 等人首次提出,旨在从一组图像中提取共同的前景区域,无需人工干预,从而获取先验知识。这类方法通常被归类为半监督或弱监督方法,因为它们利用图像集中的共性信息进行分割。
  3. 基于深度学习的语义分割 (Semantic Segmentation based on Deep Learning): 随着大规模精细标注图像数据集的丰富,深度神经网络在图像分割领域逐渐成为主流。
    • 早期方法: 在深度学习应用于图像分割之前,语义文本森林 (semantic texton forests [51]) 和随机森林 (random forest [52]) 等方法常用于构建语义分割分类器。早期的深度学习方法如补丁分类算法 (patch classification algorithm [53]) 将图像分割成小块进行训练,然后对像素进行分类。
    • 里程碑: 2015年,Long 等人 [54] 提出的全卷积网络 (FCNs) 是一个里程碑,它用卷积层替代了传统分类网络中的全连接层,使得网络能够接受任意尺寸的输入图像并输出等大的分割图,实现了端到端的语义分割训练,为后续的深度学习语义分割奠定了基础。

3.3. 技术演进

图像分割技术的发展呈现出清晰的演进路径:

  1. 1970年代至今的经典分割: 起初主要针对灰度图像,关注区域内部的灰度相似性和区域间的灰度不连续性。方法包括基于边缘(如差分算子)、基于区域(如阈值、区域生长)、基于图论(如图割、MRF)和基于聚类(如K-means、SLIC)。这些方法通常依赖手工设计的特征和启发式规则,且难以获取高级语义信息。

  2. 2006年至今的协同分割: 旨在解决经典方法难以获取高级语义信息的问题,通过从图像集中识别共同对象来获取先验知识。它引入了多图像之间的相似性约束,但仍然依赖于经典分割方法作为基础。

  3. 近年来基于深度学习的语义分割: 随着大规模数据集和计算能力的提升,深度学习彻底改变了图像分割。从FCN开始,网络能够自适应地学习复杂的特征表示,并直接从图像中输出像素级的语义标签。后续发展围绕着改进编解码器结构、引入跳跃连接、空洞卷积、多尺度特征融合、注意力机制和Transformer架构等展开,不断提升分割的准确性、实时性和鲁棒性。

    这种演进趋势体现了从粗粒度到细粒度、从人工特征提取到自适应学习、以及从单张图像导向到基于大数据共同特征的转变。

3.4. 差异化分析

本文与相关工作(如 [5-8] 中提及的其他综述)的核心区别和创新点在于:

  • 演进视角: 本文不是简单地罗列最新的语义分割算法,而是从算法发展的视角,系统地梳理了图像分割技术从经典方法到协同分割再到深度学习语义分割的演进过程。这为读者提供了一个清晰的技术发展脉络。
  • 全面性: 除了深度学习,本文还详细介绍了经典分割和协同分割的各种方法,这使得综述更加全面,有助于初学者理解整个领域的基础和发展历承。
  • 强调挑战与趋势: 论文不仅总结了成就,更深入分析了当前和未来的挑战,包括3D数据分割、缺乏标注数据下的学习以及实时性需求等,为未来的研究指明了方向。

4. 方法论

本文系统地综述了图像分割技术,并根据分割原理和图像数据特性,将其划分为三个主要阶段:经典分割、协同分割和基于深度学习的语义分割。下面将逐一详细阐述各阶段的主要算法和关键技术。

4.1. 经典分割方法

经典分割算法主要针对灰度图像,核心思想是基于区域内部的灰度相似性 (gray-level similarity) 和区域之间灰度不连续性 (gray-level discontinuity) 进行划分。彩色图像分割则在此基础上利用像素间的相似性将图像分割成不同区域或超像素,然后进行合并。

4.1.1. 边缘检测 (Edge Detection)

边缘检测旨在识别图像中灰度急剧变化的区域,这些区域通常是不同对象的边界。

  • 差分算子 (Differential Operators): 这是最早的边缘检测方法之一,通过计算灰度图像的导数或差分来识别边界处的明显变化。常见的算子包括:
    • Sobel 算子: 对图像进行水平和垂直方向的卷积,然后结合结果得到边缘强度。对噪声有一定平滑作用。

    • Kirsch 算子: 考虑了8个方向的边缘检测。

    • Roberts 算子: 最简单的交叉差分算子,计算对角线方向的差分。

    • Canny 算子: 被认为是性能最优异的算子之一,具有良好的去噪能力,并能生成连续、精细、笔直的边缘。其主要步骤包括高斯平滑、计算梯度幅值和方向、非极大值抑制 (Non-Maximum Suppression) 和双阈值滞后处理。

    • Laplacian 算子: 二阶微分算子,对图像中的灰度突变点敏感,常用于检测孤立点或线。

    • 局限性: 差分算子对噪声敏感,且在细节丰富的区域可能导致边界不连续。因此,通常需要先对图像进行平滑处理。

      Figure 2. Edge detection results of different differential operators. (a) Original (b) SobelX (c) SobelY (d) Sobel (e) Kirsch (f) Roberts \(\\mathbf { \\tau } ( \\mathbf { g } )\) Canny and (h) Laplacian. 该图像是图表,展示了不同微分算子的边缘检测结果。其中(a)为原图,(b)至(h)分别为SobelX、SobelY、Sobel、Kirsch、Roberts、Canny与Laplacian的处理结果。

上图(原文 Figure 2)展示了不同差分算子的边缘检测结果,其中 Canny 算子表现最佳。

  • 串行边界技术 (Serial Boundary Techniques): 通过连接边缘点形成闭合边界。

    • 图搜索算法 (Graph-searching Algorithms): 将边缘上的点表示为图结构,通过搜索图中成本最小的路径来确定闭合边界。计算量通常较大。
    • 动态规划算法 (Dynamic Programming Algorithms): 利用启发式规则减少搜索计算,优化图搜索过程。
  • 主动轮廓 (Active Contours) / 蛇形模型 (Snakes): 通过匹配闭合曲线(基于梯度的初始轮廓)与图像的局部特征来近似对象的实际轮廓。通过最小化能量函数来寻找能量最小的闭合曲线,从而实现图像分割。

    • 能量函数: 通常由内部能量(控制轮廓的平滑性和连续性)和外部能量(吸引轮廓向图像梯度大的区域,即物体边缘移动)组成。
    • 局限性: 对初始轮廓的位置敏感,要求初始轮廓接近目标轮廓。其非凸性 (non-convexity) 容易导致局部最小值,难以收敛到凹形边界。Lankton 和 Tannenbaum [9] 提出了考虑局部分割能量的轮廓演化框架,改善了初始定位问题。
  • 图割 (Graph Cuts): 将图像分割问题建模为图上的最小割问题。通过标记目标节点(源节点)和背景节点(汇点节点),并使用节点间的向量连接表示节点与对应像素的拟合程度(惩罚函数)。

    • 图割是一个 NP-hard 问题,需要高效的近似算法来最小化能量函数,例如基于半度量性质的交换算法 (swap algorithm) 和基于度量性质的扩展算法 (expansion algorithm)。
    • Freedman [10] 提出了结合形状先验知识的交互式图割算法,解决了边缘模糊或多个相似对象靠近时分割不准确的问题。图割算法广泛应用于医学图像分析。

4.1.2. 区域划分 (Region Division)

区域划分策略包括串行区域划分和并行区域划分。

  • 阈值分割 (Thresholding): 典型的并行区域划分算法。通过设定一个或多个阈值,将图像像素根据其灰度值划分为不同的区域。

    • 阈值通常由灰度直方图的波谷值确定,或通过最大化不同类别的可区分性来确定最佳灰度阈值。
    • K-means 聚类 (K-means Clustering): 是一种特殊的阈值分割算法,基于 Lloyd 算法提出。它通过迭代计算聚类中心来将像素点划分到 KK 个簇中。
      • 算法步骤: (i) 初始化 KK 个点作为聚类中心;(ii) 计算图像中每个点与 KK 个聚类中心的距离,选择最小距离作为分类 kik_i;(iii) 计算每个类别的平均点(质心),并将聚类中心移动到质心;(iv) 重复步骤 (ii) 和 (iii) 直到算法收敛。
      • 优缺点: 具有噪声鲁棒性 (noise robustness) 和快速收敛性,但不利于处理非相邻区域,且只能收敛到局部最优解。
  • 区域生长 (Region Growing): 串行区域技术。以一个或多个种子点(单个像素或区域)为起始点,根据预定义的生长规则,将种子点邻域内具有相同或相似特征的像素合并到当前区域中,直到无法再合并新的像素。

  • 区域合并 (Region Merging): 原理与区域生长相似,但通过判断前一步获得的区域内像素平均灰度值与相邻像素灰度值之间的差异是否小于给定阈值来衡量相似性。

    • 优缺点: 能解决硬噪声丢失和物体遮挡问题,在控制分割尺度和处理非常规数据方面效果好;但计算成本高,且停止规则难以确定。
  • 分水岭算法 (Watershed): 基于地形学概念。将图像视为地形表面,灰度值代表高度。当“水”从低处上升时,需要在“山峰”处建造“水坝”来阻止水流。这些水坝将整个图像划分为不同的区域。

    • 优缺点: 可以获得闭合轮廓,处理效率高。但在图像复杂时容易出现过分割 (false segmentation) 问题。
    • 改进: 可通过建立高斯混合模型 (Gaussian Mixture Model, GMM) 解决。改进后的分水岭算法泛化性能高,常用于 MRI 图像和数字高程图的分割,对包含重叠细胞的医学图像(如血细胞分割)特别有效。
  • 超像素 (Superpixel): 由位置和特征(如亮度、颜色、纹理)相似的像素组成的一系列不规则小区域。

    • 优势: 使用超像素代替像素可以降低图像处理的复杂度,常用于图像分割的预处理。

    • 生成方法: 主要包括聚类和图论。例如,简单线性迭代聚类 (Simple Linear Iterative Clustering, SLIC [15]) 算法使用 K-means 生成超像素。

      Figure 3. SLIC segmentation results (number of superpixels: 10, 20, 50, and 100) 该图像是图表,展示了SLIC分割结果,分别使用了10、20、50和100个超像素进行图像分割。每个子图展示了不同数量超像素下的分割效果,表明随着超像素数量的增加,图像细节的捕捉程度和分割效果也有所不同。

上图(原文 Figure 3)展示了 SLIC 算法在不同超像素数量下的分割结果。

4.1.3. 图论 (Graph Theory)

基于图论的图像分割方法将图像映射为一个图,其中像素或区域表示为图的顶点 (vertices),顶点之间的相似性表示为边的权重 (weights of edges)。图像分割问题被视为图中的顶点划分问题,通过图论原理和方法分析加权图,并利用全局优化(如最小割 min-cut)获得最优分割。

  • 基于图的区域合并 (Graph-based Region Merging): Felzenszwalb 等人 [11] 在将图像表示为图后,使用最小生成树 (Minimum Spanning Tree, MST) 合并像素。
  • 马尔可夫随机场 (Markov Random Field, MRF): 将概率图模型 (Probabilistic Graphical Models, PGMs) 引入区域划分,以表示图像中低级特征的随机性。它将图像映射为无向图,图中每个顶点代表图像中对应位置的特征,每条边代表两个顶点之间的关系。根据马尔可夫性质,每个点的特征只与其相邻特征相关。
  • 谱图划分 (Spectral Graph Partitioning): Leordeanu 等人 [12] 提出了一种基于谱图划分的方法,用于寻找两组特征之间的对应关系。通过构建加权图的邻接矩阵 MM,并在 MM 的主特征向量上施加映射约束,从而根据 MM 的主聚类强度恢复正确的分配。

4.1.4. 聚类方法 (Clustering Method)

除了 K-means,还有其他多种聚类方法用于图像分割。

  • Mean-shift [13]: 一种基于密度估计的聚类算法,将图像特征空间建模为概率密度函数。通过迭代地将数据点移动到其局部密度最大的区域,从而找到聚类中心。
  • 模糊 C 均值算法 (Fuzzy C-means, FCM) [14]: Chuang 提出,将空间信息集成到隶属度函数 (membership function) 中进行聚类,以生成更均匀的区域分割。与 K-means 不同,FCM 允许像素以不同程度属于多个簇。
  • 谱聚类 (Spectral Clustering): 一种基于图论的常见聚类方法,通过对加权图进行划分,创建低耦合、高内聚的子图。
  • 简单线性迭代聚类 (Simple Linear Iterative Clustering, SLIC) [15]: Achanta 等人提出,使用 K-means 生成超像素。它在 LAB 颜色空间和 XY 坐标空间中进行聚类,限制搜索区域以提高效率。
  • 线性谱聚类 (Linear Spectral Clustering, LSC) [16]: Li 等人提出,使用核函数将像素坐标值映射到高维空间,并适当加权特征空间中的每个点,使得 K-means 的目标函数和归一化割 (normalized cut) 都能获得相同的最优解。

4.1.5. 随机游走 (Random Walks)

随机游走是一种基于图论的分割算法,通过根据预定义规则为相邻像素分配标签,从而将具有相同标签的像素表示在一起以区分不同对象。

  • Grady 等人 [20] 将分割问题转化为离散 Dirichlet 问题。他们将图像转换为带权重的连通无向图,并分别用一个或一组点标记图像的前景和背景作为初始条件。对于未标记点,计算其在随机游走中首次到达前景和背景的概率,取最高概率作为其类别。
  • Yang 等人 [21] 提出了约束随机游走算法,将用户输入作为辅助条件,例如用户可以指定前景和背景区域,或绘制边界必须通过(硬约束)或可能通过(软约束)的区域,从而实现更准确的区域轮廓和互操作性。
  • Lai 等人 [22] 将随机游走图像分割思想扩展到 3D 网格图像。他们将网格的每条边表示为图中的顶点,通过相邻面之间的二面角定义边的权重,并寻找适应边界条件的谐波函数。
  • Zhang 等人 [23] 在此基础上提出了快速测地曲率流 (Fast Geodesic Curvature Flow, FGCF) 算法,将网格顶点视为图顶点以减少顶点数量,并将切割轮廓改为加权曲线的局部最小值以平滑锯齿状轮廓,提高了效率和鲁棒性。

4.2. 协同分割方法 (Co-Segmentation Methods)

经典分割方法难以获取图像的高级语义信息。2006年,Rother 等人 [24] 首次提出了协同分割的概念,旨在从多个图像中提取共同的前景区域,无需人工干预,从而获得先验知识。

协同分割模型通常可表示为以下能量函数: E=Es+EgE = E_s + E_g 其中:

  • EsE_s 代表种子图像分割的能量函数 (energy function of seed image segmentation),描述图像前景和背景之间的差异以及图像的平滑度。在马尔可夫随机场 (MRF) 分割方法中,EsE_s 可以表示为: EsMRF=EuMRF+EpMRF E _ { s } ^ { M R F } = \mathrm { E } _ { u } ^ { M R F } + E _ { p } ^ { M R F }

    • EuMRF\mathrm { E } _ { u } ^ { M R F }一元势 (unary potential),衡量像素 ii 在特征为 yiy_i 时属于类别 xix_i 的概率,即 xiEu(xi)\sum _ { x _ { i } } E _ { u } ( x _ { i } )。它反映了单个像素的特征属性。
    • EpMRFE _ { p } ^ { M R F }成对势 (pairwise potential),衡量两个相邻像素 iijj 属于同一类别的概率,即 xi,xjΨEp(xi,xj)\overline { \sum _ { x _ { i } , x _ { j } \in \Psi } E _ { p } \left( \overline { x _ { i } } , x _ { j } \right) }。它反映了像素之间的关系,通常用于鼓励相邻像素具有相同的标签。
  • EgE_g 代表协同分割的能量函数 (energy function of co-segmentation),描述图像集中前景之间的相似性。通常用于惩罚多个前景颜色直方图的不一致性。

    为实现良好的协同分割效果,需要最小化总能量 EE。这可以通过两种方式实现:改进经典分割方法以最小化 EsE_s,或优化无监督学习方法以学习图像集中的良好表示来最小化 EgE_g

    Figure 4. Two examples of co-segmentation results. 该图像是示意图,展示了共分割的两个实例,分别为热气球和鹅的原始图像及其分割结果。上排展示原始图像,下排为相应的分割图像,背景填充为蓝色,以突出各个物体的分割效果。

上图(原文 Figure 4)展示了协同分割的两个示例结果。

4.2.1. 基于 MRF 的协同分割 (MRF-Based Co-Segmentation)

Rother 等人 [24] 扩展了 MRF 分割方法,利用先验知识解决了多图像分割中的不适定问题。他们首先分割种子图像的前景,假设图像集中的前景对象相似;然后根据 MRF 概率分布的一致性和前景特征相似性的全局约束构建能量函数;最后通过最小化能量函数来估计每个像素属于前景或背景,从而实现前景和背景的分割。

后续研究主要集中在全局约束的优化:

  • Vicente 等人 [25]: 基于 L1 范数模型 [24]、L2 范数模型 [26] 和奖励模型 [27],提出了使用多尺度分解的扩展 Boykov-Jolly 模型,在减少参数数量和提高鲁棒性方面取得了进展。

  • Rubio 等人 [28]: 通过高阶图匹配 (high-order graph matching) 评估前景相似性,并将其引入 MRF 模型形成全局项。

  • Chang 等人 [29]: 提出了通用的图像显著性度量作为先验知识,可在 MRF 模型中添加前景位置信息,解决多图像外观、形状和尺度差异显著的问题。

  • Yu 等人 [30]: 结合协同显著性模型 (co-saliency model) 实现协同分割,使用高斯混合模型表示每个图像中前景对象与数据集中共同对象之间的不相似性作为新的全局约束,并使用图割迭代最小化能量函数。

    基于 MRF 的协同分割具有良好的通用性,常用于视频对象检测和分割 [30,31] 以及交互式图像编辑 [32]。

4.2.2. 基于随机游走的协同分割 (Co-Segmentation Based on Random Walks)

  • Collins 等人 [33]: 将随机游走模型扩展到协同分割问题,并利用准凸性 (quasiconvexity) 优化分割算法,提供 CUDA 库加速稀疏特征的线性运算。

  • Fabijanska 等人 [34]: 提出优化随机游走算法用于 3D 体素图像分割,使用超体素 (supervoxel) 代替单个体素,显著节省了计算时间和内存。

  • Dong 等人 [35]: 提出了带有先验标签知识的次马尔可夫随机游走 (subMarkov random walks, subRW) 算法,结合 subRW 和其他随机游走算法进行种子图像分割,对包含细长对象的图像取得了良好分割效果。

    基于随机游走的协同分割方法具有良好的灵活性和鲁棒性,在医学图像分割,特别是 3D 医学图像分割 [36,37] 领域取得了良好效果。

4.2.3. 基于主动轮廓的协同分割 (Co-Segmentation Based on Active Contours)

  • Meng 等人 [38]: 将主动轮廓方法扩展到协同分割,构建了基于图像间前景一致性和图像内背景不一致性的能量函数,并通过水平集 (level set) 求解能量函数最小化。

  • Zhang 等人 [39]: 提出了可变形协同分割算法,将多幅图像中包含的脑解剖学先验启发信息转化为控制脑 MRI 分割的约束,并通过水平集获得最小能量函数。

  • Zhang 等人 [40]: 将图像中感兴趣区域的显著性引入主动轮廓算法,以提高多图像协同分割效果,并提出了基于超像素、分层计算和收敛判断的水平集优化方法。

    基于主动轮廓的协同分割方法对复杂形状的边界提取效果好,但其单向运动特性严重限制了灵活性,不利于弱边缘对象的识别和处理。

4.2.4. 基于聚类的协同分割 (Clustering-Based Co-Segmentation)

基于聚类的协同分割是单图像聚类分割的扩展。

  • Joulin 等人 [41]: 提出了一种基于谱聚类和判别聚类 (discriminative clustering) 的协同分割方法。他们首先使用谱聚类基于局部空间信息分割单个图像,然后使用判别聚类在图像集中传播分割结果。

  • Kim 等人 [42]: 将图像分割成超像素,使用加权图描述超像素之间的关联性,将加权图转换为亲和矩阵 (affinity matrix) 描述图像内部关系,然后采用谱聚类实现协同分割。

    Figure 5. An illustration of hierarchical graph clustering constructed between two images. Figure from \[42\]. 该图像是示意图,展示了基于层次图聚类的图像分割过程。图中左侧和右侧分别显示了两张包含狗的原图,并通过中间的计算步骤表示了从原图到分割图的变换过程。图中的数学公式包括矩阵形式表示的权重 WW 和相关约束条件 CC,显示了在不同分割阶段的特征提取和处理。整体结构清晰地展示了图像分割算法的工作流程。

上图(原文 Figure 5)展示了在两幅图像之间构建分层图聚类的示意图。

当初始聚类中心数量不受限制时,聚类方法可应用于多目标协同分割问题。Joulin 等人 [43] 使用基于特征位置和颜色向量的相似性矩阵表示单图像中的局部信息(即谱聚类),并根据局部信息和特征映射关系,使用期望最大化 (Expectation Maximization, EM) 最小化分类判别函数以获得一组参数,从而有效地实现多类别和大量图像的协同分割。

4.2.5. 基于图论的协同分割 (Co-Segmentation Based on Graph Theory)

基于图论的协同分割将图像划分为一个有向图 (digraph)。

  • Meng 等人 [44]: 通过对象检测将每幅图像划分为多个局部区域,并将这些局部区域作为节点构建有向图,而不是使用超像素或像素作为节点。节点通过有向边连接,边的权重表示两个对象之间的局部区域相似性和显著性图。图像协同分割问题转化为在有向图上寻找最短路径的问题,并通过动态规划 (Dynamic Programming, DP) 算法获得最短路径。

    Figure 6. Framework of the co-segmentation based on the shortest path algorithm. Figure from \[44\]. 该图像是一个示意图,展示了基于最短路径算法的协同分割框架。图中包括多个局部区域生成、图构建以及最短路径搜索算法的流程,并展示了原始图像、显著性图以及最终的输出结果。这些步骤构成了图像分割过程的重要环节。

上图(原文 Figure 6)展示了基于最短路径算法的协同分割框架。

  • Meng 等人 [45]: 提出了新的协同显著性模型,从成对约束图像中提取协同显著性图。该协同显著性图由单图像显著性图和多图像显著性图两部分组成(又称双约束显著性图)。通过匹配图像间相似区域提取多个显著性图,将其转化为成对约束图匹配问题,并使用 DP 算法解决。

4.2.6. 基于热扩散的协同分割 (Co-Segmentation Based on Thermal Diffusion)

热扩散图像分割通过改变热源位置使系统温度最大化,目标是找到最优热源位置以达到最佳分割效果。各向异性扩散 (Anisotropic diffusion) 是一种非线性滤波器,既能降高斯噪声又能保留图像边缘。

  • Kim 等人 [46]: 提出了名为 CoSand 的方法,在各向异性扩散上采用温度最大化建模,其中 kk 个热源使对应 kk 个类别的分割温度最大化;通过最大化图像中每个像素的分割置信度,实现了大规模多类别协同分割。
  • Kim 等人 [47]: 通过迭代执行场景建模和区域标记两个任务,根据多图像中前景对象的相似性实现多前景协同分割。在前景建模过程中,使用空间金字塔匹配 (Spatial Pyramid Matching, SPM) 算法提取局部特征,线性支持向量机 (Linear Support Vector Machine, SVM) 进行特征匹配,高斯混合模型进行对象分类和检测。该方法在 Flickr MFC 和 ImageNet 数据集上取得了良好评估结果,即使前景对象未出现在每张图像中也能准确分割。

4.2.7. 基于对象的协同分割 (Object-Based Co-Segmentation)

  • Alexe 等人 [48]: 提出了一种基于对象的测量方法,量化图像窗口包含任何类别对象的可能性。预先计算每个采样窗口中是否为对象的概率,并根据贝叶斯理论将得分最高的窗口作为每个类别对象的特征校准。这大大减少了指定类别对象检测窗口的数量。

  • Vicente 等人 [49]: 使用前景对象度量对象间的相似性,从多个候选对象类别中提取得分最高的特征,并在 iCoseg 数据集上取得了良好的实验结果。

  • Meng 等人 [50]: 提出了多组图像协同分割框架,可在每组图像中获取图像间信息,生成更准确的先验知识;使用 MRF 和密集映射模型,通过 EM 算法解决协同分割能量 EE 最小化问题,实现了多前景识别的协同分割。

    以下是原文 Table 1 协同分割主要方法的比较和分析:

    Methods Ref. Foreground Feature Co-Information Optimization
    MRF-Based Co-Segmentation [24] color histogram L1 norm graph cuts
    [26] color histogram L2 norm quadratic pseudo-Boolean
    [27] color and texture histograms reward model maximum flow
    [25] color histogram Boykov—Jolly model dual decomposition
    [46] color and SIFT features region matching graph cuts
    [29] SIFT feature K-means + L1, 2 graph cuts
    [48] SIFT feature Gaussian mixture model (GMM) constraint graph cuts
    [33] color and texture histograms improved random walk global term gradient projection and conjugate gradient (GPCG)
    Co-Segmentation Based on Random Walks [34] intensity and gray difference improved random walk global term graph size reduction
    [35] label prior from user scribbles GMMs minimize the average reaching probability
    Co-Segmentation Based on Active Contours [38] color histogram reward model level set function
    [39] co-registered atlas and statistical features k-means level set function
    [40] saliency information improved Chan-Vese (C-V) model level set function
    Clustering-Based Co-Segmentation [41] SIFT, Gabor filter, color histogram Chi-square distance low-rank
    [43] color and location information discriminant clustering expectation maximization (EM)
    [42] pyramid of LAB colors, HOG textures, SURF features histogram hierarchical clustering normalized cut criterion
    Co-Segmentation based on Graph Theory [44] color histogram built digraphs according to region similarity and saliency shortest path
    [45] color and shape information build global items based on digraphs and saliency shortest path
    Co-Segmentation Based on Thermal Diffusion [46] lab space color and texture information Gaussian consistency Sub-modularity optimization
    [47] color and texture histograms GMM & SPM (spatial pyramid matching) dynamic programming
    Object-Based Co-Segmentation [48] multi-scale saliency, color contrast, edge density and Bayesian framework maximizing the posterior probability
    [49] superpixels straddling 33 types of features random forest classifier A-star search algorithm

4.3. 基于深度学习的语义分割 (Semantic Segmentation Based on Deep Learning)

随着图像采集设备的发展,图像细节的复杂性和对象差异(如尺度、姿态)大大增加。低级特征(如颜色、亮度、纹理)难以获得良好的分割结果,而基于人工或启发式规则的特征提取方法也无法满足当前图像分割的复杂需求,这促使人们寻求具有更高泛化能力的图像分割模型。

在深度学习应用于图像分割领域之前,语义文本森林 [51] 和随机森林 [52] 方法常用于构建语义分割分类器。近年来,深度学习算法在分割任务中应用日益广泛,分割效果和性能显著提升。早期方法 [53] 将图像分割成小块来训练神经网络,然后对像素进行分类,因为全连接层需要固定大小的图像输入。

2015年,Long 等人 [54] 提出了全卷积网络 (FCNs),它用卷积层替代了全连接层,使得网络能够输入任意大小的图像。

Figure 7. Fully convolutional networks architecture. 该图像是一个示意图,展示了全卷积网络的架构,其中包含输入模块、编码器模块、上采样过程以及输出。该结构通过跳跃连接对不同层的预测结果进行整合,以生成最终的分割输出。

上图(原文 Figure 7)展示了全卷积网络的架构。FCNs 证明了神经网络可以进行端到端的语义分割训练,为深度神经网络在语义分割领域的应用奠定了基础。

后续的网络都是在 FCN 模型基础上进行改进的。

4.3.1. 编码器-解码器架构 (Encoder-Decoder Architecture)

编码器-解码器架构是基于 FCNs 发展而来的。在 FCNs 之前,卷积神经网络 (CNNs) 在图像分类中取得了良好效果(如 LeNet-5 [55]、AlexNet [56] 和 VGG [57]),但它们的输出层是图像的类别标签。而语义分割需要将获取到的高级语义信息映射回原始图像尺寸,这就需要编码器-解码器架构。

  • 编码器 (Encoder) 阶段: 主要执行卷积和池化操作,用于提取包含语义信息的高维特征。

    • 卷积操作 (Convolution Operation): 通过将图像特定区域与不同卷积核进行逐像素乘法和求和,然后通过激活函数得到特征图。
    • 池化操作 (Pooling Operation): 在一定区域(池化窗口)内进行采样,并使用某种采样统计量(如最大值池化 max-pooling 或平均值池化 average-pooling)作为该区域的代表特征,从而降低特征图分辨率并提取不变性特征。
    • 常用主干网络 (Backbone Blocks): VGG、Inception [58,59] 和 ResNet [60] 等。
  • 解码器 (Decoder) 阶段: 执行操作以通过高维特征向量生成语义分割掩模 (mask)。将编码器提取的多级特征映射回原始图像的过程称为上采样 (Up-sampling)

    • 插值法 (Interpolation Method): 使用指定的插值策略在原始图像像素之间插入新元素,从而扩大图像尺寸以实现上采样。插值不需要训练参数,常用于早期的上采样任务。
    • 反卷积 (Deconvolution) / 转置卷积 (Transposed Convolution): FCN 采用反卷积进行上采样。它通过翻转和水平镜像原始卷积核的参数,并在原始图像元素之间和周围填充空间来扩大特征图。
    • 反池化 (Unpooling): SegNet [61] 采用反池化上采样方法。它是 CNN 中最大池化 (max-pooling) 的逆操作。在最大池化过程中,不仅记录池化窗口的最大值,还记录最大值的位置坐标;在反池化时,激活该位置的最大值,其他位置的值均设为0。
    • 密集上采样卷积 (Dense Up-sampling Convolution, DUC) [62]: Wang 等人提出,其核心思想是将特征图中的标签映射转换为具有多个通道的更小标签映射。这种转换可以通过在输入特征图和输出标签图之间直接使用卷积实现,而无需在上采样过程中插入额外值。

4.3.2. 跳跃连接 (Skip Connections)

跳跃连接或快捷连接 (shortcut connections) 旨在改善粗糙的像素定位。在深度神经网络训练中,性能会随着深度的增加而下降,即退化问题 (degradation problem)。为了解决这个问题,ResNet 和 DenseNet [63] 中提出了不同的跳跃连接结构。

  • U-Net [64]: 提出了一种新的长跳跃连接。

    Figure 8. U-Net architecture. Figure from \[64\]. 该图像是U-Net架构的示意图,展示了输入图像的处理流程及输出分割图的生成。该网络通过多层卷积和池化操作,逐步提取图像特征,最后生成对应的分割图。

上图(原文 Figure 8)展示了 U-Net 架构。U-Net 通过跳跃连接和将编码器层中的特征与解码器中相应层级联 (cascades) 起来,以获取图像的细粒度细节。它最初是为了解决基于生物显微镜的图像分割中的标注问题而提出的,此后广泛应用于医学图像分割研究。

4.3.3. 空洞卷积 (Dilated Convolution)

空洞卷积,又称带孔卷积 (atrous convolution),通过在卷积核中插入“洞”来扩大感受野 (receptive field),并减少下采样时的计算量。在 FCN 中,最大池化层被空洞卷积取代,以保持相应层的感受野和特征图的高分辨率。

  • DeepLab 系列 [65-68]: 语义分割领域的经典模型。
    • DeepLab V1 [65]: 为了解决池化过程中丢失的平移不变性 (transfer invariance) 导致语义分割结果粗糙的问题,DeepLab V1 使用空洞卷积解决上采样时分辨率降低的问题,并使用全连接条件随机场 (fully connected CRFs) 优化分割图像的后处理,以获取多尺度对象和上下文信息。
    • Yu 等人 [69]: 使用空洞卷积聚合多尺度上下文信息。他们采用一个包含八个卷积层的上下文模块,其中七个层使用不同膨胀因子 (dilation factors)(即 [1, 1, 2, 4, 8, 16, 1])的不同 3×33 \times 3 卷积核,证明了简化的自适应网络在不损失任何分辨率的情况下可以进一步提高图像分割的准确性和精度。
    • 空洞残差网络 (Dilated Residual Network, DRN) [70]: 基于 ResNet,包含五组卷积层。移除了后两组(G4 和 G5)的下采样,以保持特征图的空间分辨率。取而代之的是,G4 和 G5 的后续卷积使用了膨胀率为 r=2r=2r=4r=4 的空洞卷积。
    • 混合空洞卷积 (Hybrid Dilated Convolution, HDC) [62]: Wang 等人提出,有效解决了空洞卷积引起的“网格效应 (gridding problem)”。HDC 使得一系列卷积操作的最终感受野尺寸完全覆盖一个正方形区域,没有任何孔洞或缺失边缘。为此,他们为每个层使用不同的膨胀率,而不是像之前下采样后所有层都使用相同的膨胀率。

4.3.4. 多尺度特征提取 (Multiscale Feature Extraction)

空间金字塔池化 (Spatial Pyramid Pooling, SPP) 旨在解决 CNN 需要固定尺寸输入图像的问题。He 等人 [71] 开发了 SPP-net 并验证了其在语义分割和对象检测中的有效性。

  • PSPNet [72]: 为了充分利用图像上下文信息,Zhao 等人开发了带有金字塔池化模块 (Pyramid Pooling Module, PPM) 的 PSPNet。

    Figure 9. The PSPNet with the pyramid pooling module. Figure from \[72\]. 该图像是一个示意图,展示了PSPNet与金字塔池化模块的结构。图中包含输入图像、特征图、金字塔池化模块及最终预测的过程,揭示了模型在图像分割中的工作流程。

上图(原文 Figure 9)展示了带有金字塔池化模块的 PSPNet。PSPNet 使用 ResNet 作为主干网络,利用 PPM 提取和聚合不同子区域在不同尺度的特征,然后上采样并拼接形成特征图,该特征图同时包含局部和全局上下文信息。值得注意的是,金字塔层的数量和每层的大小是可变的,取决于输入到 PPM 的特征图的大小。

  • Ghiasi 和 Fowlkes [73]: 描述了一种基于拉普拉斯金字塔 (Laplacian pyramid) 的多分辨率重建架构,它使用来自高分辨率特征图的跳跃连接和乘法门控 (multiplicative gating) 来逐步细化从低分辨率图重建的分割边界。

  • DeepLab V2 [66]: 引入了空洞空间金字塔池化 (Atrous Spatial Pyramid Pooling, ASPP) 来扩展感受野并捕获多尺度特征。

    Figure 10. Atrous spatial pyramid pooling module. Figure from \[66\]. 该图像是一个示意图,展示了Atrous空间金字塔池化模块的结构。图中显示了不同卷积核率(rate)的卷积层,分别为6、12、18和24,配合3x3的卷积核,对输入特征图进行不同的特征提取。

上图(原文 Figure 10)展示了空洞空间金字塔池化模块。ASPP 模块包含四个并行的空洞卷积,具有不同的膨胀率。

  • DeepLab V3 [67]: 参考 HDC 方法,DeepLab V3 同时应用了空洞卷积的级联模块 (cascade modules) 和并行模块 (parallel modules),将 ASPP 模块中的并行卷积进行分组,并在 ASPP 模块中添加 1×11 \times 1 卷积层和批归一化 (batch normalization)。DeepLab V3 在不进行 DenseCRF 后处理的情况下显著改进了之前的 DeepLab 版本。
  • DeepLab V3+ [68]: 使用 Xception 作为主干网络,DeepLab V3 作为编码器,DeepLab V3+ 采用了空洞深度可分离卷积 (dilated depthwise separable convolutions) 代替最大池化和批归一化来细化分割边界。
  • 特征金字塔网络 (Feature Pyramid Network, FPN) [74]: 其方案类似于 U-Net 模型的跳跃连接,有利于获得高分辨率和强语义特征,用于图像中尺寸差异显著的对象检测。
  • 自适应金字塔上下文网络 (Adaptive Pyramid Context Network, APCNet) [75]: He 等人开发,通过多个自适应上下文模块 (Adaptive Context Modules, ACMs) 构建多尺度上下文特征表示;每个 ACM 使用全局图像表示来估计每个子区域的局部亲和权重 (local affinity weights),并根据这些权重计算最优上下文向量。
  • 增强型特征金字塔网络 (Enhanced Feature Pyramid Network, EFPN) [76]: Ye 等人开发,将语义增强模块 (Semantic Enhancement Module, SEM)、边缘提取模块 (Edge Extraction Module, EEM) 和上下文聚合模块 (Context Aggregation Model, CAM) 组合到解码器网络中,以提高多级特征融合的鲁棒性,并在编码器网络中添加全局融合模块 (Global Fusion Model, GFM) 以捕获更深层语义信息并高效传输。
  • FPANet [77]: Wu 等人提出,一种用于实时语义分割的特征金字塔聚合网络。FPANet 也是一个编码器-解码器模型,编码器阶段使用 ResNet 和 ASPP,解码器阶段使用语义双向特征金字塔网络 (Semantic Bidirectional Feature Pyramid Network, SeBiFPN)。SeBiFPN 通过轻量级特征金字塔融合模块 (Lightweight Feature Pyramid Fusion Module, FPFM) 减少特征通道数量,用于获取图像的语义和空间信息,并融合不同级别的特征。

4.3.5. 注意力机制 (Attention Mechanisms)

为了表示图像中不同区域(特别是长距离区域)之间的依赖关系,并获取其语义相关性,一些常用于自然语言处理 (NLP) 领域的注意力机制已应用于计算机视觉,并在语义分割中取得了良好成就。注意力机制于2014年首次在计算机视觉领域提出。

  • 循环神经网络 (Recurrent Neural Network, RNN): Google Mind 团队 [78] 采用 RNN 模型将注意力机制应用于图像分类,使注意力机制在图像处理任务中逐渐流行。RNN 可以建模像素之间的短期依赖关系,连接像素并按顺序处理,从而建立全局上下文关系。

  • ReSeg 网络 [79]: Visin 等人提出,基于 ReNet [80],每个 ReNet 层由四个 RNN 组成,它们在图像的水平和垂直方向上进行扫描以获取全局信息。

    Figure 11. The ReSeg architecture. Figure from \[79\]. 该图像是示意图,展示了 ReSeg 架构的层次结构和特征图的处理过程。左侧为输入图像,后续几个立方体表示不同卷积层的特征图,箭头指向特征图的传递关系,最后输出为 32x32 的分割结果。

上图(原文 Figure 11)展示了 ReSeg 架构。

  • 长短期记忆网络 (Long Short-Term Memory, LSTM): LSTM 添加了记录长期记忆的新功能,可以表示长距离依赖关系。

    • Byeon 等人 [81] 使用 LSTM 实现场景图像的逐像素分割,证明了在 2D LSTM 模型中可以学习图像纹理信息和空间模型参数。
    • Liang 等人 [82] 提出了基于图 LSTM 模型 (graph LSTM model) 的语义分割模型,将 LSTM 从序列数据或多维数据扩展到通用图结构,进一步增强了全局上下文视觉特征。
  • 注意力 U-Net (Attention U-Net) [83]: Oktay 等人提出,在 U-Net 中引入了注意力机制。

    Figure 12. The attention U-Net architecture. Figure from \[83\]. 该图像是示意图,展示了注意力 U-Net 架构的工作流程,输入图像经过多层卷积处理生成分割图。图中明确标出了各个阶段所用的卷积操作、上采样、最大池化和注意力门等关键技术。该架构通过跳跃连接保留特征信息,提高了分割的准确性和效率。

上图(原文 Figure 12)展示了注意力 U-Net 架构。在拼接编码器不同分辨率的特征与解码器相应特征之前,他们使用注意力门 (attention gate, AG) 模块,通过下一层的特征来监督前一层的特征,从而重新调整编码器的输出特征。AG 模块通过生成门控信号自适应地调整激活值,并逐步抑制不相关背景区域的特征响应,以控制不同空间特征的重要性。

  • 注意力 UW-Net (Attention UW-Net) [84]: Pal 等人提出,在医学胸部 X 射线图像上取得了良好性能。它改进了基于 U-Net 分割网络的跳跃连接,即在原始 U-Net 架构的 B-5 和 B-6 块之间添加了密集连接,允许网络学习在之前最大池化中丢失的细节,并有效减少信息丢失。此外,还设计了改进的注意力门,通过复制通道注意力中的向量空间来修改注意力向量的重采样,可以更好地实现对显著区域的关注和对不相关背景区域的抑制。

  • 自注意力机制 (Self-attention Mechanisms): 主要用于编码器网络,表示特征图中不同区域(像素)或不同通道之间的相关性。它计算单个样本所有位置的成对亲和力 (pairwise affinities) 的加权和,以更新每个位置的特征。在图像分割中,自注意力机制取得了许多有影响力的成就,如 PSANet [85]、DANet [86]、APCNet [75]、CARAFE [87] 和 CARAFE++ [88]。

  • Transformer [89]: 2017年,Vaswani 等人提出了 Transformer,一种完全基于自注意力机制的深度神经网络,完全摒弃了卷积和循环。此后,Transformer 及其变体(如 X-Transformer)被应用于计算机视觉领域。结合 Transformer 的自注意力机制和 CNN 预训练模型,改进后的网络 [90,91] 取得了一些突破。

    • Vision Transformer (ViT) [92]: Dosovitskiy 等人提出,证明了 Transformer 可以替代 CNN 进行图像补丁序列的分类和预测。

      Figure 13. The ViT model. Figure from \[92\]. 该图像是示意图,展示了视觉转换器(ViT)模型的结构和工作流程。图中左侧显示了输入数据经过线性投影和平铺后,将其嵌入到变换编码器中,而右侧展示了变换编码器的主要组成部分,包括多头注意力机制和前馈神经网络的结构。特征提取采用了多层的 MLP 和归一化策略。

上图(原文 Figure 13)展示了 ViT 模型。他们将图像分割成固定大小的补丁 (patches),将图像补丁排成序列,然后将补丁序列向量输入到 Transformer 编码器(右图),该编码器由交替的多头注意力层 (multi-head attention layers) 和多层感知机 (Multi-Layer Perceptron, MLP) 组成。

  • Swin Transformer [93]: Liu 等人开发,在图像语义分割和实例分割中取得了令人印象深刻的性能。Swin Transformer 改进了滑动窗口方法,通过在更深层合并图像补丁构建分层特征图,在每个局部窗口内计算自注意力,并交替使用循环移位窗口划分方法 (cyclic-shifting window partition approaches) 在连续的 Swin Transformer 块之间引入跨窗口连接。Swin Transformer 网络用移位窗口方法取代了 Transformer 块中的标准多头自注意力 (MSA) 模块,而其他层保持不变。

    Figure 14. The architecture of a swin transformer. Figure from \[93\]. 该图像是示意图(a)展示了Swin Transformer的架构,包含多个阶段和模块,其中包括Patch Partition、Swin Transformer Block、Patch Merging等步骤。图中展示了图像数据的处理流程,以及每个阶段的特征表示。

上图(原文 Figure 14)展示了 Swin Transformer 的架构。

5. 实验设置

本综述文章没有进行新的实验,而是对现有文献中的实验结果进行了汇总和比较。因此,本节将根据论文中 Table 2 所列出的信息,总结各算法使用的主要数据集、评估指标和对比基线。

5.1. 数据集

论文中 Table 2 列举了不同深度学习语义分割算法在多个数据集上的实验结果。这些数据集涵盖了自然图像、场景理解和医学图像等多个领域,反映了语义分割任务的广泛应用。

  • PASCAL VOC (PASCAL Visual Object Classes) [54, 65, 66, 67, 68, 70, 72, 75, 76, 85, 86]: 计算机视觉领域广泛使用的基准数据集,包含日常物体的图像,用于分类、检测和分割任务。通常使用 VOC 2011 或 VOC 2012 版本。

  • NYUDv2 [54]: 包含来自不同室内场景的 RGB-D 图像,提供了深度信息,对需要理解三维结构的分割任务很有用。

  • PhC-U373 [64]: 一种相差显微镜图像数据集,主要用于细胞分割,是生物医学图像分割的典型应用。

  • DIC-HeLa [64]: 微分干涉衬度 (Differential Interference Contrast, DIC) 显微镜下的 HeLa 细胞图像数据集,也用于生物医学图像分割。

  • CamVid [61, 64, 73, 79, 77]: 道路场景理解数据集,包含汽车行驶时的视频帧,用于自动驾驶和场景理解中的语义分割。

  • SUN RGBD [61]: 包含大量室内场景的 RGB-D 图像,提供丰富的场景几何和语义信息。

  • Oxford Flowers [79]: 包含多种花卉图像,可能用于细粒度图像分类或分割。

  • Cityscapes [62, 66, 67, 70, 72, 75, 76, 77, 85, 86]: 大型城市街景数据集,提供高分辨率图像和精细的像素级标注,广泛用于自动驾驶和城市场景理解。

  • TCIA Pancreas CT-82 [83]: 胰腺 CT 扫描图像数据集,用于医学图像分割,特别是器官分割。

  • PASCAL Context [75, 76, 86]: PASCAL VOC 的扩展,增加了更多背景类别和像素级标注,旨在提供更丰富的场景上下文信息。

  • ADE20K [75, 85, 87, 88]: 大规模场景解析数据集,包含大量不同场景和对象类别的图像,用于全面的场景理解。

  • COCO Stuff [86]: COCO 数据集的扩展,为“stuff”类别(如草地、天空、道路等无定形区域)提供了像素级标注,与传统“thing”类别(如人、车、动物等有形对象)互补。

  • NIH Chest X-ray [84]: 大规模胸部 X 射线图像数据集,用于医学图像分析,如肺部疾病检测和分割。

  • Swin-L (Swin Transformer Large) [93]: 指的是 Swin Transformer 模型的 Large 版本,通常在大型数据集(如 ImageNet)上进行预训练,并在下游任务(如语义分割)上进行微调。

    这些数据集的选择反映了图像分割任务的多样性,从通用物体识别到复杂场景理解,再到高精度的医学图像分析。它们能够有效地验证各种分割方法在不同场景和数据特性下的性能。

5.2. 评估指标

论文中 Table 2 主要使用 mIoU (%) 作为评估指标。由于原文并未给出其计算公式,这里将主动补充其定义和计算方法。

5.2.1. 概念定义

平均交并比 (mean Intersection over Union, mIoU) 是语义分割任务中最常用的评估指标之一。它衡量了预测分割结果与真实标注数据 (Ground Truth) 之间的重叠程度。对于每个类别,计算其预测区域与真实区域的交集 (Intersection) 和并集 (Union) 的比值,然后对所有类别的 IoU (Intersection over Union) 值取平均。mIoU 值越高,表示模型的分割性能越好。

5.2.2. 数学公式

对于语义分割任务中的 KK 个类别(包括背景),mIoU 的计算公式如下: mIoU=1Ki=0K1TPiTPi+FPi+FNi \text{mIoU} = \frac{1}{K} \sum_{i=0}^{K-1} \frac{TP_i}{TP_i + FP_i + FN_i} 其中,IoUi=TPiTPi+FPi+FNi\text{IoU}_i = \frac{TP_i}{TP_i + FP_i + FN_i} 是第 ii 个类别的交并比。

5.2.3. 符号解释

  • KK: 图像中包含的类别总数,包括背景类别。
  • ii: 类别索引,从 0K-1
  • TPiTP_i (True Positives for class ii): 真正例,指被正确预测为类别 ii 的像素数量。
  • FPiFP_i (False Positives for class ii): 假正例,指被错误预测为类别 ii 但实际上属于其他类别的像素数量。
  • FNiFN_i (False Negatives for class ii): 假反例,指实际上属于类别 ii 但被错误预测为其他类别的像素数量。
  • TPi+FPiTP_i + FP_i: 预测为类别 ii 的像素总数。
  • TPi+FNiTP_i + FN_i: 真实属于类别 ii 的像素总数。
  • TPi+FPi+FNiTP_i + FP_i + FN_i: 预测为类别 ii 的区域和真实类别 ii 的区域的并集大小。

5.3. 对比基线

本综述文章本身就是对不同图像分割方法,特别是深度学习语义分割方法的对比。Table 2 列出的每个算法,在发表时都会与当时的最先进的 (state-of-the-art) 方法进行比较。因此,表中的所有算法,在被提出时,都可以看作是其领域内的一个基线。例如:

  • FCN [54] 是所有后续深度学习语义分割方法的基线。
  • U-Net [64] 是许多医学图像分割方法的基线。
  • DeepLab 系列模型 [65-68] 是语义分割领域的重要基线,不断提升性能。
  • PSPNet [72] 和各种注意力机制模型 (Attention U-Net [83], PSANet [85], DANet [86])、Transformer 模型 (ViT [92], Swin Transformer [93]) 等,都代表了各自提出时期的先进技术,并作为后来者进行性能比较的基线。

6. 实验结果与分析

本节将根据论文中提供的表格,对图像分割方法在协同分割和深度学习语义分割阶段的实验结果进行呈现和分析。

6.1. 协同分割方法分析

以下是原文 Table 1 协同分割主要方法的比较和分析。该表格从前景特征、协同信息和优化方法三个维度对不同算法进行了总结,但没有直接提供量化的实验结果数据,而是侧重于方法的原理性比较。

Methods Ref. Foreground Feature Co-Information Optimization
MRF-Based Co-Segmentation [24] color histogram L1 norm graph cuts
[26] color histogram L2 norm quadratic pseudo-Boolean
[27] color and texture histograms reward model maximum flow
[25] color histogram Boykov—Jolly model dual decomposition
[46] color and SIFT features region matching graph cuts
[29] SIFT feature K-means + L1, 2 graph cuts
[48] SIFT feature Gaussian mixture model (GMM) constraint graph cuts
[33] color and texture histograms improved random walk global term gradient projection and conjugate gradient (GPCG)
Co-Segmentation Based on Random Walks [34] intensity and gray difference improved random walk global term graph size reduction
[35] label prior from user scribbles GMMs minimize the average reaching probability
Co-Segmentation Based on Active Contours [38] color histogram reward model level set function
[39] co-registered atlas and statistical features k-means level set function
[40] saliency information improved Chan-Vese (C-V) model level set function
Clustering-Based Co-Segmentation [41] SIFT, Gabor filter, color histogram Chi-square distance low-rank
[43] color and location information discriminant clustering expectation maximization (EM)
[42] pyramid of LAB colors, HOG textures, SURF features histogram hierarchical clustering normalized cut criterion
Co-Segmentation based on Graph Theory [44] color histogram built digraphs according to region similarity and saliency shortest path
[45] color and shape information build global items based on digraphs and saliency shortest path
Co-Segmentation Based on Thermal Diffusion [46] lab space color and texture information Gaussian consistency Sub-modularity optimization
[47] color and texture histograms GMM & SPM (spatial pyramid matching) dynamic programming
Object-Based Co-Segmentation [48] multi-scale saliency, color contrast, edge density and Bayesian framework maximizing the posterior probability
[49] superpixels straddling 33 types of features random forest classifier A-star search algorithm

分析:

  • 特征多样性: 协同分割方法在前景特征的提取上较为多样,从简单的 color histogram (颜色直方图) 到 texture histograms (纹理直方图)、SIFT feature (尺度不变特征变换特征)、Gabor filter (Gabor 滤波器) 等。这表明协同分割需要更丰富的特征来捕捉共同对象的特性。
  • 协同信息利用: 不同的方法利用协同信息的方式各异,包括 L1 normL2 normreward model 等数学范数或模型,以及 K-meansGMM constraint (高斯混合模型约束)、region matching (区域匹配) 等。基于图论的方法通过构建 digraphs (有向图) 和 saliency (显著性) 来编码协同信息。这反映了协同分割的核心在于如何有效地衡量和利用多图像之间的共同性。
  • 优化方法: graph cuts (图割) 是 MRF-Based Co-Segmentation 中最常用的优化方法,因为它能有效地解决能量函数的最小化问题。其他方法还包括 level set function (水平集函数,用于主动轮廓)、dual decomposition (对偶分解)、expectation maximization (EM) (期望最大化) 和 shortest path (最短路径算法) 等。这表明协同分割问题通常被建模为优化问题,并通过各种数学优化技术求解。
  • 局限性: 尽管协同分割能够利用多图像信息,但其性能往往受限于所提取的低级特征的鲁棒性和所设计的协同信息度量方式的准确性。在对象外观差异大或图像集不够纯粹时,可能会面临挑战。

6.2. 深度学习语义分割结果分析

以下是原文 Table 2 深度学习语义分割方法的比较和分析。该表格总结了从 FCN 到 Swin Transformer 的代表性模型,其发布年份、主干网络、实验数据集、mIoU 性能以及主要贡献。

Algorithms Pub. Year Backbone Experiments Major Contributions
Datasets mIoU (%)
FCN [54] 2015 VGG-16 PASCAL VOC 2011 NYUDv2 62.7 34.0 The forerunner for end-to-end semantic segmentation
U-Net [64] 2015 VGG-16 PhC-U373 DIC-HeLa CamVid 92.03 77.56 Encoder-decoder structure, skip connections
SegNet [61] 2016 VGG-16 SUN RGBD 60.4 28.27 Transferred the max-pooling indices to the decoder
DeepLabv1 [65] 2016 VGG-16 PASCAL VOC 2012 71.6 Atrous convolution, fully connected CRFs Dilated convolutions, multi-scale
MSCA [88] 2016 VGG-16 PASCAL VOC 2012 PASCAL 75.3 context aggregation, front-end context module Reconstruction up-sampling
LRR [73] 2016 ResNet/VGG-16 VOC 2011 Cityscapes CamVid 77.5 69.7 91.6 module, Laplacian pyramid refinement
ReSeg [79] 2016 VGG-16 & ReNet Oxford Flowers CamVid 93.7 58.8 Extension of ReNet to semantic segmentation
DRN [70] 2017 ResNet-101 Cityscapes PASCAL 70.9 Modified Conv4/5 of ResNet, dilated convolution
PSPNet [72] 2017 ResNet50 VOC 2012 Cityscapes 85.4 80.2 Spatial pyramid pooling (SPP)
DeepLab V2 [66] 2017 VGG-16/ ResNet-101 PASCAL VOC 2012 Cityscapes 79.7 70.4 Atrous spatial pyramid pooling (ASPP), fully connected CRFs
DeepLab V3 [67] 2017 ResNet-101 PASCAL VOC 2012 Cityscapes PASCAL 86.9 81.3 Cascaded or parallel ASPP modules
DeepLab V3+ [68] 2018 Xception VOC 2012 89.0 A new encoder-decoder structure with DeepLab V3 as an encoder
DUC-HDC [62] 2018 ResNet- Cityscapes 82.1 HDC (hybrid dilation convolution) was proposed to solve the gridding caused by dilated convolutions
Attention U-Net [83] 2018 VGG-16 with AGs TCIA Pancreas CT-150 A novel self-attention gating (AGs) filter, skip connections
PSANet [85] 2018 ResNet-101 ADE20K PASCAL VOC 2012 Cityscapes 81.51 85.7 81.4 Point-wise spatial attention maps from two parallel branches, bi-direction information propagation model
APCNet [75] 2019 ResNet-101 PASCAL VOC 2012 PASCAL Context ADE20K 84.2 54.7 45.38 Multi-scale, global-guided local affinity (GLA), adaptive context modules (ACMs)
DANet [86] 2019 ResNet-101 Cityscapes PASCAL VOC 2012 PASCAL Context COCO Stuff 81.5 82.6 52.6 39.7 Dual attention: position attention module and channel attention module
CARAFE [87] 2019 ResNet-50 ADE20k 42.23 Pyramid pooling module (PPM), feature pyramid network (FPN), multi-level feature fusion (FUSE)
EFPN [76] 2021 VGG-16 PASCAL VOC 2012 Cityscapes PASCAL Context 86.4 82.3 53.9 PPM, multi-scale feature fusion module with a parallel branch
CARAFE++ [88] 2021 ResNet-101 ADE20k 43.94 PPM, FPN, FUSE, adaptive kernels on-the-fly
Swin Transformer [93] 2021 Swin-L Swin-L 53.5 A novel shifted windowing scheme, a general backbone network for computer vision
Attention UW-Net [84] 2022 ResNet50 NIH Chest X-ray Skip connections, an intermediate layer that combines the feature maps of the fourth-layer encoder with the feature maps of the last-layer encoder layer, attention mechanism
FPANet [77] 2022 ResNet18 Cityscapes CamVid 75.9 74.7 Bilateral directional FPN, lightweight ASPP, feature pyramid fusion module (FPFM), border refinement module (BRM)

分析:

  • 性能提升趋势: 从2015年的 FCN (PASCAL VOC 62.7% mIoU) 到 2017-2018 年的 DeepLab V3+ (PASCAL VOC 89.0% mIoU),再到 2021 年的 EFPN (PASCAL VOC 86.4% mIoU) 和 Swin Transformer (ADE20k 53.5% mIoU),mIoU 性能总体呈现出显著的提升。这反映了深度学习在语义分割领域不断取得突破。
  • 主干网络演进: 早期模型多采用 VGG-16 作为主干网络,随着研究深入,ResNet-50/101 成为主流,提供了更深层次的特征提取能力并缓解了梯度消失问题。近年来,XceptionSwin-L (Swin Transformer Large) 等更先进或专门设计的网络也开始被用作主干网络,进一步提升了性能。
  • 核心技术发展:
    • 编码器-解码器和跳跃连接: U-Net 的编码器-解码器结构和跳跃连接在医学图像分割中表现出色 (PhC-U373 92.03% mIoU),并被广泛应用于各种分割任务。
    • 空洞卷积: DeepLab 系列是空洞卷积的代表,通过 Atrous ConvolutionASPP (空洞空间金字塔池化) 有效地捕获多尺度上下文信息,DeepLab V3+ 达到了非常高的性能。HDC 也解决了空洞卷积的 gridding problem
    • 多尺度特征融合: Spatial Pyramid Pooling (SPP) 和 Pyramid Pooling Module (PPM) 等模块(如 PSPNet)是解决多尺度对象分割的关键,使得模型能同时考虑局部和全局上下文。FPN 及其变体也强调了多级特征融合的重要性。
    • 注意力机制: Attention U-NetPSANetDANet 引入了注意力机制,使网络能够动态地关注图像中最重要的区域或特征通道,进一步提升了分割精度。
    • Transformer 架构: Swin Transformer [93] 的出现标志着基于自注意力机制的 Transformer 模型在计算机视觉领域,包括语义分割,展现出强大的潜力,并可能带来新的突破。
  • 数据集适应性: 不同的模型在不同数据集上表现各异。例如,U-Net 在医学图像 (PhC-U373) 上表现极佳,而 DeepLab 和 PSPNet 等在 PASCAL VOC 和 Cityscapes 等通用场景数据集上具有领先性能。Swin Transformer 则展现了作为通用主干网络的潜力。
  • 特定贡献:
    • SegNet [61] 通过传输最大池化索引,有效地恢复了空间信息。

    • LRR [73] 采用拉普拉斯金字塔细化,关注重建上采样质量。

    • Attention U-Net [83] 引入自注意力门控,用于医学图像的胰腺分割。

    • FPANet [77] 专注于实时性能,通过轻量级设计和双向特征金字塔融合提升效率。

      总的来说,深度学习语义分割在模型设计(编解码器、跳跃连接)、特征提取(空洞卷积、多尺度金字塔)、上下文建模(注意力机制)和新架构(Transformer)等方面持续创新,推动了性能的飞跃。

7. 总结与思考

7.1. 结论总结

本文全面系统地综述了图像分割技术从经典阶段到协同分割,再到基于深度学习的语义分割的演进历程。

  • 经典分割主要依赖手工特征和启发式规则,侧重于像素间的灰度相似性和不连续性。
  • 协同分割引入了多图像间的共同性作为先验知识,旨在解决单图像分割难以获取高级语义信息的问题。
  • 基于深度学习的语义分割则通过端到端的学习范式,结合编码器-解码器结构、跳跃连接、空洞卷积、多尺度特征融合和注意力机制等技术,实现了从低级特征到高级语义的自适应学习,极大地提升了分割的准确性和鲁棒性。
  • 文章指出,图像分割的发展趋势是从粗粒度到细粒度、从人工特征提取到自适应学习、从面向单张图像到基于大数据共同特征。Transformer 模型的引入预示着图像分割可能进入一个新的发展阶段。

7.2. 局限性与未来工作

论文作者指出了当前图像分割技术面临的四个主要挑战和未来研究方向:

  1. 语义分割、实例分割和全景分割:

    • 挑战: 实例分割需要预测每个实例的像素区域;全景分割则结合了语义分割和实例分割,为图像中每个像素分配类别标签和实例 ID。尤其在全景分割中,同时识别可数和不可数实例 (countable or uncountable instances) 仍是一项艰巨的任务,难以在单一工作流中有效识别具有大类间差异和小类内差异的实例。
    • 未来方向: 构建能同时有效处理这些复杂任务的网络模型,以识别并区分不同粒度的对象。
  2. 3D 数据分割:

    • 挑战: 随着 LiDAR 摄像头等图像采集设备的普及,RGB-D、3D 点云、体素和网格分割逐渐成为研究热点,广泛应用于人脸识别 [95]、自动驾驶、VR、AR、建筑建模等领域。然而,3D 数据的非结构化、冗余、无序和不均匀分布特性,使得其表示和处理仍然是一个重大挑战。
    • 未来方向: 发展更高效、鲁棒的 3D 数据表示和分割算法。
  3. 缺乏标注数据下的学习:

    • 挑战: 在某些领域,由于缺乏大规模数据集或精细标注,难以使用监督学习算法训练网络。
    • 未来方向:
      • 半监督学习 (Semi-supervised Learning) 和无监督学习 (Unsupervised Learning): 在基准数据集上预训练网络,然后固定网络低层参数,在小样本数据集上训练全连接层或高层参数(即迁移学习 (Transfer Learning))。
      • 强化学习 (Reinforcement Learning): 尽管在图像分割领域研究较少,但被认为是潜在的解决方案。
      • 少样本图像语义分割 (Few-shot Image Semantic Segmentation): 也是一个研究热点,旨在用极少量标注样本实现高效分割。
  4. 计算资源与实时性:

    • 挑战: 深度学习网络在训练过程中需要大量的计算资源,这体现了深度神经网络的计算复杂性。许多领域(如视频处理)需要实时(或接近实时)分割(至少 25 fps),而当前大多数网络远低于此帧率。
    • 未来方向: 进一步优化轻量级网络,以在模型精度和实时性能之间取得更好的平衡。

7.3. 个人启发与批判

这篇综述为理解图像分割领域的演进提供了一个全面且结构化的视角,特别是它将传统方法、协同方法和深度学习方法置于一个统一的演进框架下进行讨论,对于初学者理解领域发展脉络具有极大的启发性。

  • 启发:

    • 方法论的演进: 论文清晰地展示了从依赖手工特征到数据驱动的深度学习的范式转变。这种转变不仅提升了性能,也使得分割任务能够处理更复杂的现实场景。
    • 跨领域借鉴: 注意力机制和 Transformer 从自然语言处理领域向计算机视觉领域的迁移,体现了不同 AI 子领域间技术互鉴的重要性,预示着未来 AI 技术融合的潜力。
    • 问题驱动创新: 每一个阶段的新方法都是为了解决前一阶段的局限性而诞生的,例如协同分割解决单图像语义信息不足,深度学习解决特征提取和模型泛化难题。这强调了在研究中明确问题、识别挑战的重要性。
    • 未来的巨大潜力: 论文提出的四大挑战,尤其是 3D 数据处理和少样本/无监督学习,是目前计算机视觉领域的前沿和难点,对未来的研究方向具有明确的指引作用。
  • 批判与思考:

    • 深度学习的可解释性问题: 论文明确提到了“深度学习是不可解释的 (inexplicable)”,这限制了其下游任务的鲁棒性、可靠性和性能优化。这是一个深刻的问题,如何在实现高性能的同时提升模型的可解释性,是未来研究必须攻克的方向。例如,开发更具透明度的注意力机制,或结合符号 AI 和深度学习的方法。
    • 数据依赖性: 尽管论文提到了半监督和无监督学习作为解决方案,但深度学习方法对大规模标注数据的依赖仍然是一个核心问题。在医疗、工业等数据获取和标注成本高昂的领域,如何有效利用有限数据甚至无标注数据进行模型训练,是实际应用中的关键瓶颈。
    • 计算资源与边缘部署: 实时性和轻量化网络的提及,反映了在资源受限设备(如移动设备、嵌入式系统)上部署复杂深度学习模型的挑战。如何在保持高精度的前提下,进一步压缩模型大小、优化推理速度,是实现广泛应用的关键。当前 Transformer 模型虽然强大,但通常计算量更大,这对实时性提出了更高的要求,未来的研究需在这方面寻求突破。
    • 通用性与专业性: 论文指出了研究者期望使用具有改进适应性和泛化能力的通用网络。但同时,某些领域(如医学图像)有其独特的特性和对精度、鲁棒性的极高要求,通用模型可能无法直接达到最优。如何平衡通用模型的强大能力与特定领域(专业领域)的特殊需求,例如通过领域自适应 (domain adaptation) 或元学习 (meta-learning) 等方法,是一个值得深入探讨的方向。

相似论文推荐

基于向量语义检索推荐的相关论文。

暂时没有找到相似论文。