1. 论文基本信息

1.1. 标题

ABO: Dataset and Benchmarks for Real-World 3D Object Understanding

1.2. 作者

Jasmine Collins, Shubham Goel, Kenan Deng, Achleshwar Luthra, Leon Xu, Erhan Gundogdu, Xi Zhang, Tomas F. Yago Vicente, Thomas Dideriksen, Himanshu Arora, Matthieu Guillaumin, and Jitendra Malik。 作者分别来自加州大学伯克利分校（UC Berkeley）、亚马逊（Amazon）和比尔拉理工学院（BITS Pilani）。

1.3. 发表期刊/会议

该论文发布于 2022-06-01T00:00:00.000Z，通常此类论文会在顶级的计算机视觉或机器学习会议上发表，例如 CVPR、ECCV 或 ICCV。

1.4. 发表年份

2022年。

1.5. 摘要

本文引入了 Amazon Berkeley Objects (ABO)，这是一个新的大规模数据集，旨在弥合真实世界与虚拟 3D 世界之间的鸿沟。ABO 包含产品目录图像、元数据以及由艺术家创建的具有复杂几何形状和基于物理的材质的 3D 模型，这些模型对应于真实的家居物品。作者基于 ABO 的独特属性，导出了具有挑战性的基准，并衡量了当前最先进的 3D 物体理解技术在三个开放问题上的极限：单视图 3D 重建、材质估计和跨领域多视图物体检索。

1.6. 原文链接

/files/papers/693a3605e65c1507e459c744/paper.pdf

2. 整体概括

2.1. 研究背景与动机

论文试图解决的核心问题是什么？ 传统的 2D 图像识别领域得益于大规模数据集的推动，取得了显著进展。然而，3D 计算机视觉领域缺乏大规模、高质量的真实世界 3D 对象数据集。现有 3D 数据集主要存在以下问题：

1. 合成数据与真实世界的鸿沟： 许多数据集侧重于合成的 CAD 模型（如 ShapeNet），这些模型通常质量较低、未纹理化，且与真实世界的物体存在较大差距，导致模型在真实图像上的泛化能力差。
2. 2D-3D 对齐的近似性： 尝试将现有 3D 模型与真实图像关联的数据集（如 $Pascal3D+$、ObjectNet3D）往往只能提供近似的形状和姿态匹配，且继承了 CAD 模型的局限性（覆盖范围有限、几何和纹理简单）。
3. 精确 3D 标注的规模限制： 少数提供精确、像素级对齐 3D 模型的真实数据集（如 IKEA、Pix3D）规模过小，且类别受限，提供的 3D 模型通常未纹理化，无法用于材质预测等任务。
4. 经典 3D 重建方法的局限性： 通过经典重建技术（如运动结构、多视图立体匹配）从真实图像重建的 3D 数据集（如 Object Scans）虽然几何形状真实，但收集过程耗时费力，规模小，且通常在受控环境下拍摄，缺乏“上下文”信息，材质模型也过于简化（假定为朗伯体，无法显示真实反射特性）。

为什么这个问题在当前领域是重要的？ 缺乏大规模、多样化、包含真实世界物体及其高质量 3D 模型（具有复杂几何形状和物理渲染材质）的数据集，严重阻碍了 3D 计算机视觉在真实世界应用中的发展，特别是对于需要精细几何、材质理解的任务，如单视图 3D 重建、材质估计和跨领域对象检索。

这篇论文的切入点或创新思路是什么？ 本文旨在通过引入 Amazon Berkeley Objects (ABO) 数据集来解决上述挑战。ABO 利用亚马逊商品列表中的图像、元数据和艺术家创建的 3D 模型，提供了：

• 真实世界的物品： 数据集中的物体都是现代、真实的家居用品。
• 大规模： 包含大量产品列表、目录图像和 3D 模型。
• 高质量 3D 模型： 具有复杂的几何形状和高分辨率、基于物理的材质，支持逼真的渲染。
• 丰富元数据： 包括类别、颜色、材质、重量、尺寸等，为多模态任务提供了可能性。
• 独特基准： 利用 ABO 的特性，为单视图 3D 重建、材质估计和跨领域多视图对象检索等开放问题设计了具有挑战性的基准。

2.2. 核心贡献/主要发现

论文最主要的贡献是什么？

• 引入 ABO 数据集： 发布了 Amazon Berkeley Objects (ABO)，一个大规模、高质量的 3D 对象数据集，包含 147,702 个产品列表、398,212 张目录图像，以及 7,953 个具有复杂几何形状和基于物理渲染（PBR）材质的艺术家创建的 3D 模型，涵盖 63 个类别。这是第一个同时具备真实图像、完整 3D 模型和 PBR 材质属性的大规模数据集。
• 提供姿态标注： 为 6,334 张目录图像提供了 6-DOF（六自由度）姿态标注，通过自动化流程实现，并经过人工验证。
• 构建材质估计数据集： 基于 ABO 的 3D 模型，生成了包含 210 万张渲染图像及其对应地面真值材质图（base color、metallicness、roughness、normal maps）和深度图、分割掩膜的材质估计数据集。
• 建立三大基准：
  1. 单视图 3D 重建基准： 评估了在 ShapeNet 上训练的最先进方法在 ABO 真实对象上的泛化能力，揭示了显著的领域鸿沟。
  2. 材质估计基准： 提出了一个用于从单视图或多视图图像中估计复杂真实世界物体空间可变 BRDF（SV-BRDF）的基线方法。
  3. 跨领域多视图对象检索基准： 利用 ABO 的 3D 模型生成的渲染图像和真实目录图像，构建了一个具有挑战性的跨领域检索任务，用于评估深度度量学习算法对视点和场景变化的鲁棒性。

论文得出了哪些关键的结论或发现？

• ShapeNet 训练模型的领域鸿沟： 在 ShapeNet 上训练的单视图 3D 重建模型在 ABO 对象上的性能显著下降，表明 ABO 提供的真实世界形状和纹理对现有模型构成巨大挑战。特别是对于薄结构物体的重建，性能下降尤为明显。
• 多视图对材质估计的优势： 提出的基线方法在多视图材质估计任务上优于单视图方法，特别是在预测影响视图依赖镜面反射分量的属性（如粗糙度和金属感）时。结合 3D 结构信息进行视图对齐进一步提升了性能。
• ABO 检索基准的挑战性： ABO 的跨领域多视图对象检索基准对最先进的深度度量学习算法构成了巨大挑战，其性能远低于现有基准，表明现有算法在处理复杂场景和多样视点时的局限性。
• 视点变化对检索性能的影响： 检索性能随着查询图像的方位角（azimuth）和仰角（elevation）偏离典型产品视点而迅速下降，揭示了几何信息在深度度量学习中的缺失建模。

3. 预备知识与相关工作

3.1. 基础概念

• 3D 物体理解 (3D Object Understanding): 指的是机器从各种形式的 3D 数据（如图像、点云、网格模型）中识别、分析、理解和推理 3D 物体的能力，包括形状重建、姿态估计、材质识别、场景理解等任务。
• 数据集 (Dataset): 在机器学习和计算机视觉中，数据集是用于训练、验证和测试模型的大量结构化数据集合。大规模、高质量的数据集是推动领域发展的关键。
• 3D 模型 (3D Model): 描述三维物体几何形状和外观信息的数据结构，通常包括：
  • 几何形状 (Geometry): 描述物体外形，可以是：
    • 体素 (Voxels): 像素在三维空间中的扩展，将三维空间划分为小的立方体单元。
    • 点云 (Point Clouds): 由大量三维点组成的集合，每个点代表物体表面的一个位置。
    • 网格 (Meshes): 由顶点（vertices）、边（edges）和面（faces，通常是三角形或四边形）组成的连接结构，可以精确表示复杂表面。
    • 隐式函数 (Implicit Functions): 通过一个函数来定义三维形状，当函数值为零时表示在物体表面。
  • 外观信息 (Appearance): 描述物体表面的颜色、纹理、反射特性等。
• 基于物理的渲染 (Physically-Based Rendering, PBR): 一种图形渲染技术，通过模拟光线与物体表面在物理世界中的相互作用来生成逼真的图像。它使用基于物理规律的材质模型，如 BRDF，来描述表面如何反射光线。
• 材质估计 (Material Estimation): 从图像中推断物体表面材质属性的任务，例如 base color（基础颜色）、metallicness（金属感）、roughness（粗糙度）等。这些属性对于逼真的渲染至关重要。
• 空间可变 BRDF (Spatially-Varying BRDF, SV-BRDF): BRDF (Bidirectional Reflectance Distribution Function) 描述了光线在一个点上如何被反射。SV-BRDF 意味着物体表面不同点的 BRDF 参数是不同的，允许材质在物体表面上变化，例如一张桌子可能有木纹和金属把手。
• 单视图 3D 重建 (Single-View 3D Reconstruction): 从一张 2D 图像预测或恢复 3D 物体形状的任务。这是一个逆问题，具有高度不确定性，是计算机视觉中的一个长期挑战。
• 多视图对象检索 (Multi-View Object Retrieval): 从图像数据库中检索与查询图像中相同或相似对象的任务，其中查询和目标对象可能以不同的视点、在不同场景中出现。
• 深度度量学习 (Deep Metric Learning, DML): 一种机器学习范式，旨在学习一个嵌入空间，使得相似的样本在该空间中距离较近，不相似的样本距离较远。常用于图像检索、人脸识别等任务。
• 6-DOF 姿态 (6-DOF Pose): 指物体在三维空间中的六个自由度：三个旋转自由度（Roll、Pitch、Yaw）和三个平移自由度（$X$、$Y$、$Z$），用于描述物体相对于相机或世界坐标系的位置和方向。

3.2. 前人工作

论文在引言和相关工作部分回顾了 3D 视觉领域的数据集和方法进展，并与 ABO 进行了对比。

3.2.1. 2D 图像识别数据集

• ImageNet [15], COCO [44], LVIS [26]: 这些大规模 2D 数据集推动了 2D 图像识别的巨大进步，因为 2D 标注（如类别标签、分割掩膜）易于收集。

3.2.2. 3D 对象数据集

• 合成 CAD 模型数据集：
  • ShapeNet [10]: 大规模合成 3D CAD 模型数据库，常用于训练单视图和多视图重建模型。但模型多为低质量、未纹理化，且不一定存在于真实世界。
  • 3D-Future [19], Thingi10k [72], ABC [35]: 其他合成 CAD 数据集，同样面临真实感和纹理的不足。
• 链接 3D 模型与真实图像的数据集（近似匹配）：
  • $Pascal3D+$ [66], ObjectNet3D [65]: 找到图像中物体的最接近 CAD 模型，并由人工标注姿态。虽然能评估野外 3D 重建，但形状和姿态匹配是近似的，且继承了现有 CAD 模型的局限性（覆盖范围差、几何和纹理基本）。
• 精确 3D 模型与真实图像对齐数据集：
  • IKEA [42, 43], Pix3D [59]: 通过人工标注真实图像中物体的精确、像素级对齐 3D 模型。这些数据集用于训练单视图重建，弥合了部分合成到真实领域的鸿沟。但它们的规模相对较小（IKEA 90个，Pix3D 395个独特 3D 模型），类别有限（Pix3D 9个类别），且提供的 3D 模型通常未纹理化，不适用于材质预测。
• 从真实图像/视频重建的 3D 数据集：
  • Object Scans [12], Google Scans [56], Bigbird [57], Objectron [3], CO3D [55]: 通过经典重建技术（如运动结构、多视图立体匹配）从真实图像或视频重建场景。优点是几何形状忠实于真实世界物体。但收集过程需要大量人工努力，规模小，物体通常在受控实验室环境中拍摄，且未提供“在上下文”的真实图像。此外，纹理表面通常假定为朗伯体，不显示真实反射特性。CO3D 提供视频和 50 个常见物体类别，但未提供完整的 3D 网格重建。

3.2.3. 材质估计相关数据集

• PhotoShapes [53]: 通过自动将空间可变 BRDF 映射到 ShapeNet CAD 模型来增强纹理，但仅限于椅子这一个类别。
• [17, 20]: 提供高质量的 SV-BRDF 映射，但仅限于平面。
• [32]: 数据集仅包含各种物体的均质 BRDF。
• [41, 7]: 引入的包含完整 SV-BRDF 的数据集，但模型是程序生成的形状，不对应真实物体。

3.2.4. 3D 形状重建方法

• 基于 ShapeNet 监督的方法：
  • 单视图： [18, 22, 48, 59, 71] 等方法，使用体素、点云、网格或隐式函数作为 3D 表示。
  • 多视图： [13, 31, 67] 等方法。
• 基于更自然形式监督的方法： [31, 61, 64, 68] 使用图像、深度图和轮廓等进行多视图监督，相机姿态已知。
• 经典计算机视觉技术： 多视图立体匹配和视觉船体重建等 [27]。
• 泛化能力： 大多数学习方法是类别特定的，在同一类别的新实例上进行评估。[71] 声称是类别无关的。

3.2.5. 材质估计方法

• 单图像建模： [39] 使用两个网络估计平面表面的均质 BRDF 和 SV-BRDF，但限于特定材质族，且每种材质需单独训练网络。[69] 扩展了自增强，但仍受限于相似约束。[16] 使用修改的 U-Net 和渲染损失预测闪光灯下平面照片的 SV-BRDF。
• 任意形状预测： [41] 提出级联 CNN 架构，使用单一编码器和每个 SV-BRDF 参数的独立解码器，但需要全局光照渲染的中间反弹作为监督。
• 多图像估计： [17, 20] 使用多张闪光灯照明图像，但仅针对单一平面。[7, 8] 使用程序生成形状从多视图图像估计 SV-BRDF。

3.2.6. $2D/3D$ 图像检索方法

• 跨视图图像检索： [40] 学习 3D 形状和产品自然图像的统一嵌入空间，但受限于 ShapeNet 的局限性（仅针对椅子和汽车）。
• 细粒度识别： [36] 引入了用于细粒度识别的 3D 对象表示和 CARS-196 数据集（真实世界 2D 汽车图像），广泛用于深度度量学习（DML）评估。
• 其他 DML 数据集： 关注少数对象类型（如鸟类 [62]、服装 [45]）或少量对象类别 [52] 的实例/细粒度类别。这些数据集多样性有限，查询和目标图像性质相似，导致最先进的 DML 算法性能接近饱和。

3.3. 技术演进

从最早的合成 CAD 模型（如 ShapeNet）到 2D-3D 近似对齐（$Pascal3D+$），再到精确但规模受限的真实数据（Pix3D），以及通过经典重建获得的真实几何（Object Scans），3D 视觉数据集一直在努力向真实世界靠拢。然而，这些尝试都未能同时满足大规模、真实世界物体、复杂几何、物理渲染材质和相应真实图像的多重需求。ABO 正是在这一背景下，通过整合亚马逊产品数据，提供了一个兼具这些特性的数据集，代表了 3D 数据集演进的一个重要里程碑，旨在弥合合成与真实 3D 世界之间的鸿沟。

3.4. 差异化分析

ABO 相较于现有 3D 数据集的核心区别和创新点在于：

以下是原文 Table 1 的结果：

• 唯一性： ABO 是唯一同时包含真实世界图像、完整 3D 网格模型和基于物理渲染（PBR）材质的大规模数据集。其他数据集通常只具备其中部分属性。

• 真实感： ABO 的 3D 模型由专业艺术家为真实产品创建，具有复杂的几何形状和高分辨率的 PBR 材质，能够实现照片级真实感的渲染。这与许多合成 CAD 模型（如 ShapeNet）或未纹理化的模型（如 Pix3D）形成鲜明对比。

• 多样性： ABO 包含 63 个类别，比大多数现有 3D 数据集（如 Pix3D 的 9 个，IKEA 的 11 个，3D-Future 的 8 个）在类别数量上更为多样。

• 规模： 尽管 3D 模型数量不是最大（ShapeNet 拥有 51.3K），但 ABO 在结合了高质量 PBR 材质和真实图像的前提下，提供了 8K 个 3D 模型和近 40 万张目录图像，这是一个显著的规模。

• 姿态标注的自动化： ABO 引入了基于可微分渲染的自动化 6-DOF 姿态标注流程，减少了传统人工标注的成本和工作量。

• 多模态数据： 除了图像和 3D 模型，ABO 还提供了丰富的结构化元数据（如类别、颜色、材质、重量、尺寸），这为更高级的多模态任务提供了支持。

  这些差异使得 ABO 能够填补现有数据集的空白，为研究人员提供一个更接近真实世界、更具挑战性也更全面的平台，以推动 3D 物体理解在几何、外观和语义层面的发展。

4. 方法论

本论文主要关注数据集的构建和在此数据集上进行的基准测试，因此其“方法论”部分主要是关于 ABO 数据集的构建细节、姿态标注流程以及为各项任务设计的基线方法。

4.1. 数据集特性

ABO 数据集源自 Amazon.com 的全球产品列表、元数据、图像和 3D 模型。

• 产品列表数量： 147,702 个产品列表。
• 产品类型： 涵盖 576 种产品类型，来自亚马逊旗下的各种商店和网站。
• 结构化元数据： 每个列表都包含公开可用的结构化元数据，如产品类型、材质、颜色和尺寸。图 3 展示了样本目录图像和伴随的属性。
• 目录图像： 398,212 张高分辨率目录图像。
• 360 度视图图像： 为 8,222 个产品提供转盘式 360 度视图图像，以 5 或 15 度方位角间隔拍摄。
• 3D 模型： 7,953 个由艺术家创建的高质量 3D 模型，采用 glTF 2.0 格式。这些模型：
  • 以规范坐标系定向，所有对象的“正面”对齐。
  • 具有对应真实世界单位的尺度。
  • 包含类别标注，并映射到 WordNet [49] 分类法下的名词同义词集。图 4 展示了 3D 模型类别的直方图（$y$ 轴采用对数尺度）。
  • 具有复杂的几何形状和高分辨率、基于物理的材质，可用于逼真的渲染。

4.2. 目录图像姿态标注

为了提供 6-DOF 姿态标注，论文开发了一个自动化流程，利用图像中已知的 3D 模型、现成的实例掩膜和可微分渲染。

• 目标： 为 6,334 张目录图像提供 6-DOF 姿态（三维旋转 $\mathbf{R}$ 和三维平移 $\mathbf{T}$）标注。
• 流程：
  1. 实例掩膜 (Instance Masks): 使用 MaskRCNN [28] 训练在 LVIS [26] 上以及 PointRend [34] 训练在 COCO [44] 上的模型生成实例掩膜。保留置信度大于 0.1 的所有类别的预测掩膜。
  2. 姿态优化 (Pose Optimization): 对于每个实例掩膜 $\mathbf{M}$，通过最小化轮廓损失来估计最佳的旋转 $\mathbf{R} \in SO(3)$ 和平移 $\mathbf{T} \in \mathbb{R}^3$。 $$\mathbf { R } ^ { * } , \mathbf { T } ^ { * } = \underset { \mathbf { R } , \mathbf { T } } { \mathrm { argmin } } \left\| D R ( \mathbf { R } , \mathbf { T } ) - \mathbf { M } \right\|$$ 其中，$DR(\cdot)$ 是在 PyTorch3D [54] 中实现的可微分渲染器。该渲染器能够根据给定的 3D 模型、相机姿态（$\mathbf{R}$ 和 $\mathbf{T}$）生成 2D 轮廓。最小化上述损失的目标是找到一个姿态，使得渲染出的 2D 轮廓与图像中的实例掩膜最接近。
     • 初始化： 对每个实例掩膜，进行 24 次不同随机旋转初始化。
     • 优化器： 使用 Adam 优化器，学习率为 1e-2，优化 1,000 步。
     • 旋转矩阵参数化： 旋转矩阵使用 [38] 中的对称正交化过程进行参数化。
     • 选择最佳姿态： 在 24 次运行结束后，选择损失最低的姿态。
     • 人工验证： 最终姿态通过人工检查验证其正确性。
• 优势： 与之前依赖人工标注姿态或对应关系的方法 [59, 65] 不同，该方法除了最终的人工验证步骤外，是完全自动化的。图 2 展示了该方法的一些结果示例。

4.3. 材质估计数据集

为了进行材质估计，论文构建了一个大规模的合成数据集：

• 材质参数化： 使用 glTF 2.0 规范 [25] 中定义的 Disney [9] base color、metallic、roughness 参数化。
• 渲染图像：
  • 从对象周围的上半球体上的 91 个相机位置渲染 512x512 图像，视场角为 60°。
  • 使用 Blender [14] 的 Cycles 路径追踪器进行渲染。
  • 光照和背景： 为了确保多样化的真实光照条件和背景，场景使用 108 个室内 HDRI [23] 中的 3 个随机环境图进行照明。
• 地面真值 (Ground Truth) 生成： 对于这些渲染图像，生成相应的地面真值 base color、metallicness、roughness 和 normal maps，以及对象深度图和分割掩膜。
• 数据集规模： 最终数据集包含 210 万张渲染图像，以及相应的相机内参和外参。

4.4. 材质预测基线方法

为了评估单视图和多视图材质预测并建立基线，论文提出了一种基于 U-Net 的模型。

• 核心架构： 基于 U-Net，使用 ResNet-34 作为编码器主干网络。
• 输入： RGB 图像。
• 输出： 编码器之后是多头解码器，分别输出 SV-BRDF 的每个组件（base color、metallicness、roughness）。
• 多视图处理：
  • 受 [7, 17] 启发，通过深度图进行投影，将多视图图像对齐。
  • 将原始图像和投影图像对作为输入数据，构建多视图网络。
  • 架构复用： 多视图网络复用单视图架构，并使用全局最大池化（global max pooling）来处理任意数量的输入图像。
• 正则化： 类似于 [16]，利用可微分渲染层来渲染闪光灯照明的地面真值，并与模型预测的类似渲染图像进行比较，以更好地正则化网络并指导训练过程。
• 监督： 直接使用地面真值材质图进行监督。
• 训练细节：
  • 输入图像大小： 256 x 256。
  • 视图采样： 训练时，每个对象随机采样 icosphere 上的 40 个视图。
  • 多视图邻居选择： 对于每个参考视图，选择其紧邻的 4 个相邻视图作为邻居。
  • 损失函数： base color、roughness、metallicness、surface normal 和渲染损失使用均方误差（mean squared error）。
  • 优化器： AdamW [47]，学习率 1e-3，权重衰减 1e-4。
  • 训练周期： 17 个 epoch。

4.5. 多视图跨领域对象检索基线方法

为了比较最先进的 DML 方法在 ABO 基准上的性能，论文使用了 PyTorch Metric Learning [2] 的实现。

• DML 方法： 涵盖了 DML 的主要方法：
  • 分类基： NormSoftmax [70]。
  • 代理基： ProxyNCA [50]。
  • 元组基： Contrastive、TripletMargin、NTXent [11] 和 Multi-similarity [63]。
• 评估框架： 使用 Powerful Benchmarker 框架 [1] 进行公平和受控的比较，包括贝叶斯超参数优化。
• 主干网络 (Backbone)： ResNet-50 [29]。
• 嵌入层： ResNet-50 输出后，通过 LayerNorm [4] 层，投影到 128D。
• 训练细节：
  • BatchNorm 参数： 不冻结 BatchNorm 参数。
  • 图像预处理： 添加图像填充变换，以获得无失真的正方形图像，然后调整大小到 256x256。
  • 批次大小： 大多数方法使用 256 个样本（每个类别 4 个样本）。NormSoftmax 和 ProxyNCA 在 32 个样本（每个类别 1 个样本）的批次大小下表现更好。
  • 训练周期： 所有损失训练 1000 个 epoch。
  • 最佳 epoch 选择： 基于验证集 Recall@1 指标选择最佳 epoch，每隔一个 epoch 计算一次。
• 类平衡与领域平衡： 训练集中的目录图像和渲染图像是平衡的（188K vs. 111K），但有渲染和无渲染的类别不平衡（4K vs. 45K）。因此，在每个批次中平衡它们对于获得良好性能至关重要。
  • 分层采样： 首先采样 $N$ 个带有渲染图像的类别和 $N$ 个没有渲染图像的类别，然后从每个类别中采样 $K$ 张图像。
• 优化器： RMSProp，学习率 1e-6，权重衰减 1e-4，动量 0.9。

5. 实验设置

5.1. 数据集

实验主要使用了 Amazon Berkeley Objects (ABO) 数据集及其衍生的子集。

5.1.1. ABO 数据集概述

• 来源： Amazon.com 产品列表。
• 产品列表： 147,702 个。
• 目录图像： 398,212 张高分辨率图像。
• 3D 模型： 7,953 个艺术家创建的 glTF 2.0 格式高质量 3D 模型。这些模型具有复杂几何形状和 PBR 材质。
• 3D 模型类别： 63 个类别，映射到 WordNet 分类法。图 4 展示了 3D 模型类别分布。
• 360 度视图： 8,222 个产品具有转盘式 360 度视图图像。
• 元数据： 每个产品最多 18 个唯一元数据属性（如类别、颜色、材质、重量、尺寸）。图 3 展示了样本目录图像和属性。图 9 展示了基于“单位数量”和“重量”元数据的产品可视化。
• 姿态标注： 6,334 张目录图像具有 6-DOF 姿态标注。图 2 展示了姿态标注示例。

5.1.2. 单视图 3D 重建数据集

• 对象选择： 从 ABO 中选择了与 ShapeNet 训练类别有交集的 6 个类别（bench、chair、couch、cabinet、lamp、table），共 4,170 个 3D 模型。
• 渲染： 为了评估在 ShapeNet 上训练的模型在真实世界对象上的泛化能力，生成了一个独立于材质估计数据集的渲染数据集。
  • 背景： 纯白背景。
  • 视点： 与渲染 ShapeNet 训练集相似的视点分布。
  • 每个网格视图： 30 个视点。
  • 渲染工具： Blender [14]。
  • 视场角： 40°。
  • 可见性： 确保整个对象可见。
  • 相机方位角和仰角： 在单位球面上均匀采样，仰角下限为 -10°，以避免不常见的底部视图。

5.1.3. 材质估计数据集

• 来源： 基于 ABO 的 3D 模型渲染生成。
• 材质参数： Disney [9] base color、metallic、roughness。
• 渲染图像： 512x512 图像，从 91 个相机位置渲染，视场角 60°。
• 渲染器： Blender [14] 的 Cycles 路径追踪器。
• 光照和背景： 使用 108 个室内 HDRI [23] 中的 3 个随机环境图照明。
• 地面真值： 对应的 base color、metallicness、roughness、normal maps、深度图和分割掩膜。
• 数据集规模： 210 万张渲染图像。
• 训练/测试划分 (附录 E)：
  • 剔除具有透明度的对象，剩余 7,679 个模型。
  • 训练集： 6,897 个模型。
  • 测试集： 782 个模型。
  • 光照条件泛化： 108 个 HDRI 环境图中，10 个专门用于测试集，以测试对新光照条件的泛化能力。

5.1.4. 多视图跨领域对象检索数据集

• 对象选择 (附录 F)：
  • 只选择刚性对象，移除服装、家居布艺等非刚性物品。
  • 使用分层 Union-Find 算法进行近重复检测和产品分组，基于共享图像作为启发式。近重复被视为单个实例的正确匹配。
  • 产品组： 具有相同设计细节、材料或图案的产品线，确保组内所有实例分配到同一数据划分（训练、验证或测试）。
• 划分统计 (附录 F)：
  • 总分组： 29,988 个组，包含 50,756 个实例。其中 1,334 个组有 3D 模型（5,683 个实例）。
  • 测试集： 采样 836 个带有 3D 模型的实例。
    • test-target (目标): 4,313 张目录图像。
    • test-query (查询): 每个环境图采样 8 张渲染视图。
  • 验证集： 采样 854 个带有 3D 模型的实例。
    • val-target (目标): 4,707 张目录图像。
    • val-query (查询): 每个环境图采样 8 张渲染图像。
  • 训练集： 剩余的 49,066 个实例（其中 3,993 个带有 3D 模型）。
    • 目录图像： 187,912 张。
    • 渲染图像： 110,928 张。
    • 总图像： 298,840 张。

5.2. 评估指标

5.2.1. 单视图 3D 重建

• 倒角距离 (Chamfer Distance, CD):
  • 概念定义： 衡量两个点集之间相似度的一种指标。它计算一个点集中每个点到另一个点集中最近点的平均距离，然后将这两个方向的平均距离相加。值越小表示两个点集越相似。
  • 数学公式： $$D_{CD}(S_1, S_2) = \frac{1}{|S_1|} \sum_{x \in S_1} \min_{y \in S_2} \|x-y\|_2 + \frac{1}{|S_2|} \sum_{y \in S_2} \min_{x \in S_1} \|x-y\|_2$$
  • 符号解释：
    • $S_1$: 第一个点集（例如预测的 3D 模型表面的采样点）。
    • $S_2$: 第二个点集（例如地面真值 3D 模型表面的采样点）。
    • $|S_1|$, $|S_2|$: 点集的基数（即点的数量）。
    • $\|x-y\|_2$: 点 $x$ 和点 $y$ 之间的欧几里得距离。
    • $\min_{y \in S_2} \|x-y\|_2$: 点 $x$ 到点集 $S_2$ 中最近点的距离。
• 绝对法线一致性 (Absolute Normal Consistency, ANC):
  • 概念定义： 衡量两个 3D 模型表面法线方向一致性的指标。它计算预测模型表面上每个点与其在地面真值模型上对应点法线向量夹角的余弦值（通常取绝对值后平均），以评估局部几何细节的匹配程度。值越大表示法线一致性越高。
  • 数学公式： $$D_{ANC}(S_1, S_2) = \frac{1}{|S_1|} \sum_{x \in S_1} |\mathbf{n}_x \cdot \mathbf{n}_{y_x}|$$
  • 符号解释：
    • $S_1$: 预测的 3D 模型表面的采样点集。
    • $S_2$: 地面真值 3D 模型表面的采样点集。
    • $x$: 预测模型表面上的一个点。
    • $y_x$: 在地面真值模型 $S_2$ 上与点 $x$ 最接近的点。
    • $\mathbf{n}_x$: 点 $x$ 处的法线向量。
    • $\mathbf{n}_{y_x}$: 点 $y_x$ 处的法线向量。
    • $\cdot$: 向量点积。
    • $|\cdot|$: 绝对值。
• 评估协议 (附录 D)：
  • 视图空间评估： 对于在视图空间（view-space）进行预测的方法，需要解决深度模糊性。将地面真值网格变换到视图空间，并通过最小化倒角距离来对齐预测网格和地面真值网格，搜索 51 个候选深度。网格缩放至地面真值网格边界框最长边为 10。
  • 规范空间评估： 对于在规范空间（canonical-space）进行预测的方法，依赖跨类别语义对齐。使用手动设置的单一旋转对齐整个数据，然后通过最小化倒角距离来求解相对平移和尺度。搜索 $3^4$ 网格的候选尺度/平移。
  • 体素转网格： 对于预测体素网格的方法（如 3D R2N2），将其转换为网格进行基准测试，方法是替换每个被占据的体素为一个立方体，合并顶点并移除内部面。

5.2.2. 材质估计

• 均方根误差 (Root Mean Squared Error, RMSE):
  • 概念定义： 衡量预测值与真实值之间偏差的指标。它是预测误差平方的均值的平方根，对大误差有较大的惩罚。值越小表示预测越准确。
  • 数学公式： $$RMSE = \sqrt{\frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y}_i)^2}$$
  • 符号解释：
    • $N$: 样本数量。
    • $y_i$: 第 $i$ 个样本的真实值。
    • $\hat{y}_i$: 第 $i$ 个样本的预测值。
  • 用于评估 base color、roughness、metallicness 和渲染损失。
• 余弦相似度 (Cosine Similarity):
  • 概念定义： 衡量两个非零向量之间夹角余弦的指标，用于评估两个向量方向的相似性。余弦相似度接近 1 表示方向高度一致，接近 0 表示正交，接近 -1 表示方向完全相反。
  • 数学公式： $$\text{Cosine Similarity}(\mathbf{A}, \mathbf{B}) = \frac{\mathbf{A} \cdot \mathbf{B}}{\|\mathbf{A}\| \|\mathbf{B}\|}$$
  • 符号解释：
    • $\mathbf{A}$: 第一个向量（例如预测的法线向量）。
    • $\mathbf{B}$: 第二个向量（例如地面真值法线向量）。
    • $\cdot$: 向量点积。
    • $\|\mathbf{A}\|$, $\|\mathbf{B}\|$: 向量 $\mathbf{A}$ 和 $\mathbf{B}$ 的欧几里得范数（长度）。
  • 用于评估法线相似性（值越高越好）。

5.2.3. 多视图跨领域对象检索

• Recall@k:
  • 概念定义： 在检索任务中，衡量前 $k$ 个检索结果中包含多少个相关（正确）项的比例。
  • 数学公式： $$\text{Recall@k} = \frac{\text{Number of relevant items in top k results}}{\text{Total number of relevant items}}$$
  • 符号解释：
    • Number of relevant items in top k results: 在前 $k$ 个检索结果中与查询相关的项目数量。
    • Total number of relevant items: 数据集中所有与查询相关的项目总数。
  • 本文主要关注 Recall@1。
• 平均精度 (Mean Average Precision, MAP):
  • 概念定义： 衡量排名列表质量的指标。它计算每个查询的平均精度（Average Precision, AP），然后对所有查询的 AP 值求平均。AP 考虑了排名中相关项的位置，如果相关项排在前面，AP 会更高。
  • 数学公式： $$AP = \sum_{k=1}^n P(k) \cdot \Delta r(k)$$ $$MAP = \frac{1}{Q} \sum_{q=1}^Q AP_q$$
  • 符号解释：
    • $n$: 检索结果的总数。
    • P(k): 在位置 $k$ 处的精度（precision）。
    • $\Delta r(k)$: 在位置 $k$ 处召回率（recall）的变化量。
    • $Q$: 查询（query）的数量。
    • $AP_q$: 第 $q$ 个查询的平均精度。
• R-Precision:
  • 概念定义： 衡量当检索结果数量等于相关文档总数 $R$ 时，前 $R$ 个结果中相关文档的比例。
  • 数学公式： $$\text{R-Precision} = \frac{\text{Number of relevant items in top R results}}{R}$$
  • 符号解释：
    • Number of relevant items in top R results: 在前 $R$ 个检索结果中与查询相关的项目数量。
    • $R$: 数据集中所有与查询相关的项目总数。
• MAP@R (Mean Average Precision at R):
  • 概念定义： MAP@R 是 MAP 的一个变体，其中每个查询的 AP 仅计算到第 $R$ 个结果，其中 $R$ 是该查询的相关项目总数。这确保了每个查询的评估都是基于其自身的相关文档数量。
• 检索设置：
  • test-query 渲染图像作为查询，目标是 test-target 目录图像的库。
  • 评估 DML 算法对物体视点和场景变化的鲁棒性。

5.3. 对比基线

5.3.1. 单视图 3D 重建

• 3D-R2N2 [13]: 基于 CNN 和 RNN 的模型，预测体素网格，在 ShapeNet 上预训练。
• GenRe [71]: 生成式重建网络，预测球形映射，号称类别无关，在 ShapeNet 上预训练，输入是轮廓掩膜。
• Occupancy Networks [48]: 基于隐式函数表示 3D 形状，在 ShapeNet 上预训练。
• Mesh R-CNN [22]: 基于 Mask R-CNN 扩展，预测网格模型，在 ShapeNet 上预训练。

5.3.2. 材质预测

• 单视图网络 (SV-net): 论文提出的 U-Net 架构，使用 ResNet-34 主干，从单视图 RGB 图像估计 SV-BRDF 参数。
• 多视图网络 (MV-net): 论文提出的 U-Net 架构，通过深度图对齐多个视图，并使用全局最大池化处理多视图输入，估计 SV-BRDF 参数。
• 多视图网络（无投影）(MV-net no proj.): 论文提出的多视图网络的消融版本，不使用 3D 结构信息来对齐邻近视图。

5.3.3. 多视图跨领域对象检索

• 预训练 ResNet-50 (Pre-trained): 在 ImageNet 上预训练的 ResNet-50 主干网络，作为基础基线。
• 深度度量学习方法：
  • NormSoftmax [70] (分类基)。
  • ProxyNCA [50] (代理基)。
  • Contrastive (元组基)。
  • TripletMargin (元组基)。
  • NTXent [11] (元组基)。
  • Multi-similarity [63] (元组基)。
  • 这些方法均使用 ResNet-50 作为主干网络，并进行 128D 投影。

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. 单视图 3D 重建评估

论文评估了 3D-R2N2、GenRe、Occupancy Networks 和 Mesh R-CNN 这些在 ShapeNet 上预训练的方法在 ABO 对象上的性能。 以下是原文 Table 3 的结果：

• 性能下降： Table 3 中的每项指标以 ABO/ShapeNet 的格式呈现。结果显示，所有 ShapeNet 预训练模型在 ABO 对象上的性能都显著下降，无论是 Chamfer Distance（越低越好）还是 Absolute Normal Consistency（越高越好）。这表明 ABO 中来自真实世界的形状和纹理，即使属于相同的类别，也超出了 ShapeNet 训练模型的分布，对它们构成了更大的挑战。

• 最佳方法：

  • Mesh R-CNN [22] 在 Chamfer Distance 方面表现最佳，在 ABO 和 ShapeNet 上均优于其他方法。
  • Occupancy Networks [48] 在 Absolute Normal Consistency 方面表现最佳。

• 薄结构问题： lamp（灯具）类别在从 ShapeNet 到 ABO 的性能下降尤为明显。定性结果（如图 5 所示）表明，这可能是由于重建薄结构（如灯杆、灯罩支架）的困难所致。

• 定性结果： 图 5 展示了 R2N2 和 Occupancy Networks 在 ABO 上重建的定性结果，进一步印证了性能下降，尤其是在复杂几何和薄结构方面。

• 测试集平均性能 (附录 D, Table 7)： 为了方便未来的研究，论文还提供了 ABO 测试集上所有类别的平均重建性能。 以下是原文 Table 7 的结果：

  	Chamfer (↓)	Abs. Normal Consistency (↑)
  3D R2N2 [13]	1.97	0.55
  OccNets [48]	1.19	0.70
  GenRe [71]	1.61	0.66
  Mesh R-CNN [21]	0.82	0.62

• Mesh R-CNN [21] 再次在 Chamfer Distance 上表现最好（0.82），而 OccNets [48] 在 Abs. Normal Consistency 上表现最好（0.70）。

6.1.2. 材质预测

论文提出了单视图网络（SV-net）和多视图网络（MV-net）作为材质估计的基线。 以下是原文 Table 4 的结果：

• 多视图优势： MV-net（使用投影对齐）在 base color、roughness、metallicness 和 surface normal 预测任务上均优于 SV-net。尤其是在预测影响视图依赖镜面反射分量的属性（如 roughness 和 metallicness）方面，MV-net 的优势更为明显。
• 3D 结构信息的重要性：
  • 消融实验 MV-net (no proj.)（多视图网络不使用 3D 结构信息进行对齐）显示，即使没有 3D 结构对齐，多视图网络在 roughness 和 metallicness 预测上仍优于单视图网络。
  • 然而，与使用 3D 结构对齐的 MV-net 相比，结构信息带来了所有参数的更好性能。这表明利用 3D 几何信息进行视图对齐对于准确的材质估计至关重要。
• 定性结果： 图 6 展示了测试集上的定性结果，图 7 展示了在真实目录图像上进行多视图材质估计的定性结果。尽管光照和背景存在领域鸿沟，模型仍能对真实目录图像做出合理的预测。但在某些情况下（如图 7 的最后一行，存在自阴影），网络未能准确推断真实 base color。

6.1.3. 多视图跨领域对象检索

以下是原文 Table 5 的结果：

• 基准挑战性： 在 ABO 检索基准上，ImageNet 预训练的 ResNet-50 基线模型的 Recall@1 仅为 5.0%，远低于 DML 方法。这证实了该基准的挑战性。

• DML 性能：

  • NormSoftmax、ProxyNCA 和 Contrastive 表现更好（Recall@1 约为 29%），而 Multi-similarity、NTXent 和 TripletMargin 损失表现稍差（Recall@1 约为 23%）。
  • 在其他数据集上，这种差距可能不明显，但在 ABO 这种更复杂的跨领域任务中，不同 DML 损失的性能差异变得更为突出。
  • 与使用更“干净”的目录图像作为查询时（$Catalog k=1$ 列）相比，使用渲染图像作为查询时（Rendered images 列），性能差距更大。

• 性能饱和与新基准需求： ABO 上的整体性能显著低于现有常见基准（参见 Table 2），证实了现有基准可能接近饱和 [51]，并突出了新的、更具挑战性的检索任务以及新的度量学习方法的需求。

• 视点鲁棒性分析： 图 8 展示了 Recall@1 随查询产品视图的方位角和仰角变化的情况。

  • 性能退化： 对于所有方法，当方位角 $| \theta | > 75^\circ$ 和仰角 $\varphi > 50^\circ$ 时，检索性能迅速下降。这表明当前方法在处理极端视点下的对象时存在显著挑战。
  • 未来方向： 弥合这一差距是未来在多视图对象检索中深度度量学习的一个有趣研究方向，可能需要显式建模训练数据中的几何信息。

• 更全面的评估指标 (附录 F, Table 8 和 Table 9)： 除了 Recall@k，论文还报告了 MAP、MAP@R 和 R-Precision，这些指标更全面地评估了检索结果的排名质量和相关性。 以下是原文 Table 8 的结果：

  Loss	Recall@1 (%)	Recall@2 (%)	Recall@4 (%)	Recall@8 (%)	MAP (%)	MAP@R (%)	R-Precision (%)
  Pre-trained	4.97	8.10	11.41	15.30	7.69	2.27	3.44
  Constrastive	28.56	38.34	48.85	59.10	31.19	14.16	19.19
  Multi-similarity	23.12	32.24	41.86	52.13	26.77	11.72	16.29
  NormSoftmax	30.02	40.32	. 50.19	59.96	32.61	14.03	18.76
  NTXent	23.86	33.04	42.59	51.98	27.00	12.05	16.51
  ProxyNCA	29.36	39.47	50.05	60.11	32.38	14.05	19.00
  TripletMargin	22.15	31.10	41.32	51.90	25.80	10.87	15.41

Table 8 比较了使用渲染图像作为查询，针对测试类别的目录图像以及训练类别的目录图像的联合集合的检索结果。结果显示，NormSoftmax、ProxyNCA 和 Constrastive 在这些指标上也普遍优于其他 DML 方法。

以下是原文 Table 9 的结果：

Table 9 比较了使用测试类别的目录图像作为查询，针对相同目标集合的检索结果。与 Table 8 相比，使用目录图像作为查询的性能显著提高（例如 Contrastive 的 Recall@1 从 28.56% 提高到 39.67%），这进一步凸显了跨领域检索（渲染图查询真实图）的难度。

6.2. 消融实验/参数分析

• 材质预测中的 3D 结构对齐消融： Table 4 中的 MV-net (no proj.) 结果表明，即使没有 3D 结构对齐，多视图信息也能带来性能提升，尤其是在 roughness 和 metallicness 上。然而，与 MV-net（使用 3D 结构对齐）相比，结构信息对所有参数的预测都带来了更好的性能，强调了精确几何对材质估计的重要性。

6.3. 定性结果

• 单视图 3D 重建： 图 5 展示了 3D-R2N2 和 Occupancy Networks 在 ABO 对象上的重建结果。图 12（附录 D）展示了 Mesh R-CNN 和 GenRe 的更多重建结果。这些结果普遍显示了在重建薄结构时的失败。

• 材质估计： 图 6 展示了 SV-net 和 MV-net 的定性材质估计结果。图 7 展示了 MV-net 在真实目录图像上的材质估计结果，尽管存在领域鸿沟，结果仍具有合理性。

• 多视图跨领域对象检索： 图 13（附录 F）展示了 NormSoftmax、ProxyNCA 和 Contrastive 方法在不同仰角查询下的定性检索结果，包括成功和失败案例，进一步说明了模型在处理极端视点时的挑战。

  该图像是一个示意图，展示了不同方法在3D物体重建任务中的输出对比，包括输入图像和多种算法（R2N2、Occupancy Networks、GenRe、Mesh RCNN）所生成的3D模型，以及相应的真实模型（GT）。

图 5 展示了在 ShapeNet 上预训练的 R2N2 和 Occupancy Networks 在 ABO 对象上的定性重建结果。性能下降，尤其是在薄结构物体（如灯具）上。

该图像是一个示意图，展示了SV-net和MV-net在物体重建任务中对基础色、粗糙度、金属感和法线的估计。图中展示了来自不同角度的输入图像以及各自的GT（真实值）对比，突显了材料属性的估计能力。

图 6 展示了 SV-net 和 MV-net 在 base color、roughness、metallicness 和 normals 上的定性材质估计结果，以及渲染结果。

该图像是图表，展示了多视角材料估计的结果。左侧为输入的真实目录图像，右侧依次为基础颜色、粗糙度、金属感、法线和重新照明的可视化效果，突出不同材料属性的估计情况。

图 7 展示了 MV-net 在真实目录图像上的定性多视图材质估计结果。每个多视图都使用目录图像姿态标注与参考视图对齐。

该图像是一个示意图，展示了输入图像及其通过不同算法（GenRe和Mesh RCNN）生成的3D重建结果。该图像比较了三种不同对象的重建效果，展示了机器学习模型在3D物体理解中的应用。

图 12 展示了来自性能最佳的单视图 3D 重建方法 Mesh R-CNN 和声称类别无关的 GenRe 的更多 ABO 对象重建。

该图像是一个插图，展示了不同家居产品的图样，包括床头柜、空调和手推车等，图中通过红框和绿框标识了相似度。该插图旨在展示在真实世界和虚拟3D模型之间的对比。

图 13 展示了 NormSoftmax、ProxyNCA 和 Contrastive 在多视图跨领域对象检索基准上的定性结果，包含低、中、高仰角的查询示例。

7. 总结与思考

7.1. 结论总结

本文介绍了 Amazon Berkeley Objects (ABO)，一个旨在弥合真实与合成 3D 世界之间鸿沟的新型大规模数据集。ABO 包含了大量真实世界家居物品的 3D 模型，这些模型具有复杂的几何形状和基于物理的渲染（PBR）材质，并配有真实的产品目录图像和丰富的元数据。

通过利用 ABO 的独特属性，作者导出了三个具有挑战性的基准：

1. 单视图 3D 重建： 实验证明，在 ShapeNet 上训练的最先进方法在 ABO 的真实 3D 模型上表现出显著的领域鸿沟，即使是来自相同类别的对象也难以泛化，特别是在重建薄结构时性能大幅下降。

2. 材质估计： 提出了一个简单的基线方法，能够从单视图或多视图图像中估计复杂真实世界物体的空间可变 BRDF。结果表明，整合多个视图能够更准确地解耦 SV-BRDF 属性，并且 3D 结构信息对于视图对齐和提升性能至关重要。

3. 跨领域多视图对象检索： 通过结合 ABO 3D 模型生成的合成渲染图像和真实目录图像，构建了一个极具挑战性的检索任务。该基准揭示了现有深度度量学习算法在处理多样化视点和复杂场景时的局限性，并发现检索性能随查询图像方位角和仰角偏离典型视点而迅速下降。

   总而言之，ABO 为 3D 物体理解领域提供了一个前所未有的资源，为研究人员提供了更真实、更具挑战性的测试平台，以推动该领域在几何、外观和语义理解方面的进步。

7.2. 局限性与未来工作

论文作者指出的自身局限性：

• 薄结构重建： 在单视图 3D 重建任务中，现有方法在重建 ABO 中具有薄结构（如灯具）的对象时普遍失败，这是一个需要解决的挑战。
• 深度度量学习对几何信息的利用不足： 当前的深度度量学习损失函数没有明确建模训练数据中的几何信息，导致在极端视点变化下检索性能显著下降。
• 材质估计的自阴影问题： 在真实目录图像上进行材质估计时，模型可能因自阴影等复杂因素而未能准确推断真实材质。

提出的未来可能的研究方向：

• 提高 3D 重建的泛化能力： 针对真实世界对象的复杂几何和纹理，开发更鲁棒的 3D 重建方法。
• 改进材质估计： 探索更先进的材质估计技术，尤其是在处理复杂光照、自阴影和领域鸿沟方面的能力。
• 几何信息融入深度度量学习： 开发新的深度度量学习算法，显式地将几何信息（如视点）整合到嵌入学习中，以提高对视点变化的鲁棒性。
• 多模态任务： ABO 中大量的文本标注（产品描述、关键词）和非刚性产品（服装、家居布艺）为语言与视觉任务提供了广阔空间，例如从产品图像预测风格、图案、标题或关键词。
• 机器人学应用： ABO 中的 3D 对象对应于家庭中常见的物品，并包含物体重量和尺寸等信息。这可以支持机器人学研究，例如模拟操作和导航任务。

7.3. 个人启发与批判

个人启发：

• 真实数据的重要性： 这篇论文再次强调了高质量、大规模真实世界数据集对于推动 AI 领域发展的关键作用。ABO 通过结合亚马逊的商业数据，为 3D 视觉领域注入了新的活力，尤其是在将模型从合成环境泛化到真实世界方面。
• 多模态的潜力： ABO 数据集不仅包含 3D 模型和图像，还有丰富的元数据和文本信息。这为未来的多模态研究提供了巨大潜力，例如，结合文本描述进行更精细的 3D 建模、材质生成或跨模态检索。
• 领域鸿沟的挑战： 论文清晰地展示了即使在相同类别内，合成数据训练的模型在真实数据上仍面临显著性能下降。这促使我们思考，仅仅增加数据量可能不足以解决领域泛化问题，更需要探索领域自适应、领域不变表示学习等深层次技术。
• 细粒度 3D 理解的未来： ABO 的 PBR 材质和复杂几何形状开启了对物体外观进行细粒度理解的可能性，例如微观结构、反射特性等，这在以前的数据集中是难以实现的。

潜在问题、未经验证的假设或可以改进的地方：

• 姿态标注的精度与鲁棒性： 虽然论文采用了自动化姿态标注流程，并进行了人工验证，但对于极端复杂或部分遮挡的物体，6-DOF 姿态标注的精度和鲁棒性仍可能受到限制。在未来，可以探索更先进的无监督或弱监督姿态估计方法，以减少对人工干预的需求。
• 数据偏差： ABO 数据集来源于亚马逊的产品列表，虽然具有规模和多样性，但也可能存在一定的商业偏差。例如，它可能更侧重于畅销商品或特定品类的商品，而对其他类型的真实世界物体覆盖不足。这种偏差可能会影响模型在更广阔的“野外”场景中的泛化能力。
• 长尾分布问题： 图 4 展示了 3D 模型类别的对数尺度直方图，这意味着某些类别（如椅子）的模型数量远超其他类别。这种长尾分布可能会导致模型在低资源类别上学习不足，影响其在所有类别上的均衡性能。
• 材质参数的简化： 论文使用 Disney PBR 模型参数化材质，这在工业界广泛使用。然而，真实世界材质的复杂性远超这些参数，例如次表面散射、透明度、各向异性等。未来的数据集可以尝试包含更丰富的材质属性标注，以支持更高级的材质建模。
• 基线方法的选择： 在 3D 重建和材质估计任务中，论文选择了相对经典或基础的基线方法。随着领域快速发展，未来可以与更多最新的 SOTA 方法进行对比，以更全面地评估 ABO 的挑战性。
• 多视图对齐的依赖性： 材质估计的多视图方法依赖于深度图和相机姿态进行像素级对齐。这些信息的准确性直接影响材质估计结果。在真实世界应用中，获取精确的深度图和相机姿态本身就是一个挑战。未来可以研究在更不确定或更弱监督的条件下进行多视图材质估计。