1. 论文基本信息

1.1. 标题

Hunyuan3D 2.5: Towards High-Fidelity 3D Assets Generation with Ultimate Details (Hunyuan3D 2.5：迈向极致细节的高保真三维资产生成)

1.2. 作者

本文作者为腾讯混元3D (Tencent Hunyuan3D) 团队。核心贡献者包括：

• 项目发起人 (Project Sponsors): Jie Jiang, Linus
• 项目负责人 (Project Leaders): Chunchao Guo, Jingwei Huang, Zeqiang Lai
• 核心贡献者 (Core Contributors):
  • 形状生成 (Shape Generation): Zeqiang Lai, Yunfei Zhao, Jingwei Huang, Haolin Liu, Zibo Zhao, Qingxiang Lin, Huiwen Shi, Xianghui Yang
  • 纹理生成 (Texture Generation): Mingxin Yang, Shuhui Yang, Yifei Feng, Sheng Zhang, Xin Huang
• 其他贡献者 (Contributors): Di Luo, Fan Yang, Fang Yang, Lifu Wang, Sicong Liu, Yixuan Tang, Yulin Cai, Zebin He, Tian Liu, Yuhong Liu

1.3. 发表期刊/会议

预印本 (Preprint)，发布于 arXiv。

1.4. 发表年份

2025年。论文发布于 (UTC)：2025-06-19T17:57:40.000Z。

1.5. 摘要

本报告介绍了 Hunyuan3D 2.5，一个强大的三维扩散模型 (3D diffusion models) 套件，旨在生成高保真度 (high-fidelity) 和细节丰富的带纹理三维资产 (textured 3D assets)。Hunyuan3D 2.5 沿袭了其前身 Hunyuan3D 2.0 的两阶段流水线 (two-stages pipeline)，同时在形状生成 (shape generation) 和纹理生成 (texture generation) 方面均取得了实质性进展。在形状生成方面，论文引入了一个新的形状基础模型 (shape foundation model)——LATTICE，该模型通过大规模高质量数据集、模型尺寸和计算资源进行训练。其最大模型达到了100亿参数，能够生成锐利且细节丰富的三维形状，实现精确的图像-三维跟随/对齐 (image-3D following)，同时保持网格表面 (mesh surface) 的干净和平滑，显著缩小了生成形状与手工制作三维形状之间的差距。在纹理生成方面，通过一个从 Hunyuan3D 2.0 绘制模型 (Paint model) 扩展而来的新颖多视角架构 (multi-view architecture)，模型升级支持了物理基渲染 (physical-based rendering, PBR)。广泛的评估表明，Hunyuan3D 2.5 在形状生成和端到端 (end-to-end) 纹理生成方面均显著优于现有方法。

1.6. 原文链接

• 原文链接: https://arxiv.org/abs/2506.16504
• PDF 链接: https://arxiv.org/pdf/2506.16504v1.pdf
• 发布状态: 预印本 (Preprint)。

2. 整体概括

2.1. 研究背景与动机

研究背景: 近年来，三维生成技术发展迅速，已成为游戏开发、具身人工智能 (embodied AI)、电影特效和虚拟现实等多个行业创新的核心驱动力。三维模型在这些领域的应用场景不断扩展，展示了其巨大的潜力和价值。随着人工智能的进步，三维生成变得更加高效和强大，尤其是在自动化建模和纹理化 (automated modeling and texturing) 等领域，进一步简化了创作过程，提高了生产效率。

动机与核心问题: 尽管三维生成领域取得了显著进展，但现有的三维扩散模型 (3D diffusion models) 在生成具有精细细节的复杂物体方面仍然存在局限性。具体而言，论文指出了以下几个核心问题和挑战：

1. 复杂物体细节生成 (Complex Object Detail Generation): 现有模型在生成具有复杂、精细细节的物体时表现不足。例如，它们可能无法准确生成物体的微小特征，或者在保持表面平滑度的同时生成锐利边缘方面存在困难。图2直观地展示了现有方法在细节生成上的不足。
2. 网格表面质量 (Mesh Surface Quality): 在生成复杂形状时，如何同时保持网格表面干净、平滑，并具有锐利的边缘，是一个开放问题。现有模型往往难以在锐利边缘和表面平滑之间取得平衡。
3. 纹理一致性与质量 (Texture Consistency and Quality): 基于多视角扩散 (multiview diffusion) 的纹理生成方法虽然缓解了基于修复 (inpainting-based methods) 的全局一致性问题，但在生成高度一致的多视角图像方面仍面临挑战，这可能导致融合和烘焙阶段出现伪影和接缝。
4. PBR 材质生成 (PBR Material Generation): 传统的 RGB 纹理已无法满足逼真三维资产生成的需求，而开放源码社区中缺乏可用的物理基渲染 (PBR) 材质生成解决方案。这意味着难以生成能够准确描述表面反射特性和模拟几何微表面分布 (geometric microsurface distributions) 的材质，从而影响最终渲染的真实感和细节。

论文的切入点/创新思路: Hunyuan3D 2.5 旨在通过引入以下创新点来解决上述挑战：

• 新的形状基础模型 LATTICE: 专注于通过大规模训练、模型尺寸扩展和高质量数据集来提升形状生成的细节和表面质量。
• 升级的 PBR 纹理生成框架: 将多视角扩散纹理生成模型扩展为高保真材质生成框架，支持同时生成反照率 (albedo)、粗糙度 (roughness) 和金属度 (metallic) 贴图，并引入双阶段分辨率增强策略 (dual-phase resolution enhancement strategy) 来强化纹理-几何协调 (texture-geometry coordination)。

2.2. 核心贡献/主要发现

Hunyuan3D 2.5 在三维资产生成领域做出了以下主要贡献和取得了关键发现：

1. 引入新一代形状基础模型 LATTICE (New Shape Foundation Model LATTICE):

   • LATTICE 模型通过在大型、高质量数据集上进行训练，并扩展模型尺寸（最大模型达到100亿参数），显著提升了三维形状的生成能力。
   • 实现了生成极致细节、锐利边缘和光滑表面，显著缩小了生成形状与手工制作形状之间的差距。这解决了现有模型在处理复杂几何体和精细细节时的不足。
   • 在图像-三维跟随/对齐方面表现出色，能够精确遵循输入图像的几何特征。

2. 升级 PBR 材质生成框架 (Upgraded PBR Material Generation Framework):

   • 将 Hunyuan3D 2.0/2.1 的纹理生成模型扩展为高保真、多通道的材质生成框架，能够同时生成反照率 (albedo)、金属度 (metallic) 和粗糙度 (roughness) 贴图。这使得生成的资产能够支持物理基渲染 (PBR)，从而实现更逼真的视觉效果。
   • 引入了双通道注意力机制 (dual-channel attention mechanism) 和共享注意力掩码 (attention mask) 来确保生成的多通道材质图在空间上的一致性，有效解决了多通道材质生成中的对齐问题。
   • 采用光照不变性一致性损失 (illumination-invariant consistency loss) 来解耦材质属性和光照分量。
   • 提出了双阶段分辨率增强策略 (dual-phase resolution enhancement strategy)，通过先进行常规低分辨率多视角训练，再进行放大训练策略 (zoom-in training strategy)，在保持计算可行性的同时，显著提高了纹理-几何对齐的质量和细节。

3. 卓越的性能表现 (Superior Performance):

   • 在广泛的定量和定性评估以及用户研究中，Hunyuan3D 2.5 在形状生成和端到端纹理生成方面均显著优于现有最先进的开源和商业模型。
   • 在用户研究中，Hunyuan3D 2.5 在图像到三维 (Image-to-3D) 任务中获得了高达72%的胜率，是商业模型1的9倍，表明其在生成高质量带纹理三维资产方面达到了领先水平。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 三维扩散模型 (3D Diffusion Models)

概念定义 (Conceptual Definition): 三维扩散模型 (3D diffusion models) 是一种生成模型，属于扩散模型 (Diffusion Models) 的范畴。扩散模型通过模拟一个逐步加噪声的正向过程来将数据（如图像、三维形状）转化为随机噪声，然后学习一个逆向去噪过程，从噪声中逐步恢复出清晰的数据。三维扩散模型专门应用于三维数据（如点云、网格、体素或隐式表示）的生成，旨在创造新的、逼真的三维对象。它们在生成三维内容方面展现出强大的潜力，能够从文本描述、二维图像或其他三维数据中生成复杂的三维形状和结构。

3.1.2. 物理基渲染 (Physical-Based Rendering, PBR)

概念定义 (Conceptual Definition): 物理基渲染 (Physical-Based Rendering, PBR) 是一种计算机图形学中的渲染技术，旨在更精确地模拟光线在物体表面上的行为，从而产生更真实和一致的视觉效果。PBR 的核心思想是使用物理上可信的模型来描述材料属性和光照相互作用。传统的渲染方法通常通过“艺术性”地调整参数来达到视觉效果，而 PBR 则基于实际的物理定律，使得在不同光照环境下，材质的表现能够保持一致和真实。PBR 通常依赖于多个纹理贴图来定义材质属性，例如反照率 (Albedo)、金属度 (Metallic)、粗糙度 (Roughness)、法线 (Normal) 等。

3.1.3. 注意力机制 (Attention Mechanism)

概念定义 (Conceptual Definition): 注意力机制 (Attention Mechanism) 是一种在神经网络中广泛使用的技术，它允许模型在处理输入序列时，动态地聚焦于输入中与当前任务最相关的部分。在图像或三维数据处理中，注意力机制可以帮助模型识别和强调输入数据中重要的区域或特征，从而提高模型的感知和理解能力。在多模态或多视角任务中，如本文的多视角材质生成，注意力机制可以用于协调不同视角或不同信息流之间的一致性，确保生成结果在全局上是连贯的。

数学公式 (Mathematical Formula): 经典的注意力机制，特别是自注意力 (Self-Attention) 或交叉注意力 (Cross-Attention) 通常使用以下公式表示： $$\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 符号解释 (Symbol Explanation):

• $Q$ (Query): 查询矩阵，代表当前需要关注的信息。
• $K$ (Key): 键矩阵，代表输入序列中每个元素的描述。
• $V$ (Value): 值矩阵，代表输入序列中每个元素的实际内容。
• $K^T$: 键矩阵的转置。
• $QK^T$: 查询和键的点积，用于计算查询与每个键之间的相似度。
• $\sqrt{d_k}$: 缩放因子，其中 $d_k$ 是键向量的维度。用于防止点积结果过大，导致 softmax 函数梯度过小。
• $\mathrm{softmax}(\cdot)$: softmax 函数，将相似度分数转换为概率分布，表示注意力权重。
• $\mathrm{Attention}(Q, K, V)$: 注意力机制的输出，是值矩阵 $V$ 基于注意力权重加权求和的结果，代表了从输入中提取到的关键信息。

3.1.4. 变分自编码器 (Variational AutoEncoder, VAE)

概念定义 (Conceptual Definition): 变分自编码器 (Variational AutoEncoder, VAE) 是一种生成模型，结合了自编码器 (AutoEncoder) 和变分推理 (Variational Inference) 的思想。它学习将输入数据编码到一个潜在空间 (latent space) 中的概率分布（而不是一个固定的向量），然后从这个潜在分布中采样一个潜在向量，再通过解码器将其重构回原始数据空间。VAE 的主要优势在于其潜在空间的连续性和可插值性，这使得它能够生成新的、与训练数据相似但并非完全相同的数据。在扩散模型中，VAE 常用于将高分辨率图像压缩到低维潜在空间，以降低计算成本，同时在潜在空间中进行扩散和去噪操作。

3.1.5. 双向反射分布函数 (Bidirectional Reflectance Distribution Function, BRDF)

概念定义 (Conceptual Definition): 双向反射分布函数 (Bidirectional Reflectance Distribution Function, BRDF) 是计算机图形学中用于描述光线如何从物体表面反射的函数。它定义了当光线以某个方向入射到表面上时，会以多少能量、在哪些方向上反射出去。BRDF 是 PBR 渲染的核心组成部分，因为它提供了量化材质光学特性的数学模型。一个典型的 BRDF 函数会考虑入射光方向、出射光方向、表面法线以及材质的各种属性（如反照率、粗糙度、金属度等），从而精确模拟不同材质在不同光照条件下的视觉表现。

3.2. 前人工作

3.2.1. 3D 形状生成 (3D Shape Generation)

• 早期工作 (Early Works): 早期研究 (Wu et al., 2016; Sanghi et al., 2022; Yan et al., 2022; Yin et al., 2023) 基于不同的生成模型（如变分自编码器 (VAE)、生成对抗网络 (GAN)、流模型 (Normalizing Flows)）展示了生成特定类别形状的初步潜力。
• 基于分数蒸馏 (Score Distillation) 的方法: 随着扩散模型 (Diffusion Models) 的兴起，基于分数蒸馏 (score distillation) 的三维形状生成方法 (Poole et al., 2023) 出现，通过利用文本到图像 (text-to-image) 模型实现了文本到三维 (text-to-3D) 生成。
• 前馈方法 (Feedforward Methods): LRM (Hong et al., 2023)、Hunyuan3D 1.0 (Yang et al., 2024) 和 LGM (Tang et al., 2024) 等代表了另一种研究方向，专注于一步生成三维资产。
• 原生 3D 扩散模型 (Native 3D Diffusion Models): 近期，利用三维数据训练的原生三维扩散模型显著提高了生成质量。这包括 Michelangelo (Zhao et al., 2024)、CLAY (Zhang et al., 2024b)、Trellis (Xiang et al., 2024)、Hunyuan3D 2.0 (Zhao et al., 2025) 和 TripoSG (Li et al., 2025)。这些模型通常基于 vecset (Zhang et al., 2023) 等三维表示。虽然需要多步采样，但通过 FlashVDM (Lai et al., 2025) 等加速技术，它们的速度甚至可以超越前馈方法。
• 自回归模型 (Autoregressive Models): 另一些自回归模型，如 MeshGPT (Siddiqui et al., 2024)、BPT (Weng et al., 2024) 和 Meshtron (Hao et al., 2024)，在生成具有类似人类拓扑结构 (human-like topology) 的网格方面变得流行。

3.2.2. 纹理生成 (Texture Synthesis)

• 多视角扩散 (Multiview Diffusion): 多视角扩散方法 (Zhao et al., 2025; Huang et al., 2024b; Vainer et al., 2024b; Li et al., 2024a; Tang et al., 2025; Long et al., 2024; Wang & Shi, 2023; Shi et al., 2023b;a; Liu et al., 2023) 主要通过引入跨视角注意力机制 (cross-view attention mechanisms) 来建模多视角潜在交互 (multiview latent interactions)，为解决三维纹理的全局一致性问题开辟了新途径。
  • Zero1-2-3++ (Shi et al., 2023a) 通过空间拼接 (spatial concatenates) 多视角图像并利用自注意力 (self-attention) 来建立跨视角交互。
  • 其他工作通过使用不同的注意力掩码 (attention masks) 将视角约束 (view constraints) 注入注意力块 (attention block) (Tang et al., 2023; Huang et al., 2024b; Li et al., 2024a)。
• PBR 材质生成 (PBR Material Generation): 现有的 PBR 材质生成方法主要分为三类：
  • 基于生成的方法 (Generation-based approaches): (Vainer et al., 2024a; Sartor & Peers, 2023; Vecchio et al., 2024; Chen et al., 2024a; Zeng et al., 2024b) 利用扩散模型学习材质先验 (material priors)，并通过物理渲染 (physical rendering) 恢复 PBR 属性 (PBR properties)。
  • 基于检索的方法 (Retrieval-based techniques): (Zhang et al., 2024c; Fang et al., 2024) 调整预构建库中的材质图 (material graphs)，以确保视觉一致性 (visual consistency) 和可编辑性 (editability)。
  • 基于优化的方法 (Optimization-based methods): (Chen et al., 2023b; Zhang et al., 2024d; Wu et al., 2023; Xu et al., 2023; Yeh et al., 2024; Youwang et al., 2024; Liu et al., 2024b) 首先生成初始纹理，然后通过分数蒸馏采样 (Score-Distillation Sampling) (Poole et al., 2023) 等技术进行细化。

3.3. 技术演进与差异化分析

Hunyuan3D 2.5 建立在 Hunyuan3D 2.0 (Zhao et al., 2025) 和 2.1 (Hunyuan3D et al., 2025) 的两阶段流水线基础上，但通过引入 LATTICE 形状基础模型和升级 PBR 材质生成框架，实现了显著的进步。

技术演进:

• 形状生成: 从早期的特定类别生成模型，到基于分数蒸馏的文本到三维方法，再到利用三维数据训练的原生三维扩散模型，以及最近的自回归模型，三维形状生成技术不断向着高保真、细节丰富、拓扑结构合理的方向发展。Hunyuan3D 2.5 的 LATTICE 模型代表了原生三维扩散模型在规模和细节生成能力上的进一步演进。
• 纹理生成: 纹理生成技术从早期基于修复的方法，演进到多视角扩散以解决全局一致性问题，再到 PBR 材质生成以实现更高的真实感。Hunyuan3D 2.5 在多视角 PBR 材质生成方面进行了创新，特别是通过双通道注意力机制和双阶段分辨率增强策略，解决了现有方法在多通道材质对齐和高分辨率细节生成方面的挑战。

差异化分析:

• 与现有形状模型的区别: 尽管 CLAY、Hunyuan3D 2.0 和 TripoSG 等模型在三维形状生成方面取得了革命性进展，但论文指出它们在生成具有精细细节的复杂物体时仍存在局限性（如图2所示），且难以同时保持表面平滑和边缘锐利。LATTICE 的创新在于通过大规模训练和计算资源，显著提升了细节捕捉能力，并优化了网格表面质量，弥补了这一差距。
• 与现有纹理模型的区别: 现有的大多数多视角扩散纹理生成方法主要侧重于 RGB 纹理，或在 PBR 材质生成方面仍面临挑战，例如难以准确估计金属度 (metallic) 和粗糙度 (roughness) 值，或无法有效解耦光照效应。Hunyuan3D 2.5 的 PBR 材质生成框架直接支持多通道材质图的同步生成，并引入了专为解决材质空间对齐和高分辨率细节设计的机制，这在开源社区中是独特的，并超越了许多商业模型。
• 端到端性能: Hunyuan3D 2.5 不仅在形状和纹理生成单个环节取得突破，更通过优化整个两阶段流水线，实现了端到端的高保真三维资产生成，并在用户研究中展示了其在整体视觉质量上的领先地位。

4. 方法论

4.1. 方法原理

Hunyuan3D 2.5 的核心原理是延续并增强其前身 Hunyuan3D 2.0 的两阶段流水线，以实现高保真带纹理三维资产的生成。这种分阶段的方法允许模型分别专注于几何形状的细节和材质纹理的真实感，从而更有效地解决生成复杂三维资产的挑战。

核心思想包括：

1. 形状优先，纹理次之 (Shape First, Texture Second): 首先，通过一个强大的形状生成模型（LATTICE）从输入图像中提取并生成高质量的三维网格形状，这个网格包含精确的几何信息。
2. 几何条件纹理生成 (Geometry-Conditioned Texture Generation): 其次，利用生成的形状作为几何条件，通过一个专门的纹理生成模型，生成与形状高度协调的 PBR 材质贴图（反照率、金属度、粗糙度等）。
3. 规模化与细节化 (Scaling for Detail): 论文强调通过扩大模型规模、数据集和计算资源来提升细节生成能力。这体现在 LATTICE 模型参数量达到100亿，能够捕捉精细的几何特征。
4. 物理基渲染 (PBR) 升级 (PBR Upgrade): 纹理生成从传统的 RGB 贴图升级到 PBR 材质贴图，以更好地模拟光照下的物体表面特性，从而实现更高的视觉真实感。
5. 多视角一致性与空间对齐 (Multi-View Consistency & Spatial Alignment): 在纹理生成阶段，通过多视角架构和创新的注意力机制，确保生成的纹理在不同视角下保持一致，并与几何形状精确对齐。

4.2. 整体流水线 (Overall Pipeline)

Hunyuan3D 2.5 是一个图像到三维 (image-to-3D) 生成模型，其整体架构遵循 Hunyuan3D 2.0 的设计，如图3所示。

以下是原文 Figure 3 的结果：

该图像是论文中图3的示意图，展示了Hunyuan3D 2.5的整体流程。该流程将3D资产生成分为两个阶段：先进行形状生成，经过网格后处理，再进行纹理生成，最终输出带纹理的3D模型。

Figure 3: Overview of Hunyuan3D 2.5 pipeline. It separates the 3D asset generation into two stages: first, it generates the shape, and then it creates the texture based on that shape.

流水线步骤详解：

1. 图像预处理 (Image Pre-processing):
   • 首先，输入图像会由一个图像处理器 (image processor) 进行处理。
   • 该处理器负责移除图像背景，并进行适当的尺寸调整，为后续的模型输入做准备。
2. 形状生成 (Shape Generation):
   • 处理后的图像被送入一个形状生成模型。
   • 这个模型以输入图像为条件，生成不带纹理的三维网格 (3D mesh)。
   • Hunyuan3D 2.5 在此阶段引入了新的 LATTICE 模型，专注于生成高保真、细节丰富的形状。
3. 网格后处理 (Mesh Post-processing):
   • 生成的裸网格会进一步处理，以提取必要的几何信息。
   • 这包括提取法线贴图 (normal map)、UV 贴图 (UV map) 等，这些信息对于后续的纹理生成至关重要。
4. 纹理生成 (Texture Generation):
   • 最后，纹理生成模型被调用。
   • 它以网格后处理阶段的输出（如法线、UV 贴图等几何条件）以及原始输入图像作为引导，生成最终的纹理。
   • Hunyuan3D 2.5 在此阶段升级为 PBR 材质生成框架。

4.3. 详细形状生成 (Detailed Shape Generation)

Hunyuan3D 2.5 引入了新的形状生成模型——LATTICE，这是一个大规模扩散模型 (large-scale diffusion model)。该模型能够从单张图像或四张多视角图像中生成高保真、细节丰富的形状，具有锐利边缘和平滑表面。它在广泛且高质量的三维数据集上进行训练，这些数据集包含复杂的对象，旨在生成卓越的细节。为了提高效率，模型还采用了引导 (guidance) 和步长蒸馏 (step distillation) 技术来减少推理时间。

以下是原文 Figure 4 的结果：

该图像是论文中图4的示意图，展示了Hunyuan3D 2.5新形状生成模型的主要特征，包括极致细节、锐利边缘和平滑表面，突出表现了复杂小资产、清晰边缘和干净网格表面。

Figure 4: Illustration of major features of the new shape generation model in Hunyuan3D 2.5.

4.3.1. 极端细节 (Extreme Detail)

• 描述: 论文指出，Hunyuan3D 2.5 得益于其规模化 (scaling up) 的优势，能够以前所未有的水平生成精细的细节 (fine-grained details)。
• 示例: 图4的第一行展示了模型生成的一些示例，如机器人模型上精确的手指数量、自行车轮毂的详细图案，甚至在一个大型场景中成功生成了碗的细节。这表明模型在捕捉微小几何特征方面的能力已接近手工制作的设计。

4.3.2. 平滑表面与锐利边缘 (Smooth Surfaces & Sharp Edges)

• 描述: 现有模型 (Zhao et al., 2025; Li et al., 2025; Xiang et al., 2024) 往往难以在生成锐利边缘的同时保持表面平滑和干净，尤其对于复杂物体。
• Hunyuan3D 2.5 的优势: 相比之下，Hunyuan3D 2.5 在这方面取得了出色的平衡。图4的第二行和第三行展示了模型在生成清晰边缘和干净网格表面方面的能力，即使是对于复杂的几何体也能保持高质量。

4.4. 真实感纹理生成 (Realistic Texture Generation)

Hunyuan3D 2.5 提出了一个新颖的材质生成框架，该框架基于 Hunyuan3D 2.1 (Hunyuan3D et al., 2025) 的多视角 PBR 纹理生成架构进行了扩展。

以下是原文 Figure 5 的结果：

该图像是论文中描述材质生成框架的示意图，展示了训练与推理流程及多任务注意力模块的结构，包含输入图像、参考分支、生成分支、视点选择及多视角注意力机制等关键部分。

Figure 5: Overview of material generation framework.

4.4.1. 材质生成框架 (Material Generation Framework)

• 输入: 如图5所示，模型接收由三维网格渲染出的法线贴图 (normal map) 和颜色通道混合渲染 (CCM) 作为几何条件 (geometry conditions)，同时以参考图像 (reference image) 作为引导。
• 输出: 模型的目标是生成高质量的 PBR 材质贴图，包括反照率 (albedo)、粗糙度 (roughness) 和金属度 (metallic) 贴图。
• 核心技术: 模型继承了 (Feng et al., 2025) 中的三维感知旋转位置嵌入 (3D-aware RoPE) 技术，以增强跨视角一致性 (cross-view consistency)，从而实现无缝纹理贴图生成 (seamless texture map generation)。
• 原理性 BRDF 模型 (Principled BRDF Model): 该框架遵循原理性双向反射分布函数 (principled BRDF model)，同时生成多视角反照率、粗糙度 (roughness) 和金属度 (metallic) 贴图。这旨在精确描述生成三维资产的表面反射特性，并准确模拟几何微表面分布 (geometric microsurface distributions)，从而获得更真实和细节丰富的渲染结果。

4.4.2. 多通道材质生成 (Multi-Channel Material Generation)

为了同时生成反照率、金属度 (metallic) 和粗糙度 (roughness) 这三个不同的材质通道，论文引入了可学习嵌入 (learnable embeddings) 和双通道注意力机制。

1. 可学习嵌入 (Learnable Embeddings):

   • 为三个材质贴图（反照率、金属度-粗糙度 (MR) 通道，其中 MR 是金属度 metallic 和粗糙度 roughness 的组合表达，以及法线 normal）引入了独立的、可学习的嵌入：$\mathbf { E _ { a l b e d o } }$、$\mathbf { E } _ { \mathrm { m r } }$ 和 $\mathbf { E _ { n o r m a l } } \in \mathbb { R } ^ { 16 \times 1024 }$。
   • 这些嵌入通过交叉注意力层 (cross-attention layers) 注入到各自的通道中。
   • 嵌入和注意力模块都是可训练的，允许网络有效地分别建模三种材质的分布。

2. 双通道注意力机制 (Dual-Channel Attention Mechanism):

   • 尽管材质通道之间存在显著的领域差距 (domain gaps)，但保持空间对应 (spatial correspondence) 对于从语义到像素级的对齐至关重要。

   • 论文提出了一种双通道注意力机制来确保生成的反照率和金属-粗糙度 (MR) 之间在空间上的对齐。

   • 通过系统性地检查参考注意力模块 (reference attention module)，研究人员发现多通道未对齐的主要原因在于注意力掩码 (attention masks) 的未对齐。

   • 因此，他们有意在多个通道之间共享注意力掩码，同时在输出计算中改变值计算 (value computation)。

   • 具体来说，由于基色分支 (basecolor branch) 包含与参考图像在语义上最相似的信息（两者都存在于常见的 RGB 颜色空间中），他们利用从基色通道计算出的注意力掩码，并将其应用于引导其他两个分支中的参考注意力，其公式如下： $$\begin{array} { r } { \mathbf { M } _ { a t t n } = \mathrm { S o f t m a x } \left( \frac { Q _ { a l b e d o } K _ { r e f } ^ { T } } { \sqrt { d } } \right) \qquad } \\ { z _ { a l b e d o } ^ { n e w } = z _ { a l b e d o } + \mathbf { M L P } _ { a l b e d o } \left[ \mathbf { M } _ { a t t n } \cdot V _ { a l b e d o } \right] , } \\ { z _ { M R } ^ { n e w } = z _ { M R } + \mathbf { M L P } _ { M R } \left[ \mathbf { M } _ { a t t n } \cdot V _ { M R } \right] \qquad } \end{array}$$ 符号解释 (Symbol Explanation):

   • $Q_{albedo}$: 反照率通道的查询矩阵 (Query)。

   • $K_{ref}$: 参考图像的键矩阵 (Key)。

   • $T$: 矩阵转置操作。

   • $d$: 缩放因子，通常是键向量的维度。

   • $\mathrm{Softmax}(\cdot)$: softmax 函数，将相似度分数转换为注意力权重。

   • $\mathbf{M}_{attn}$: 注意力掩码 (attention mask)，由反照率查询和参考图像键计算得到，并将在不同材质通道间共享。

   • $V_{albedo}$: 反照率通道的值矩阵 (Value)。

   • $V_{MR}$: 金属-粗糙度 (MR) 通道的值矩阵 (Value)。

   • $z_{albedo}$: 反照率通道的原始特征表示。

   • $z_{MR}$: 金属-粗糙度 (MR) 通道原始特征表示。

   • $\mathbf{MLP}_{albedo}[\cdot]$: 应用于反照率通道注意力输出的多层感知机 (Multi-Layer Perceptron)。

   • $\mathbf{MLP}_{MR}[\cdot]$: 应用于金属-粗糙度 (MR) 通道注意力输出的多层感知机 (Multi-Layer Perceptron)。

   • $z_{albedo}^{new}$: 经过注意力机制处理后更新的反照率通道特征。

   • $z_{MR}^{new}$: 经过注意力机制处理后更新的金属-粗糙度 (MR) 通道特征。

     这种设计使生成的反照率和 MR 特征能够保持空间一致性，同时受到参考图像信息的引导。在此框架基础上，模型在训练过程中还引入了光照不变性一致性损失 (illumination-invariant consistency loss)，以强制解耦材质属性和光照分量 (He et al., 2025)。

4.4.3. 几何对齐 (Geometric Alignment)

纹理与几何的对齐对于三维资产的视觉完整性和美学质量至关重要，特别是对于复杂的高多边形几何体。

1. 挑战: 高分辨率图像保留了更丰富的高频几何细节，并减轻了变分自编码器 (VAE) 压缩损失 (VAE compression losses)，从而显著增强了几何条件作用 (geometric conditioning)。然而，使用高分辨率多视角图像进行训练会消耗大量内存，这需要减少训练时的视角数量，从而削弱模型进行密集视角推理的能力。

2. 双阶段分辨率增强策略 (Dual-Phase Resolution Enhancement Strategy): 为解决这一挑战，论文提出了一种双阶段分辨率增强策略，该策略逐步提高纹理-几何对齐质量，同时保持计算可行性。

   • 第一阶段: 采用传统的、常规的多视角训练方法，使用6个视角的 $512 \times 512$ 图像，遵循 Hunyuan3D 2.0 (Zhao et al., 2025) 的方法。此阶段建立了多视角一致性 (multi-view consistency) 和基本纹理-几何对应关系的基础。
   • 第二阶段: 实施了放大训练策略 (zoom-in training strategy)，使模型能够在捕获高质量细节的同时，保留第一阶段的多视角训练优势。具体做法是在训练过程中随机放大参考图像和多视角生成图像。这种方法使得模型能够学习细粒度纹理细节，而无需从头开始进行完整的高分辨率训练，从而避免了直接高分辨率多视角训练相关的内存限制。

3. 推理阶段 (Inference Stage): 在推理过程中，模型利用高达 $768 \times 768$ 分辨率的多视角图像，并通过 UniPC 采样器 (UniPC sampler) (Zhao et al., 2023) 进行加速，以实现高效的高质量生成。

5. 实验设置

5.1. 数据集

论文并未明确指出用于 LATTICE 形状模型训练的“大规模高质量三维数据集”的具体名称和规模，只提及“包含复杂对象的广泛且高质量的三维数据集”。这暗示了可能是内部或私有数据集。对于纹理生成，也未明确提及具体数据集，但其“在广泛多样的真实世界输入图像上进行评估”表明可能使用了从各种来源收集的图像。

若原文提供了数据集中的具体样本示例，请务必一并展示，以帮助读者直观理解数据形态。 （论文中未直接提供训练数据集的具体样本，但Figure 1, 2, 4, 6, 7 均展示了模型在各类图片或3D形状上的生成效果，可以间接反映其训练数据涵盖的丰富类别和复杂程度，如机器人、车辆、雕塑、室内场景等。这些图像可以视为模型在类似数据上学习能力的体现。）

为什么选择这些数据集进行实验？它们是否能有效地验证方法的性能？ 尽管具体数据集未公开，但从论文的描述可以推断：

• 高质量与大规模: 形状生成模块强调在高质量、大规模数据集上训练，以确保模型能够学习到复杂对象的精细结构和几何细节。这种数据集对于生成高保真形状至关重要，能够有效验证模型在捕捉和再现细节方面的能力。
• 多样性: 纹理生成模块在“广泛多样的真实世界输入图像”上进行评估，这确保了模型在处理不同光照、材质和场景条件下的鲁棒性，从而有效验证其端到端纹理生成能力。

5.2. 评估指标

论文从形状生成和纹理生成两个方面对 Hunyuan3D 2.5 进行了评估。

5.2.1. 形状生成指标

用于评估生成网格与输入图像或文本提示的相似性。

• ULIP-T 和 ULIP-I:

  1. 概念定义 (Conceptual Definition): ULIP (Unified Language-Image Pre-training) (Xue et al., 2023) 是一种统一语言、图像和点云表示的模型。ULIP-T 衡量生成的三维形状与文本提示 (text prompts) 的语义相似度，即形状在多大程度上符合文本描述；ULIP-I 衡量生成的三维形状与输入图像 (input images) 的语义相似度，即形状在多大程度上符合输入图像的视觉特征。
  2. 数学公式 (Mathematical Formula): ULIP 的相似度通常通过计算其在联合嵌入空间中的特征向量余弦相似度来度量。 $$\mathrm{Similarity}(A, B) = \frac{f_A \cdot f_B}{\|f_A\| \|f_B\|}$$
  3. 符号解释 (Symbol Explanation):
     • $f_A$: 模态 A（如文本或图像）在 ULIP 嵌入空间中的特征向量。
     • $f_B$: 模态 B（如三维形状）在 ULIP 嵌入空间中的特征向量。
     • $\cdot$: 向量点积。
     • $\|\cdot\|$: 向量的L2范数（模长）。
     • $\mathrm{Similarity}(A, B)$: 模态 A 和 B 之间的余弦相似度，取值范围为 [-1, 1]，值越大表示相似度越高。

• Uni3D-T 和 Uni3D-I:

  1. 概念定义 (Conceptual Definition): Uni3D (Zhou et al., 2023) 是一种统一三维表示的模型，与 ULIP 类似，也旨在学习不同模态（文本、图像、三维）之间的对齐表示。Uni3D-T 衡量生成的三维形状与文本提示的语义相似度；Uni3D-I 衡量生成的三维形状与输入图像的语义相似度。
  2. 数学公式 (Mathematical Formula): 与 ULIP 相似，Uni3D 的相似度也是通过计算其在联合嵌入空间中的特征向量余弦相似度来度量。 $$\mathrm{Similarity}(A, B) = \frac{g_A \cdot g_B}{\|g_A\| \|g_B\|}$$
  3. 符号解释 (Symbol Explanation):
     • $g_A$: 模态 A（如文本或图像）在 Uni3D 嵌入空间中的特征向量。
     • $g_B$: 模态 B（如三维形状）在 Uni3D 嵌入空间中的特征向量。
     • $\cdot$: 向量点积。
     • $\|\cdot\|$: 向量的L2范数（模长）。
     • $\mathrm{Similarity}(A, B)$: 模态 A 和 B 之间的余弦相似度，值越大表示相似度越高。

5.2.2. 纹理生成指标

用于评估生成纹理的质量、多样性和与输入图像的语义对齐程度。

• Fréchet Inception 距离 (Fréchet Inception Distance, FID):

  1. 概念定义 (Conceptual Definition): FID 是一种用于评估生成图像质量的指标，通过计算生成图像集和真实图像集在 Inception-v3 网络特征空间中的 Fréchet 距离（或 Wasserstein-2 距离）来衡量。FID 值越低，表示生成图像的质量越高，与真实图像的分布越接近。它同时考虑了生成图像的真实性和多样性。
  2. 数学公式 (Mathematical Formula): $$\mathrm{FID} = \|\mu_x - \mu_g\|^2 + \mathrm{Tr}(\Sigma_x + \Sigma_g - 2(\Sigma_x \Sigma_g)^{1/2})$$
  3. 符号解释 (Symbol Explanation):
     • $\mu_x$: 真实图像在 Inception-v3 特征空间中的均值向量。
     • $\mu_g$: 生成图像在 Inception-v3 特征空间中的均值向量。
     • $\Sigma_x$: 真实图像特征的协方差矩阵。
     • $\Sigma_g$: 生成图像特征的协方差矩阵。
     • $\|\cdot\|^2$: L2范数的平方。
     • $\mathrm{Tr}(\cdot)$: 矩阵的迹。

• 基于CLIP的FID (CLIP-based FID, CLIP-FID):

  1. 概念定义 (Conceptual Definition): CLIP-FID 是 FID 的变体，它使用 CLIP (Contrastive Language-Image Pre-training) 模型的图像编码器提取特征，而不是 Inception-v3。由于 CLIP 模型在多模态理解方面表现出色，CLIP-FID 更能反映生成图像在语义层面与真实图像的相似度，尤其适用于评估文本到图像或图像到图像生成任务。值越低越好。
  2. 数学公式 (Mathematical Formula): 结构与 FID 类似，只是特征提取器换成了 CLIP 图像编码器。 $$\mathrm{CLIP-FID} = \|\mu_x - \mu_g\|^2 + \mathrm{Tr}(\Sigma_x + \Sigma_g - 2(\Sigma_x \Sigma_g)^{1/2})$$
  3. 符号解释 (Symbol Explanation):
     • $\mu_x$: 真实图像在 CLIP 图像嵌入空间中的均值向量。
     • $\mu_g$: 生成图像在 CLIP 图像嵌入空间中的均值向量。
     • $\Sigma_x$: 真实图像 CLIP 特征的协方差矩阵。
     • $\Sigma_g$: 生成图像 CLIP 特征的协方差矩阵。

• 学习感知图像补丁相似性 (Learned Perceptual Image Patch Similarity, LPIPS):

  1. 概念定义 (Conceptual Definition): LPIPS 是一种感知相似度指标，旨在更好地与人类的感知判断对齐。它通过比较两张图像在预训练深度网络（如 AlexNet、VGG 等）中间层的特征表示之间的距离来计算。LPIPS 值越低，表示两张图像在感知上越相似。它常用于评估图像重建、超分辨率等任务中的视觉质量。
  2. 数学公式 (Mathematical Formula): $$\mathrm{LPIPS}(x, x_0) = \sum_l \frac{1}{H_l W_l} \sum_{h,w} \|w_l \odot (\phi_l(x)_{hw} - \phi_l(x_0)_{hw})\|^2$$
  3. 符号解释 (Symbol Explanation):
     • $x$: 原始图像。
     • $x_0$: 比较图像（例如，生成图像或真实图像）。
     • $\phi_l(\cdot)$: 预训练深度网络第 $l$ 层的激活特征。
     • $w_l$: 对第 $l$ 层特征图进行缩放的权重。
     • $\odot$: 元素乘法（Hadamard积）。
     • $H_l, W_l$: 第 $l$ 层特征图的高度和宽度。
     • $\sum_l$: 对所有选定层的求和。

• CLIP最大均值差异 (CLIP Maximum-Mean Discrepancy, CMMD):

  1. 概念定义 (Conceptual Definition): CMMD 是一种衡量两个分布之间差异的指标，这里特指使用 CLIP 特征空间。它评估生成纹理细节的多样性和丰富度。CMMD 越低，通常意味着生成的数据分布与真实数据分布越接近，生成的多样性和质量越好。
  2. 数学公式 (Mathematical Formula): 最大均值差异 (MMD) 的一般形式是： $$\mathrm{MMD}^2(X, Y) = \sup_{f \in \mathcal{H}} \left( \mathbb{E}_X[f(x)] - \mathbb{E}_Y[f(y)] \right)^2$$ 在实践中，CMMD 通常通过核函数 (kernel function) 来计算： $$\mathrm{CMMD}^2(X, Y) = \mathbb{E}_{x, x' \sim X}[k(x, x')] - 2\mathbb{E}_{x \sim X, y \sim Y}[k(x, y)] + \mathbb{E}_{y, y' \sim Y}[k(y, y')]$$ 其中，这里的 x, x', y, y' 是从 CLIP 特征空间中提取的特征向量。
  3. 符号解释 (Symbol Explanation):
     • $X$: 真实纹理特征的分布。
     • $Y$: 生成纹理特征的分布。
     • $k(\cdot, \cdot)$: 核函数，用于计算两个特征向量之间的相似度。
     • $\mathbb{E}[\cdot]$: 期望操作。

• CLIP图像相似性 (CLIP-Image Similarity, CLIP-I):

  1. 概念定义 (Conceptual Definition): CLIP-I 评估生成纹理在语义上与输入图像（或图像提示）的对齐程度。它利用 CLIP 模型的跨模态能力，计算生成纹理的图像表示与输入图像的图像表示在 CLIP 联合嵌入空间中的相似度。值越高越好，表示语义一致性越强。
  2. 数学公式 (Mathematical Formula): $$\mathrm{CLIP-I}(I_{gen}, I_{input}) = \frac{\mathrm{CLIP_{image}}(I_{gen}) \cdot \mathrm{CLIP_{image}}(I_{input})}{\|\mathrm{CLIP_{image}}(I_{gen})\| \|\mathrm{CLIP_{image}}(I_{input})\|}$$
  3. 符号解释 (Symbol Explanation):
     • $I_{gen}$: 生成的纹理图像。
     • $I_{input}$: 输入图像。
     • $\mathrm{CLIP_{image}}(\cdot)$: CLIP 模型的图像编码器，将图像映射到 CLIP 嵌入空间中的特征向量。
     • $\cdot$: 向量点积。
     • $\|\cdot\|$: 向量的L2范数。

5.3. 对比基线

5.3.1. 形状生成

论文将 Hunyuan3D 2.5 的形状生成能力与以下模型进行了比较：

• 开源基线 (Open-source Baselines):
  • Michelangelo (Zhao et al., 2024)
  • Craftsman 1.5 (Li et al., 2024b)
  • Trellis (Xiang et al., 2024)
  • Hunyuan3D 2.0 (Zhao et al., 2025) - 作为前代版本进行比较
• 闭源商业基线 (Closed-source Commercial Baselines):

  • Commerical Model 1

  • Commerical Model 2

    这些基线模型代表了当前三维形状生成领域中最先进的技术，包括基于 vecset 的原生三维扩散模型和商业解决方案，具有很强的代表性。

5.3.2. 纹理生成

论文将 Hunyuan3D 2.5 的纹理生成能力与以下模型进行了定量和定性比较：

• 文本条件和图像条件方法 (Text- and Image-conditioned Methods):
  • Text2Tex (Chen et al., 2023a)
  • SyncMVD (Liu et al., 2024a)
  • Paint-it (Youwang et al., 2024)
  • Paint3D (Zeng et al., 2024a)
  • TexGen (Yu et al., 2024)
• 闭源商业模型 (Closed-source Commercial Models):

  • 在用户研究中，还与三款最新的商业模型进行了定性比较，以评估端到端带纹理结果。

    这些基线涵盖了不同类型的纹理生成方法，包括基于文本和图像条件的方法，以及商业解决方案，能够全面评估 Hunyuan3D 2.5 在纹理生成方面的性能。

6. 实验结果与分析

6.1. 形状生成评估

6.1.1. 数值比较

以下是原文 Table 1 的结果：

分析:

• 从 Table 1 的数值比较中可以看出，Hunyuan3D 2.5 在 ULIP-T、Uni3D-T 和 Uni3D-I 三个指标上均取得了最佳性能。
• ULIP-T (文本-形状相似度) 达到了 0.07853，略高于其前身 Hunyuan3D 2.0 和其他所有基线。
• Uni3D-T (文本-形状相似度) 达到了 0.2542，同样优于所有对比模型。
• Uni3D-I (图像-形状相似度) 达到了 0.3151，与 Hunyuan3D 2.0 持平，并优于其他模型。
• ULIP-I (图像-形状相似度) 方面，Hunyuan3D 2.5 取得了 0.1306，略低于商业模型1的 0.1308，但仍然处于领先水平。
• 这些结果表明，Hunyuan3D 2.5 在理解文本和图像输入并生成语义上对齐的三维形状方面表现出色。

6.1.2. 视觉比较

以下是原文 Figure 6 的结果：

该图像是论文中图6的插图，展示了多种方法在3D形状生成上的视觉对比。包含输入彩色图片及基于不同模型（Trellis、Hunyuan3D 2.0、两款商业模型及Hunyuan3D 2.5）的灰度雕塑形态，直观体现形状细节和复杂度的差异。

Figure 6: Visual comparison of different methods in terms of shape generation.

分析:

• 尽管数值指标有所提升，但论文指出，这些指标可能未能完全反映模型的真实能力。如图6所示的视觉比较更直观地展现了 Hunyuan3D 2.5 的优势。
• 在图6中，与其他开源模型（Trellis，Hunyuan3D 2.0）和商业模型相比，Hunyuan3D 2.5 生成的形状在细节丰富度、表面平滑度和整体几何精度方面明显更优。例如，在生成复杂雕塑或物体时，Hunyuan3D 2.5 能够捕捉到更精细的纹理和轮廓，其网格结构也显得更为干净和规整。
• 这种视觉上的显著改进，尤其是在细节表现力方面，是 Hunyuan3D 2.5 形状生成模块 LATTICE 核心优势的体现。它通过扩大模型规模和高质量数据训练，显著缩小了生成形状与手工制作形状之间的差距。

6.2. 纹理生成评估

6.2.1. 数值比较

以下是原文 Table 2 的结果：

| Method | CLIP-FID↓ | FID↓ | CMMD↓ | CLIP-I↑ | LPIPS↓ | :--- | :--- | :--- | :--- | :--- | Text2Tex Chen et al. (2023a) IcCV'23 | 31.83 | 187.7 | 2.738 | - | 0.1448 | SyncMVD Liu et al. (2024a) SIGGRAPH Asia'24 | 29.93 | 189.2 | 2.584 | - | 0.1411 | Paint-it Youwang et al. (2024) cVPR'24 | 33.54 | 179.1 | 2.629 | - | 0.1538 | Paint3D Zeng et al. (2024a) cvVPR'24 | 26.86 | 176.9 | 2.400 | 0.8871 | 0.1261 | TexGen Yu et al. (2024)TOG'24 | 28.23 | 178.6 | 2.447 | 0.8818 | 0.1331 | Ours | 23.97 | 165.8 | 2.064 | 0.9281 | 0.1231

分析:

• 从 Table 2 的定量比较中可以看出，Hunyuan3D 2.5 在所有纹理生成指标上均取得了最佳性能。
• CLIP-FID (越低越好): Hunyuan3D 2.5 为 23.97，显著低于所有其他方法，表明其生成纹理在语义上与真实纹理更相似，质量更高。
• FID (越低越好): Hunyuan3D 2.5 为 165.8，同样是最低的，这表示其生成纹理的分布与真实纹理的分布最接近，真实感和多样性最佳。
• CMMD (越低越好): Hunyuan3D 2.5 为 2.064，最低值表明其生成纹理的细节丰富度更高，多样性更佳。
• CLIP-I (越高越好): Hunyuan3D 2.5 达到了 0.9281，最高值表明其生成纹理与输入图像的语义对齐度最高。
• LPIPS (越低越好): Hunyuan3D 2.5 为 0.1231，最低值表明其生成纹理在人类感知上与真实纹理最为相似。
• 这些结果强有力地证明了 Hunyuan3D 2.5 在 PBR 材质生成方面的卓越性能，无论是从生成质量、多样性还是与输入的语义一致性来看，都超越了现有最先进的方法。

6.2.2. 视觉比较

以下是原文 Figure 7 的结果：

该图像是图7，展示了不同方法在纹理生成方面的视觉对比，包括模型正反面及对应的完整材质贴图和反照率贴图的效果。

Figure 7: Visual comparison of different methods in terms of texture generation. We compared the front and back of models generated by different methods, as well as the effects of the corresponding complete material maps and albedo maps.

分析:

• 图7展示了不同方法在纹理生成方面的视觉对比，包括模型的前后视图以及对应的完整材质贴图和反照率贴图。
• 视觉结果进一步印证了定量指标的优势。对于 PBR 材质生成，现有竞争模型在准确估计正确的金属度 (metallic) 和粗糙度 (roughness) 值方面存在困难，并且在解耦输入图像中固有的光照效应以获得纯净的反照率分量方面面临挑战。
• 相比之下，Hunyuan3D 2.5 生成的 PBR 材质贴图（包括反照率、金属度和粗糙度）更加准确和逼真，能够更好地描述物体表面的光学特性。这使得最终渲染出的三维模型在不同光照下呈现出更真实、更具细节的视觉效果，例如正确的材质光泽、反射和质感。这得益于其新颖的 PBR 材质生成框架和双阶段分辨率增强策略。

6.3. 用户研究 (User Study)

以下是原文 Figure 8 的结果：

该图像是图表，展示了用户研究中Hunyuan3D 2.5与三款最新商业模型在端到端有纹理3D生成任务（Image to 3D和Text to 3D）中的对比结果，分别以“劣于”“相同”“优于”三类比例表示。

Figure 8: User study against three latest commerical models in terms of end-to-end textured results.

分析:

• 论文还进行了一项用户研究，以评估人类对不同方法生成的带纹理模型的偏好。研究中，每位参与者被要求对测试集中每个样本的不同方法进行排名。测试集包含来自不同类别的各种真实世界图像。
• 如图8所示，Hunyuan3D 2.5 与三款最新的商业模型进行了比较。结果清楚地表明，Hunyuan3D 2.5 显著优于其他模型。
• 例如，在图像到三维 (Image-to-3D) 任务中，Hunyuan3D 2.5 获得了高达 72% 的胜率，是商业模型1的9倍。在文本到三维 (Text-to-3D) 任务中，Hunyuan3D 2.5 也取得了最高的胜率。
• 这意味着在实际应用中，用户更倾向于 Hunyuan3D 2.5 生成的带纹理三维模型，这进一步验证了其在形状细节、纹理真实感和整体视觉质量方面的卓越表现，达到了生产级应用的水平。

7. 总结与思考

7.1. 结论总结

本研究介绍了 Hunyuan3D 2.5，一个用于生成高质量、细节丰富三维资产的先进三维扩散模型套件。通过引入新的形状基础模型 LATTICE，Hunyuan3D 2.5 在形状生成方面取得了显著进步，能够生成具有极致细节、锐利边缘和平滑表面的三维形状，显著缩小了与手工制作资产的差距。同时，模型通过扩展其纹理生成能力，实现了物理基渲染 (PBR) 材质的生成，能够同时输出高质量的反照率、金属度、粗糙度贴图，并引入了双通道注意力机制和双阶段分辨率增强策略来确保纹理-几何的精确对齐和细节捕捉。广泛的定量和定性评估，以及用户研究，均表明 Hunyuan3D 2.5 在形状细节、表面平滑度、纹理一致性和整体视觉真实感方面，显著超越了当前最先进的开源和商业模型。这项工作标志着三维生成领域的一个重大进步，为在各种行业中创建逼真和详细的三维资产提供了强大的工具。

7.2. 局限性与未来工作

论文中并未明确指出 Hunyuan3D 2.5 的具体局限性，也没有详细说明未来的研究方向。然而，从技术论文的常见实践和现有技术挑战来看，我们可以推断一些潜在的局限性和未来工作：

潜在局限性：

1. 数据依赖性 (Data Dependency): 尽管论文强调使用了“大规模高质量数据集”训练 LATTICE，但三维数据的获取、标注和质量控制仍然是一个巨大的挑战。模型的性能可能高度依赖于这些私有或内部数据集的规模和多样性，这可能限制了其在某些特定或长尾类别上的泛化能力。
2. 计算资源需求 (Computational Resource Requirements): 100亿参数的 LATTICE 模型和双阶段高分辨率训练策略意味着巨大的计算资源需求。这使得该模型难以在普通硬件上进行训练或微调，可能限制了其研究和小型团队的采用。
3. 推理时间 (Inference Time): 尽管论文提到了使用引导和步长蒸馏技术来减少推理时间，但对于如此复杂的两阶段生成过程（形状生成 -> 网格后处理 -> 纹理生成），端到端的推理速度可能仍不足以满足实时应用的需求。
4. 可控性与编辑性 (Controllability & Editability): 论文主要关注从图像到三维的生成。尽管提到了形状和纹理生成具有对齐能力，但对于生成结果的细粒度可控性（例如，用户如何精确修改生成形状的某个局部特征或调整材质的特定属性）以及后续编辑的灵活性，论文未进行深入探讨。尤其是在 PBR 材质生成中，虽然提供了多个贴图，但这些贴图的独立修改和重新整合可能仍需专业工具。
5. 拓扑结构 (Topology): 扩散模型生成的网格可能在拓扑结构上不够规整或存在瑕疵，尤其是在复杂或镂空结构中。虽然论文强调了“干净平滑”的表面，但对于复杂的、类似人类拓扑结构 (human-like topology) 的网格，可能仍有提升空间。

可能的未来工作：

1. 提升生成速度和效率 (Improved Generation Speed and Efficiency): 进一步优化模型架构和采样策略，以在保持高质量的同时显著缩短生成时间，使其更适用于实时或交互式应用。
2. 增强用户可控性 (Enhanced User Controllability): 探索更直观、更细粒度的控制机制，允许用户在生成过程中对形状、姿态、纹理风格和材质属性进行精确编辑和调整。这可能涉及结合交互式工具或更高级的条件输入。
3. 多模态输入融合 (Multi-modal Input Fusion): 除了图像，探索结合文本、草图、点云等多种输入模态进行三维资产生成，以提供更丰富的创作方式。
4. 动态与动画三维资产 (Dynamic & Animated 3D Assets): 将生成能力扩展到动态三维资产或可动画模型，这对于游戏、电影和虚拟现实等领域具有巨大价值。
5. 自动拓扑优化 (Automatic Topology Optimization): 引入自动拓扑修复和优化模块，确保生成网格具有更好的结构和更易于后续处理。
6. 更广泛的材质种类 (Broader Material Types): 探索除了标准 PBR 材质（金属、粗糙度等）之外，生成更复杂或特殊效果的材质，如半透明、次表面散射 (Subsurface Scattering, SSS) 或发光材质。

7.3. 个人启发与批判

个人启发：

1. 规模化的力量 (The Power of Scaling): Hunyuan3D 2.5 再次验证了“大模型”在深度学习领域的强大威力。通过在高质量大规模数据集上训练100亿参数的 LATTICE 模型，并在纹理生成中采用高分辨率策略，模型能够捕捉到前所未有的细节，显著提升了生成质量。这表明在三维生成领域，持续的规模化投入仍是提升性能的关键路径。
2. 两阶段流水线的有效性 (Effectiveness of Two-Stage Pipeline): 论文延续了两阶段（形状生成和纹理生成）的流水线，并在此基础上进行了深度优化。这种解耦的方法可能比端到端一次性生成所有信息更易于训练和控制，因为它可以将复杂的生成任务分解为更可管理的子任务。这对于其他多模态或多任务生成问题也具有借鉴意义。
3. PBR 材质生成的重要性 (Importance of PBR Material Generation): 升级到 PBR 材质生成是迈向真实感三维资产生成的关键一步。传统的 RGB 纹理在不同光照下表现不佳，而 PBR 材质能够提供物理上准确的表面属性，极大地提升了视觉真实感。这提示研究者，在三维内容生成中，材质的物理准确性与几何的精细度同样重要。
4. 细节对齐的精妙设计 (Ingenious Design for Detail Alignment): 双通道注意力机制共享注意力掩码来确保多通道材质的空间一致性，以及双阶段分辨率增强策略来强化纹理-几何对齐，这些都是非常精妙的设计。它们解决了生成复杂三维内容时，不同模态或不同分辨率信息之间协调的关键挑战。这种对细节对齐的关注是模型成功的关键。

批判：

1. 数据集的透明度 (Dataset Transparency): 论文未公开形状生成所用的“大规模高质量数据集”的具体信息。这使得其他研究者难以复现其结果，也无法深入分析模型对特定数据偏差或类别的依赖性。在学术研究中，数据集的透明度对于促进科学进步至关重要。
2. 评估指标的局限性 (Limitations of Evaluation Metrics): 论文指出 ULIP 和 Uni3D 等数值指标“未能完全反映模型的真实能力”，而视觉比较和用户研究更能体现优势。这暗示了当前三维生成领域缺乏能够全面、客观评估生成质量（尤其是细节、拓扑和材质真实感）的统一标准。未来的研究应致力于开发更全面的自动化评估指标。
3. 计算成本与可及性 (Computational Cost and Accessibility): 尽管性能卓越，但100亿参数的模型和高分辨率训练所需的大量计算资源，使得 Hunyuan3D 2.5 难以被学术界和小型开发者广泛采用。如果模型能够提供轻量级版本或有效的知识蒸馏方案，将极大地提高其可及性和影响力。
4. 黑箱性质 (Black-box Nature): 作为扩散模型，其内部工作机制在很大程度上是黑箱的。虽然论文详细介绍了其架构创新，但对于模型在生成特定“极端细节”时如何做出决策、以及为何某些细节能够被精确捕捉而其他可能仍有缺陷，仍缺乏深入的机制解释。
5. 模型鲁棒性 (Model Robustness): 论文展示了高质量的生成结果，但未详细讨论模型在面对各种“野外 (in-the-wild)”图像输入时的鲁棒性，例如极端视角、遮挡、低质量图像或风格化图像等。在这些挑战性场景下，模型的性能可能有所下降。