摘要

This paper presents a true-3D Pancake VR using a light field display (LFD) engine generating intermediate images with computational focus cues. A field-sequential-color micro-LCD provides high resolution. The aberration-induced FOV reduction of LFDs is addressed through a telecentric path. Clear 3D images with a 68.6-degree FOV are experimentally verified.

1. 论文基本信息

1.1. 标题

Wide-FOV 3D Pancake VR Enabled by a Light Field Display Engine (宽视场 3D Pancake VR：由光场显示引擎驱动)

1.2. 作者

Qimeng Wang*, Yifan Ding*, Mingjing Wang*, Yaya Huang*, Bo-Ru Yang*, and Zong Qin*

1.3. 隶属机构

*School of Electronics and Information Technology, Sun Yat-Sen University, Guangzhou, China (中山大学电子与信息工程学院，中国广州)

1.4. 发表期刊/会议

论文中未明确指出具体的发表期刊或会议名称。根据“Presentation type: Oral preferred”的描述，这篇论文很可能是一篇会议论文或已提交但尚未正式发表的期刊论文。

1.5. 发表年份

论文中未明确指出发表年份。

1.6. 摘要

本文提出了一种真 3D 的 Pancake 虚拟现实 (Virtual Reality, VR) 系统，该系统采用一个光场显示 (Light Field Display, LFD) 引擎，能够生成具有计算焦距线索 (computational focus cues) 的中间图像。通过使用场序彩色微型液晶显示器 (Field-Sequential-Color micro-LCD, FSC micro-LCD)，系统实现了高分辨率。为了解决 LFD 中因像差导致的视场 (Field of View, FOV) 缩小问题，论文引入了远心光路 (telecentric path)。实验验证了系统能够提供清晰的 3D 图像，并实现了 68.6 度的宽 FOV。

1.7. 原文链接

/files/papers/6937898ba1be66f6e380326b/paper.pdf (此为论文 PDF 文件的本地链接，发布状态为 PDF 形式的论文，可能是会议论文或预印本。)

2. 整体概括

2.1. 研究背景与动机

论文试图解决的核心问题是什么？ 当前 VR 头显中常用的 Pancake 光学系统虽然具有紧凑、轻便和大 FOV 的优点，但普遍存在调节-辐辏冲突 (Vergence-Accommodation Conflict, VAC)，导致用户在使用时无法获得真实的深度感知，从而影响沉浸感并可能引起视觉疲劳。另一方面，光场显示 (Light Field Display, LFD) 技术虽然能够提供无 VAC 的真 3D 显示，但直接用于近眼显示时，面临着分辨率急剧下降和视场 (Field of View, FOV) 严重受限（由微透镜阵列 MLA 的像差引起）的问题。
为什么这个问题在当前领域是重要的？ 解决 VAC 是提升 VR 体验舒适度和真实感的核心挑战。提供宽 FOV 则是增强 VR 沉浸感的关键。因此，开发一种既能解决 VAC 又能提供宽 FOV 且高分辨率的紧凑型 VR 显示方案，对于 VR 技术的进步和普及具有重要意义。
现有研究存在哪些具体的挑战或空白 (Gap)？
- 机械移动透镜或使用变焦元件（如 LC lens）虽然能改变焦平面，但无法支持场景中的多个焦平面，且响应速度和系统复杂性有限。
- Maxwellian view display (麦克斯韦视图显示) 虽然能确保图像始终清晰，但对瞳孔位置敏感，限制了眼动范围。
- 全息显示 (Holographic display) 能重现波前信息，但需要相干光源，且系统通常难以实现紧凑化。
- 直接将 LFD 用于近眼显示时，由于 MLA 的放大效应和像差，导致分辨率低和 FOV 小。
- 结合自由曲面棱镜的 LFD 方案虽然能扩展 FOV，但体积比 Pancake 方案更大。
这篇论文的切入点或创新思路是什么？ 论文的创新点在于将 LFD 技术与 Pancake 光学系统进行集成。利用 LFD 作为“图片引擎”生成具有计算焦距线索 (computational focus cues) 的中间图像，再通过 Pancake 光学模块将这些中间图像转换为具有真实深度变化的虚拟图像，从而实现真 3D、无 VAC 的显示。同时，通过引入物方远心光路 (object-space telecentric optical path) 和采用高分辨率的场序彩色微型液晶显示器 (FSC micro-LCD) 来克服 LFD 固有的 FOV 和分辨率限制。

2.2. 核心贡献/主要发现

论文最主要的贡献是什么？
1. 提出了一个结合 LFD 引擎和 Pancake 光学系统的真 3D VR 头显新方案，有效解决了 Pancake VR 固有的 VAC 问题，并克服了传统 LFD 在近眼显示中 FOV 受限的难题。
2. 成功地将 FSC micro-LCD 应用于 LFD 引擎，显著提升了显示分辨率和光学效率，为高画质光场显示提供了硬件基础。
3. 创新性地利用了 Pancake 光学系统的物方远心特性来扩展 LFD 的 FOV，通过确保 MLA 在近轴条件下工作，抑制了大视场下的像差。
4. 研究并优化了 LFD 引擎与 Pancake 模块之间的光学匹配，以在多个深度平面上实现平衡的图像质量。
论文得出了哪些关键的结论或发现？
1. 通过 LFD 引擎生成中间图像，再经 Pancake 模块中继，可以实现计算可调的虚拟图像深度，从而提供真 3D 显示并有效解决 VAC。
2. 利用 FSC micro-LCD 能够提供足够高的分辨率，以满足 LFD 对像素密度的需求，同时提高系统光学效率。
3. 实验验证了所提出的方案能实现 68.6 度的宽 FOV，这显著优于单独使用 LFD 引擎的方案，且接近商用 Pancake 模块的原始 FOV。
4. 原型系统成功在两个不同深度平面上重建了清晰的 3D 图像，证明了系统的功能和性能。
5. 实现这些功能仅增加了 2.1 cm 的额外光学路径，被认为在近眼显示中是可接受的。

3. 预备知识与相关工作

3.1. 基础概念

Pancake 光学系统 (Pancake optics): Pancake 光学是一种用于 VR 头显的紧凑型光学解决方案。其工作原理 (Fig. 1) 涉及折叠光路以缩短光程，从而减小头显的体积。光线从显示面板发出，首先通过一个四分之一波片 (Quarter-Wave Plate, QWP) 转化为圆偏振光，然后进入一个带有半透镜（或偏振分束器）的透镜模块。光线在腔体内部经过两次反射（通常利用偏振片的特性），最终离开模块进入人眼。这种设计使得 VR 头显更轻薄、更紧凑，并能支持较大的 FOV。

该图像是一个示意图，展示了宽视场3D Pancake VR系统的光学结构。通过QWP、半透镜和反射偏振器，显示器生成三维图像，并引导光线进入观察者的眼睛。

Fig. 1. Pancake 的工作原理。
调节-辐辏冲突 (Vergence-Accommodation Conflict, VAC): VAC 是指人眼在观察虚拟图像时，辐辏 (vergence)（两眼视线交汇点）和调节 (accommodation)（晶状体焦距调整以使图像清晰）功能之间发生的冲突。在传统 VR 头显中，虚拟图像通常位于一个固定的距离（例如，1.5米），无论虚拟场景中的物体实际深度如何。这意味着，当用户看到一个虚拟的近距离物体时，他们的眼睛会辐辏到近处，但晶状体却需要调节到固定的虚拟图像距离（例如1.5米）才能看清图像。这种辐辏与调节距离不匹配的现象就是 VAC，它会导致视觉疲劳、不适甚至恶心。
光场显示 (Light Field Display, LFD): LFD 是一种能够重现光场信息，从而提供真 3D 深度感知的显示技术。其核心原理是利用微透镜阵列 (Microlens Array, MLA) 和微显示器 (Fig. 2)。微显示器上显示元素图像阵列 (Elemental Image Array, EIA)，每个元素图像包含从不同视角捕捉到的场景信息。MLA 将这些元素图像的光线方向性地投射出去，使得观察者在不同视角看到不同的图像，从而在空间中重构出具有连续视角和深度信息的光场 (light field)。由于 LFD 能够为不同深度的物体提供正确的焦点线索，因此可以消除 VAC。

该图像是一个示意图，展示了通过显示面板、透镜阵列和体素重建三维图像的过程。图中涉及的元素包括元素图像阵列、显示面板和重构的三维图像，一个红色苹果的形象通过光线的分布实现了三维效果。

Fig. 2. 光场显示的工作原理。
视场 (Field of View, FOV): FOV 是指用户在不转动头部的情况下，通过显示设备能够看到的场景范围。在 VR 中，FOV 通常以角度度数来衡量。宽 FOV 能够提供更强的沉浸感，让用户感觉自己真正置身于虚拟环境中，而不是通过“窗口”观察。
场序彩色微型液晶显示器 (Field-Sequential-Color micro-LCD, FSC micro-LCD): FSC micro-LCD 是一种特殊的微型液晶显示器。与传统的彩色显示器通过红、绿、蓝（RGB）子像素实现彩色不同，FSC micro-LCD 移除了彩色滤光阵列。它通过在极短的时间内（通常以高速）顺序显示红、绿、蓝三帧单色图像，利用人眼的视觉暂留 (visual persistence) 效应，使大脑将这些快速切换的单色帧融合成全彩色图像。移除彩色滤光片不仅可以将理论分辨率提高三倍（因为每个像素都可以显示任一颜色，而不是被固定为某个子像素的颜色），还能显著提高光学效率，因为光线不再需要穿过具有吸收特性的彩色滤光片。
微透镜阵列 (Microlens Array, MLA): MLA 是由大量微小透镜（通常是球面或非球面）排布而成的阵列。在 LFD 中，MLA 放置在微显示器前方，其主要作用是将微显示器上每个元素图像 (elemental image) 的光线按照特定的角度进行投射或会聚，从而在空间中重构出光场，实现 3D 显示。
元素图像阵列 (Elemental Image Array, EIA): EIA 是指在 LFD 的微显示器上显示的一组经过编码的微小图像。每个微透镜下方对应一个或一组元素图像。这些元素图像并不是直接的场景画面，而是经过特殊渲染，包含了从不同虚拟视点看场景的视角信息。当光线通过 MLA 时，这些 EIA 的信息被解码并投射出去，形成 3D 光场。
物方远心光路 (object-space telecentric optical path): 远心光路是一种特殊的光学设计，其特点是主光线 (chief ray) 与光轴平行。在物方远心 (object-space telecentric) 光路中，从物平面上不同点发出的主光线在穿过光学系统后，到达像平面的主光线与光轴平行，或者说，光阑 (aperture stop) 位于物方焦点处。这确保了从物平面任何一点发出的主光线都垂直于物平面。这种设计的主要优点是：在物平面上，即使物体在轴向位置上略有移动，其图像的放大率也不会发生变化；同时，它可以显著抑制大视场下的像差，因为光线总是以接近垂直的角度入射到后续的光学元件。
调制传递函数 (Modulation Transfer Function, MTF): MTF 是衡量光学系统或成像系统性能的关键指标，它描述了系统传递不同空间频率（即图像细节的精细程度）的能力。MTF 曲线通常显示为空间频率的函数，其值介于 0 到 1 之间。MTF 值越高，表示系统在特定空间频率下传递图像细节的能力越强，图像就越清晰。在评估 VR 显示器的图像质量时，MTF 是一个重要的客观指标。
重构深度平面 (Reconstructed Depth Plane, RDP): 在 LFD 中，RDP 是指光场在三维空间中被重建出来，并呈现出清晰图像的特定深度平面。通过改变 MLA 与微显示器之间的相对距离，或者通过计算渲染 EIA 时调整其“焦点”，可以改变 RDP 的位置，从而实现不同深度的物体清晰显示。
中心深度平面 (Central Depth Plane, CDP): CDP 是 LFD 中微透镜阵列 (MLA) 的原生像平面 (native image plane)。当 MLA 处于其设计焦距处时，LFD 在 CDP 上能够提供最高的图像分辨率和最佳的光场重构质量。当 RDP 偏离 CDP 时，由于离焦效应，图像质量会逐渐下降。

3.2. 前人工作

解决 VAC 的传统方法及其局限性:
- 机械移动透镜: 通过物理移动透镜来改变虚拟图像距离。缺点是系统复杂、响应速度慢，且无法同时支持场景中多个深度平面。
- 插入变焦元件 (如 LC lens): 例如使用液晶透镜来动态调整焦距。缺点是只能进行屈光度调整，无法呈现真 3D 场景，且增加了系统的复杂性。
无 VAC 技术的其他方案:
- Maxwellian view display (麦克斯韦视图显示): 通过将图像直接投射到视网膜，确保图像始终在焦点上。缺点是依赖于固定的瞳孔位置，显著限制了眼动范围。
- Holographic display (全息显示): 通过记录和再现波前信息，能够实现真 3D 显示。缺点是光学系统通常需要相干光源，难以满足近眼显示对紧凑性的要求。然而，最近的研究（如 [4]）通过将 AI 驱动的数字全息技术集成到带超表面耦合光栅 (metasurface coupling gratings) 的紧凑波导中，实现了无 VAC 的波导增强现实 (AR) 眼镜，代表了近眼全息显示领域的突破。尽管如此，VR 仍需要更经济实惠的无 VAC 解决方案。
传统 LFD 作为近眼显示的问题:
- 分辨率下降: 直接将微显示器与 MLA 结合作为近眼 LFD，会因为 MLA 对像素的显著放大而导致视觉分辨率急剧下降 [6]。
- FOV 限制: MLA 通常具有规则的球面轮廓，当光线以大角度斜入射时，会产生严重的像差，从而严格限制 FOV [7]。
现有 FOV 扩展 LFD 方案:
- 自由曲面棱镜 (freeform prism) 与可调透镜 (tunable lens) 结合: Hua et al. 提出了一种结合自由曲面棱镜和可调透镜的 FOV 扩展近眼 LFD 方案 [8]。然而，这种基于自由曲面棱镜的 VR 架构往往比当前的 Pancake 解决方案体积更大。

3.3. 技术演进

VR 显示技术的发展历程一直在寻求高沉浸感、舒适度和紧凑性之间的平衡。早期的 VR 头显主要关注 FOV 和图像质量，但普遍忽视了 VAC 问题。随着对用户体验要求的提高，真 3D 显示和 VAC 消除成为研究热点。LFD 技术应运而生，提供了真 3D 的潜力，但其自身在分辨率和 FOV 方面的限制阻碍了其大规模应用。同时，Pancake 光学系统因其紧凑性和大 FOV 而成为主流 VR 头显的光学骨干。

本文的工作代表了 VR 技术演进中的一个重要步骤，它试图融合两种主流技术（LFD 和 Pancake）的优势，并通过创新的光学设计（远心光路）和显示技术（FSC micro-LCD）来弥补各自的短板。这种集成和优化不仅解决了 VAC，还保持了 Pancake 的紧凑性和宽 FOV，并提升了 LFD 的分辨率，从而推动 VR 显示向更真实、更舒适的方向发展。

3.4. 差异化分析

与传统 Pancake VR 相比: 本文方案通过引入 LFD 引擎，彻底解决了传统 Pancake VR 无法避免的 VAC 问题，实现了真 3D 深度感知，这是其最核心的差异。传统 Pancake 只能提供固定距离的虚拟图像，而本文方案能提供可调节深度的虚拟图像。
与直接使用 LFD 作为近眼显示相比:
- FOV 优势: 本文方案通过将 LFD 引擎置于 Pancake 的物方远心光路中，有效解决了 LFD 因 MLA 像差导致的大 FOV 下图像质量下降的问题，实现了 68.6 度的宽 FOV，远超单独 LFD 的 FOV 限制（原文 Fig. 4 显示直接近眼 LFD 在 10 度 FOV 以外图像就无法形成）。
- 分辨率优势: 采用 FSC micro-LCD 显著提升了显示分辨率和光学效率，弥补了 LFD 固有的分辨率牺牲。
与基于自由曲面棱镜的 LFD 方案 [8] 相比: 本文方案通过利用 Pancake 光学系统，保持了 VR 头显的紧凑性，而自由曲面棱镜方案通常会导致更大的体积。
与机械或电子变焦方案相比: 本文方案能够在一个场景中同时呈现多个深度平面（通过光场渲染），而机械变焦或 LC lens 只能在不同时间点调整到单一焦平面，无法提供真 3D 场景。

4. 方法论

4.1. 方法原理

本文的核心思想是构建一个无 VAC (Vergence-Accommodation Conflict, 调节-辐辏冲突) 的 Pancake 虚拟现实 (VR) 头显。这通过将一个光场显示 (Light Field Display, LFD) 引擎作为图像生成的核心单元，与Pancake 光学系统 (Pancake optics) 相结合来实现。LFD 引擎负责生成具有计算焦距线索 (computational focus cues) 的中间图像，这些中间图像包含了场景的深度信息。Pancake 模块则作为光学中继，将这些带有深度信息的中间图像转换为人眼感知的具有真实深度变化的虚拟图像。为了克服 LFD 固有的分辨率和视场 (Field of View, FOV) 限制，论文引入了高分辨率的场序彩色微型液晶显示器 (FSC micro-LCD) 和物方远心光路 (object-space telecentric optical path) 设计。

4.2. 核心方法详解

4.2.1. 微显示面板 (Microdisplay panel)

挑战： 传统的 LFD 中，微显示器上的像素需要同时编码角度信息和空间信息。这意味着每个物理像素不仅仅代表一个点的颜色，还需要通过微透镜阵列 (Microlens Array, MLA) 传递不同视角的微小图像。这种编码方式使得 LFD 在视觉分辨率上存在固有的牺牲。为了获得高分辨率的 3D 图像，需要极高像素密度的微显示器。
解决方案： 本文采用了一块 2.1英寸、2.3Kx2.3K 分辨率的场序彩色微型液晶显示器 (FSC micro-LCD) [10]。
- 场序彩色 (Field-Sequential Color, FSC) 技术： 这种技术通过移除传统的彩色滤光阵列来实现彩色显示。它利用人眼的视觉暂留 (visual persistence) 效应，以极高的速度（例如，每帧分红、绿、蓝三个子帧）顺序显示单色图像。人眼将这三个快速切换的子帧融合为全彩色图像。
- 优势：
  - 分辨率提升： 移除彩色滤光阵列意味着每个物理像素不再被分割成红、绿、蓝子像素，而是可以显示任意颜色。这使得显示器的理论分辨率可以提升三倍。
  - 光学效率提升： 彩色滤光片会吸收部分光线，导致光学效率下降。移除滤光片后，光学效率得以显著提高。这一点对于 Pancake 光学系统尤为重要，因为 Pancake 本身因多次反射而存在较低的光学效率。
- 色分离 (Color breakup) 问题： FSC 技术可能存在色分离问题。论文提到，他们之前的研究 [11] 已通过深度学习方法显著抑制了这一问题。

4.2.2. 扩大视场 (Expanded FOV)

挑战： 如果直接将微显示器与 MLA 组合成近眼 LFD，会面临一个严重的 FOV 限制问题。如 Fig. 4 所示，当视场角增大时，光线会以非常斜的角度入射到 MLA 上。由于 MLA 通常由球面微透镜组成，这种斜入射会导致严重的像差 (aberration)。模拟结果显示，当单侧 FOV 超过 10 度时，图像就无法形成或视觉分辨率急剧下降。

该图像是图表，展示了宽视场3D Pancake VR中的光场显示引擎的分辨率随视场角变化的趋势。在图(b)中，分辨率（PPD）与视场（度）之间的关系以曲线形式呈现，图(c)则显示了不同视场角下的光斑分布情况。

Fig. 4. (a) 直接近眼 LFD 的仿真模型；(b) 视觉分辨率随视场下降，说明 FOV 受像差限制；(c) 不同视场下的点扩散函数 (Point Spread Function, PSF)。
解决方案： 利用 Pancake 光学系统固有的物方远心光路 (object-space telecentric optical path) 来解决 LFD 的 FOV 限制。
- 原理： Pancake 光学系统通过将光阑 (aperture stop)（通常是人眼瞳孔）定位在透镜模块的像方焦点 (image-space focal point) 处，从而实现物方远心。这意味着从微显示面板（作为物面）发出的所有主光线都将垂直于物平面。
- 集成与作用： 当 LFD 引擎生成的中间图像作为 Pancake 模块的“物”时，所有光线都以接近垂直的角度入射到 MLA 上。这样，无论 FOV 有多大，MLA 中的微透镜都工作在近轴区域 (near-paraxial rays)，从而显著抑制了由斜入射引起的像差，使得在大 FOV 下也能保持低像差和高图像质量。
- 图示： Fig. 5 展示了 Pancake 的物方远心光路如何使得 MLA 上的光线近似平行，从而抑制像差。
  
  该图像是一个示意图，展示了通过FSC-LCD生成中间图像的过程，其中标示了光路从微型液晶显示器(Micro-LCD)经过MLA至瞳孔的路径，说明了Pancake VR系统的结构与工作原理。
Fig. 5. Pancake 的物方远心光路及其抑制 LFD 引擎中由斜入射光线引起的像差的优势。

4.2.3. `Pancake` 与 `LFD` 引擎的匹配 (Matching between Pancake and the LFD engine)

挑战：
1. Pancake 模块的限制： Pancake 模块通常针对一个特定的虚拟图像距离进行优化。当 LFD 引擎通过调整中间图像的位置来改变虚拟图像距离时，可能会引入残余像差，导致图像质量下降。
2. LFD 引擎的限制： LFD 引擎的图像质量本身也随深度变化。在中心深度平面 (Central Depth Plane, CDP)（MLA 的原生像平面）处，图像分辨率最高。随着重构深度平面 (Reconstructed Depth Plane, RDP) 远离 CDP，由于离焦 (defocus)，图像质量会降低。
解决方案： 为了在多个深度平面上实现平衡的图像质量，需要对 LFD 引擎和 Pancake 模块进行精心匹配，以找到一个折衷的光学配置。
- Pancake MTF 模拟：
  - 使用 Zemax 软件模拟了 Pancake 模块的调制传递函数 (Modulation Transfer Function, MTF) 随虚拟图像距离的变化 (Fig. 6(a))。结果显示，MTF 随图像深度变化显著。
  - 通过将微显示器放置在 Pancake 的原生物平面左侧并改变其位置，并通过刀口法（knife edge）测量 MTF。对于原生物平面右侧，由于微显示器无法“浸入” Pancake 模块，MTF 通过预测得到。
- LFD MTF 模型：
  - 根据高斯公式，LFD 引擎在 CDP 处提供最高分辨率。图像质量会因 RDP 远离 CDP 导致的离焦以及横向放大率 (transverse magnification) 变化而降低。
  - 论文给出了考虑离焦和放大率的 LFD 决定的 MTF 公式 (Eq. 1)： $\begin{array}{rl} & {\mathrm{MTF} = \left\{\hat{\mathbf{P}} (\mathbf{s},\mathbf{t})\otimes \hat{\mathbf{P}} (\mathbf{s},\mathbf{t})\right\} \cdot \mathrm{sinC}\left(\frac{\mathbf{g}}{\mathrm{P}}\right),}\\ & {\mathrm{where}\hat{\mathbf{P}} (\mathbf{s},\mathbf{t}) = \mathbf{P}(\mathbf{s},\mathbf{t})\mathrm{exp}\left[\mathrm{i}\mathbf{k}\cdot \left(\frac{\mathbf{G}}{\mathrm{CDP}} -\frac{\mathbf{1}}{\mathrm{I_{RDP}}}\right)\frac{\mathbf{s}^{2} + \mathbf{t}^{2}}{2}\right]} \end{array} \quad (1)$
    - 符号解释:
      - $\mathrm{MTF}$ : 调制传递函数，衡量图像细节的清晰度。
      - $\hat{\mathbf{P}} (\mathbf{s},\mathbf{t})$ : 考虑离焦或相移效应后的瞳函数 (pupil function)。
      - $\mathbf{s}$ , $\mathbf{t}$ : 在 MLA 上的瞳孔坐标 (pupil coordinates)。
      - $\otimes$ : 卷积运算符。
      - $\mathrm{sinC}(x) = \frac{\sin(\pi x)}{\pi x}$ : 采样函数 (sinc function)。
      - $\mathbf{g}$ : 像素网格 (pixel grid)。
      - $\mathrm{P}$ : 像素间距 (pixel pitch)。
      - $\mathbf{P}(\mathbf{s},\mathbf{t})$ : MLA 的原生瞳函数。
      - $\mathrm{i}$ : 虚数单位。
      - $\mathbf{k}$ : 波数 (wave number)。
      - $\mathbf{G}$ : 从 MLA 到 CDP 的距离。
      - $\mathrm{CDP}$ : 中心深度平面 (Central Depth Plane)，即 MLA 的原生像平面。
      - $\mathrm{I_{RDP}}$ : 从 MLA 到重构深度平面 (Reconstructed Depth Plane) 的距离。
      - $\mathbf{s}^{2} + \mathbf{t}^{2}$ : 径向距离的平方，在指数项中用于表示离焦。
- 匹配配置： Fig. 6(b) 展示了 LFD 和 Pancake 模块的图像质量匹配策略。为了平衡不同深度平面的图像质量，LFD 引擎的 CDP 被有意地放置在 Pancake 模块中一个图像质量相对较差但可接受的物平面上。这样可以避免在 CDP 处图像质量过好而在其他深度处迅速恶化，从而在整个可变深度范围内实现更均匀的图像质量。
  
  该图像是插图，包含两部分内容。部分 (a) 展示了不同距离（0.1m, 0.5m, 1m, 2m）下的调制传递函数（MTF）随空间频率变化的曲线图。部分 (b) 左侧是一个示意图，描述了光场显示器的光学路径，右侧是不同距离下（以 CDP 为基准）的分辨率变化曲线（包括模拟和实验数据）。底部为10个不同图像的排列，可能展示实验结果或图像清晰度的比较。
Fig. 6. (a) Pancake 的 MTF 随虚拟图像距离的变化。(b) Pancake 与 LFD 引擎之间的图像质量匹配。

4.2.4. `LFD` 引擎的图像渲染 (Image rendering for the LFD engine)

目标： 调整 RDP 的深度，从而改变虚拟图像的焦点。
方法： 采用基于视点的投影 (viewpoint-based projection) 进行 EIA 渲染。
- 渲染过程： 每个微透镜被视为一个虚拟相机，用于捕捉目标 3D 场景。通过这种方式，可以为每个微透镜生成一个独特的“元素图像”。
- 显示与重构： 当这些生成的 EIA 在微显示器上显示时，MLA 会对光线方向进行精确操纵，将这些元素图像反向投影 (inversely project) 到指定的深度平面上。通过改变渲染 EIA 时所设定的深度参数，可以有效地调整 LFD 引擎所重构的 RDP 的深度。
加速方法： 论文还提及其先前的研究 [13] 报告了一种使用成本计算复杂度 (cost computational complexity) 的加速渲染方法，以提高渲染效率。

5. 实验设置

5.1. 数据集

论文没有使用传统意义上的标准数据集。实验通过构建一个原型系统，并生成一个包含两个位于不同深度的物体的虚拟场景来验证所提出的 VR 系统的 3D 显示能力和 FOV。

场景描述: 该虚拟场景包含两个物体，一个作为前景物体，一个作为背景物体。
样本示例: Fig. 7(b) 展示了用于该场景的元素图像阵列 (Elemental Image Array, EIA)。

该图像是图示，展示了宽视场3D Pancake VR 技术的原理和应用示例。图 (c) 和 (d) 展示了不同焦点下的图像效果，分别为清晰和模糊的卡通猫咪图像，表明 FOV 为 68.6 度， $FOV: 68.6^ ext{°}$ 。

Fig. 7. (a) 实验装置；(b) 样本场景的 EIA；(c) 和 (d) 在两个深度平面上重建的图像和测量的 FOV。

5.2. 评估指标

论文主要通过以下指标来评估系统的性能：

视场 (Field of View, FOV):
1. 概念定义: 视场是用户通过显示设备能够观察到的场景范围，通常以角度度数衡量。在 VR 应用中，宽 FOV 是提供沉浸式体验的关键因素。
2. 数学公式: 论文中未直接给出 FOV 的计算公式，但说明是通过相机的规格参数和图像传感器上捕获的图片尺寸进行测量。通常，FOV 可以通过以下简化公式估算，用于计算水平或垂直视场： $\mathrm{FOV} = 2 \cdot \arctan\left(\frac{W}{2 \cdot f}\right)$
3. 符号解释:
  - $\mathrm{FOV}$ : 视场角，以弧度或度数表示。
  - $W$ : 图像传感器上图像的尺寸（宽度或高度）。
  - $f$ : 相机镜头或光学系统的有效焦距。
图像质量 (Image Quality):
1. 概念定义: 图像质量是一个综合性指标，衡量图像的清晰度、细节表现、对比度、色彩准确性以及是否存在像差和畸变等。在本文中，主要通过调制传递函数 (Modulation Transfer Function, MTF) 进行客观评估，并通过视觉观察重建图像的清晰度 (sharpness) 和模糊程度 (blur) 进行主观判断。
2. 数学公式: 论文中给出了 LFD 决定的 MTF 公式 (Eq. 1)，具体形式已在“4. 方法论”中详述。对于 Pancake 的 MTF，则通过 Zemax 仿真和刀口法（knife edge）实验获得。
3. 符号解释: MTF 公式中的符号已在“4. 方法论”中详尽解释。
调节-辐辏冲突 (VAC) 解决能力:
1. 概念定义: VAC 是指人眼辐辏和调节机制之间的不匹配。解决 VAC 意味着系统能够为不同深度的虚拟物体提供正确的焦点线索，使得用户在观察近距离物体时能调节到近处，观察远距离物体时能调节到远处。
2. 评估方式: 通过展示系统能够计算可调地将焦点放置在虚拟场景中的不同深度平面上，并在相机捕获图像中体现出这些焦点的变化（前景清晰背景模糊，或背景清晰前景模糊），来验证 VAC 解决能力。

5.3. 对比基线

论文主要在概念和技术原理层面与现有技术进行对比，而不是进行具体的定量性能对比。

概念性对比基线:
- 传统 Pancake VR: 作为主流的紧凑型 VR 光学方案，但存在 VAC。
- 直接 LFD 近眼显示: 能够解决 VAC，但存在 FOV 限制和分辨率问题。
- 其他 VAC 解决方案: 例如机械移动透镜、变焦元件、Maxwellian view display、全息显示，这些方案各有优缺点，本文方案旨在提供一个更优的折衷。
  
  论文的实验部分主要关注对其自身方案的验证，即证明其能够同时实现宽 FOV、真 3D（无 VAC）和高分辨率。

6. 实验结果与分析

6.1. 核心结果分析

原型系统构建: 论文构建了一个原型系统来验证其设计理念。该系统包括一个 1500 ppi (pixels per inch) 的 FSC micro-LCD、一个微透镜阵列 (MLA)（透镜间距为 1 mm）以及一个商用 Pancake 模块。在光学配置上，Pancake 模块的设计物平面被放置在距离 LFD 的中心深度平面 (CDP) 6 mm 处，这一配置是为实现最佳图像质量而优化的。

该图像是图示，展示了宽视场3D Pancake VR 技术的原理和应用示例。图 (c) 和 (d) 展示了不同焦点下的图像效果，分别为清晰和模糊的卡通猫咪图像，表明 FOV 为 68.6 度， $FOV: 68.6^ ext{°}$ 。

Fig. 7(a) 展示了实验装置的实物图。值得注意的是，LFD 引擎额外增加了 2.1 cm 的光学路径。尽管这增加了头显的厚度，但论文认为对于近眼显示应用来说，这是可接受的牺牲。
真 3D 特性验证 (解决 VAC): 为了验证系统能够提供计算可调的虚拟图像深度，从而实现真 3D 显示并解决调节-辐辏冲突 (VAC)，研究人员使用智能手机相机（焦距 5.5 mm）通过 Pancake 模块捕获了虚拟图像。
- 前景聚焦: Fig. 7(c) 展示了当相机聚焦在前景物体时（该物体重构在 LFD 的 CDP 上，距离 MLA 9.7 mm），前景物体（左侧的猫）呈现出清晰的细节，而背景物体（右侧的猫）则因离焦而模糊，并以可见的子视图形式出现。
- 背景聚焦: Fig. 7(d) 展示了当相机聚焦在背景物体时（该物体重构在距离 MLA 16 mm 的图像平面上），背景物体变得清晰，而前景物体则因离焦而模糊。这两个结果明确验证了系统能够提供计算可调的虚拟图像距离，即用户可以根据虚拟场景中物体的深度来改变眼睛的调节焦点，这正是真 3D 显示的关键特征，并有效解决了 VAC。尽管背景物体是略微离焦的光线重构的，但由于该中间重构深度平面 (RDP) 被有意地放置在 Pancake 模块具有更好调制传递函数 (MTF) 的物平面上，因此仍能保持可接受的清晰度，体现了设计中的光学匹配策略。
宽 FOV 验证: 通过相机的规格和图像传感器上捕获的图片尺寸，实验测量得到系统的视场 (FOV) 达到了 68.6 度。
- 这一结果接近所使用的 Pancake 模块的原始 FOV。
- 更重要的是，它显著大于单独使用 LFD 引擎时的 FOV 限制（根据 Fig. 4，单独 LFD 的单侧 FOV 超过 10 度就会出现严重像差）。这有力地证明了物方远心光路 (object-space telecentric optical path) 设计在解决 LFD 像差 (aberration) 问题和实现宽 FOV 方面的有效性。
光学匹配的有效性: Fig. 6(b) 展示了 Pancake 和 LFD 引擎在不同虚拟图像距离下的 MTF 曲线。通过将 LFD 引擎的 CDP 放置在 Pancake 模块的特定物平面上，实现了两者的折衷匹配。实验结果（即在不同深度下都能获得清晰图像）表明这种匹配策略是成功的，它使得系统能够在多个深度平面上提供平衡的图像质量。

6.2. 数据呈现 (表格)

论文中未提供需要转录的表格数据。所有实验结果和分析均通过文字描述、示意图和实验图片进行呈现。

6.3. 消融实验/参数分析

论文中未明确提及进行消融实验或详细的参数分析。然而，通过 Fig. 6 中展示的 MTF 曲线，作者分析了 Pancake 模块和 LFD 引擎在不同工作条件下的图像质量特性。这种分析是系统设计和匹配的基础，确保了在不同虚拟图像深度下实现平衡的图像质量，可以看作是设计参数选择和优化的过程。

7. 总结与思考

7.1. 结论总结

本文成功提出并验证了一种创新的真 3D Pancake VR 头显方案。通过将光场显示 (LFD) 引擎与 Pancake 光学系统巧妙集成，该方案有效解决了传统 Pancake VR 固有的调节-辐辏冲突 (VAC) 问题，实现了计算可调的虚拟图像深度，从而提供了真实的 3D 深度感知。为了克服 LFD 在近眼显示中遇到的分辨率和视场 (FOV) 限制，论文采用了高分辨率的场序彩色微型液晶显示器 (FSC micro-LCD)，并创新性地利用了 Pancake 光学系统的物方远心光路 (object-space telecentric optical path) 特性。原型系统的实验结果表明，该系统能够实现 68.6 度的宽 FOV，并在两个不同的深度平面上重建出清晰的图像。尽管为了实现这些优势，系统增加了 2.1 cm 的额外光学路径，但这一代价被认为是可接受的。

7.2. 局限性与未来工作

局限性:
- 体积增加: 论文明确指出，为了实现真 3D 和宽 FOV，LFD 引擎引入了 2.1 cm 的额外光学路径。在追求极致轻薄和紧凑的 VR 设备背景下，这仍然是一个需要权衡的因素。
- 图像质量的量化细节: 尽管通过 MTF 曲线进行了分析，但对于不同深度和 FOV 下的图像质量（如畸变、色差、对比度）缺乏更全面的量化评估。
- 渲染计算复杂性: LFD 的元素图像阵列 (EIA) 渲染通常计算量较大，尤其是在高分辨率和高帧率的 VR 应用中。虽然论文提及了加速渲染方法，但未详细讨论其对实时性、计算资源消耗和延迟的影响。
未来工作: 论文未明确列出未来工作。基于其局限性和研究方向，可能的未来工作包括：
- 优化系统体积和重量: 进一步探索更紧凑的光学设计或新型材料，以减少 LFD 引擎带来的额外光学路径，同时保持甚至提升性能。
- 全面的图像质量评估: 进行更详细、更全面的客观图像质量指标（如像差、畸变、分辨率均匀性、色彩准确性）的量化评估。
- 实时渲染算法的优化: 深入研究更高效、低延迟的 EIA 渲染算法，使其能够满足高分辨率和高帧率 VR 游戏的实时需求。
- 用户体验研究: 进行大规模的用户主观感知研究，评估 VAC 消除的实际效果、 3D 深度感知的真实性、长时间佩戴的舒适度以及可能存在的视觉疲劳等。
- 与新显示技术的结合: 探索与更先进的微显示技术（如 Micro-LED）或可重构光学元件的结合，以进一步提升显示性能。

7.3. 个人启发与批判

个人启发:
- 集成创新思路: 这篇论文提供了一个非常好的集成创新范例。它没有试图发明全新的显示原理，而是巧妙地结合了现有两种成熟技术（Pancake 光学和 LFD），并针对各自的短板提出了有效的解决方案。这种“组合拳”的思路在解决复杂工程问题时具有很强的借鉴意义。
- 光学系统设计的重要性: 论文强调了光学设计在解决显示性能瓶颈（如 FOV 限制和像差）中的关键作用。特别是对物方远心光路的利用，展示了深入理解光学原理如何能带来颠覆性的改进。
- 硬件与算法协同: 从 FSC micro-LCD 提升分辨率到 EIA 渲染的计算，再到光学匹配，整个方案是硬件、光学设计和算法紧密协同的成果，这对于开发高性能复杂系统至关重要。
批判:
- 缺乏主观评估: 尽管客观光学性能（FOV，聚焦能力）得到了验证，但 VR 的最终体验是高度主观的。论文缺乏对用户舒适度、沉浸感、VAC 消除感知效果等方面的用户研究和主观评估，这使得其在实际用户体验上的优势说服力略显不足。
- 系统复杂性和成本: 将 LFD 引擎与 Pancake 模块结合，不可避免地增加了系统的光学元件数量和复杂性，这可能导致更高的制造成本和更严格的组装公差要求。论文对此未进行探讨。
- 动态场景下的性能: 论文主要通过静态图像来验证 3D 效果。在快速运动的动态 VR 场景中，FSC 技术的色分离（尽管有所抑制）以及 LFD 渲染的延迟可能会对用户体验造成影响。
- 功耗问题: FSC micro-LCD 结合迷你 LED RGB 背光可能带来较高的功耗，尤其是在高亮度需求下，这对于电池供电的便携式 VR 头显来说是一个挑战。
- 与最新技术的比较： 尽管论文引用了一些近期工作，但如果能与当前市面上或实验室中其他最先进的 VAC 解决方案（例如，基于眼动追踪的动态焦距调整系统、多焦平面显示器等）进行更直接、更全面的性能比较，将更能凸显其优势和竞争力。

Wide-FOV 3D Pancake VR Enabled by a Light Field Display Engine

TL;DR 精炼摘要

摘要

思维导图

论文精读

中文精读约 27 分钟读完 · 13,718 字