Modeling light propagation for under-display sensing in a smartphone
AI 审稿
查看结构化的 AI 审稿意见
paper.reviews.ctaSubtitle
已完成:2
TL;DR 精炼摘要
本研究提出基于菲涅尔数的通用模型,精确识别并分类智能手机屏下传感器(ALS、UDC、接近传感器)的光传播模式。该模型利用几何光学、夫琅禾费及菲涅尔衍射理论进行建模,并经商用手机实验验证,揭示像素布局对ALS视场和UDC成像的影响,且优化了接近传感器方向(45度最佳),为UDS设计提供理论指导。
摘要
Research Article Vol. 33, No. 15 / 28 Jul 2025 / Optics Express 30847 Modeling light propagation for under-display sensing in a smartphone Q IMENG W ANG , Y I L IU , G UOWEI Z OU , Z IHAO L IANG , H AOTENG L IU , B O -R U Y ANG , AND Z ONG Q IN * School of Electronics and Information Technology, Guangdong Province Key Laboratory of Display Material and Technology, State Key Laboratory of Optoelectronic Materials and Technologies, Sun Yat-Sen University, 132 East Waihuan Rd., Guangzhou 510006, China * qinzong@mail.sysu.edu.cn Abstract: Under-display sensing (UDS) is essential to achieve bezel-less smartphones (infinity display). However, light penetrating or reflected by the display panel is distorted, deteriorating UDS signals. Therefore, light propagation should be accurately modeled to analyze and optimize UDS. This study proposes a universal model that recognizes the light propagation mode using the Fresnel number. Under-display ambient light sensors (ALS), under-display cameras (UDC), and proximity sensors are identified to work in the geometric optics, Fraunhofer diffraction, and Fresnel diffraction regimes, respectively. A commercial smartpho
思维导图
论文精读
中文精读
1. 论文基本信息 (Bibliographic Information)
- 标题 (Title): 智能手机屏下传感的光传播建模 (Modeling light propagation for under-display sensing in a smartphone)
- 作者 (Authors): Qimeng Wang, Yi Liu, Guowei Zou, Zihao Liang, Haoteng Liu, Bo-Ru Yang, and Zong Qin
- 隶属机构 (Affiliation): 中山大学电子与信息技术学院,光电材料与技术国家重点实验室,广东省显示材料与技术重点实验室 (School of Electronics and Information Technology, Guangdong Province Key Laboratory of Display Material and Technology, State Key Laboratory of Optoelectronic Materials and Technologies, Sun Yat-Sen University)
- 发表期刊/会议 (Journal/Conference): Optica Publishing Group。根据论文格式和内容,这应是一篇发表在 Optica 旗下期刊的学术论文。
- 发表年份 (Publication Year): 2025 (根据论文内容标注)
- 摘要 (Abstract): 屏下传感 (UDS) 是实现无边框智能手机(全面屏)的关键技术。然而,穿透或被显示面板反射的光线会发生畸变,导致 UDS 信号质量下降。因此,需要精确地为光传播建模以分析和优化 UDS。本研究提出了一个通用模型,利用菲涅尔数来识别光传播的模式。研究确定了屏下环境光传感器 (ALS)、屏下摄像头 (UDC) 和接近传感器分别工作在几何光学、夫琅禾费衍射和菲涅尔衍射区。研究采用一款商用智能手机来验证模型的有效性并提供领域知识。首先,针对屏下 ALS 的角度响应衰减问题,在获取显示面板显微照片后,模拟了像素布局造成的几何遮挡。测量数据与模拟结果吻合,半高全宽视角的误差小于10度。其次,使用夫琅禾费衍射模拟了 UDC,生成了包含像素布局衍射模糊的全彩图像,与实际照片高度相似。最后,菲涅尔衍射主导了使用弱准直红外光束的屏下接近传感器。探测器上信号的一个近似解是一个按比例缩放的夫琅禾费衍射图样,其放大倍数由传感器配置决定。研究模拟并对比了光源-探测器方向对背景噪声(无用户时信号水平)的影响,实验数据验证了45度为最佳方向。研究还通过仿真和实验探究了传感器与显示面板间隙的影响,证明了菲涅尔衍射模型比几何光学或夫琅禾费衍射模型更有效。该模型在商用智能手机上得到了坚实的实验验证,有助于合理设计 UDS,并为智能手机中的光传播问题提供深刻见解。
- 原文链接 (Source Link): 论文 PDF 位于
/files/papers/68e62e5303be06a1c585f06e/paper.pdf,目前状态为已发表。
2. 整体概括 (Executive Summary)
-
研究背景与动机 (Background & Motivation - Why):
- 核心问题: 为了实现真正的全面屏手机,环境光传感器、前置摄像头、接近传感器等元器件需要被放置在显示面板下方,即屏下传感 (Under-Display Sensing, UDS)。然而,显示面板本身复杂的像素结构(如黑色矩阵
BM、像素定义层PDL)会遮挡、反射和衍射光线,严重影响屏下传感器的信号质量和准确性。 - 重要性与挑战: 现有的 UDS 技术,如屏下摄像头成像模糊、屏下环境光传感器角度响应变窄、屏下接近传感器存在严重背景噪声等,都是由显示面板对光的干扰造成的。以往的研究通常针对某一种特定的 UDS 采用独立的模型(如用几何光学解释 ALS,用夫琅禾费衍射解释 UDC),缺乏一个能够统一解释不同 UDS 现象的通用物理模型。这个空白(Gap)使得 UDS 的设计和优化过程更像是“试错”,而非基于物理原理的“理性设计”。
- 创新思路: 本文的切入点是回归光学传播的基本原理。作者提出,所有 UDS 系统都可以被抽象为一个“光源-光阑-接收器”的光学系统,而决定光传播模式(几何光学、菲涅尔衍射、夫琅禾费衍射)的关键物理量是菲涅尔数 (Fresnel number)。通过计算不同 UDS 场景下的菲涅尔数,可以准确地判断其主导的光学效应,从而建立正确的物理模型进行仿真和优化。
- 核心问题: 为了实现真正的全面屏手机,环境光传感器、前置摄像头、接近传感器等元器件需要被放置在显示面板下方,即屏下传感 (Under-Display Sensing, UDS)。然而,显示面板本身复杂的像素结构(如黑色矩阵
-
核心贡献/主要发现 (Main Contribution/Findings - What):
- 提出了一个基于菲涅尔数的通用 UDS 建模框架。 这是本文最核心的贡献。该框架不依赖于经验,而是通过一个统一的物理判据(菲涅尔数)来确定适用于特定 UDS 系统的光传播模型。
- 明确划分了三种主流 UDS 的光学工作区:
- 屏下环境光传感器 (ALS): 工作在几何光学区 (),其角度响应衰减主要由像素结构的几何遮挡引起。
- 屏下摄像头 (UDC): 工作在夫琅禾费衍射区 (),其成像模糊主要是由像素阵列作为衍射光栅产生的远场衍射效应。
- 屏下接近传感器 (Proximity Sensor): 工作在菲涅尔衍射区 (),其背景噪声(串扰)是由面板反射产生的近场衍射图样,而非简单的几何反射或远场衍射。
- 通过对一款商用智能手机的详尽实验,验证了该框架的有效性和准确性。 模拟结果与实验数据在所有三种 UDS 场景下都高度吻合,证明了该模型的实用价值。
- 为 UDS 优化提供了具体的、可操作的设计指导。 例如,通过模型优化了接近传感器的光源-探测器布局,找到了可将背景噪声降至最低的45度角。
3. 预备知识与相关工作 (Prerequisite Knowledge & Related Work)
-
基础概念 (Foundational Concepts):
- 屏下传感 (Under-Display Sensing, UDS): 指将各种传感器(如摄像头、光线传感器、接近传感器、指纹识别器等)集成在显示面板下方的技术,目的是为了实现更高的屏占比和一体化的外观设计。
- 光学传播的三种模式: 光在传播过程中表现出的行为,可以根据距离和尺寸关系分为三种主要模式。
- 几何光学 (Geometric Optics): 当光的波长远小于障碍物或孔径尺寸,且传播距离相对较近时,可以忽略光的波动性,认为光是沿直线传播的“光线”。此时,主要现象是遮挡和阴影。
- 夫琅禾费衍射 (Fraunhofer Diffraction): 也称为远场衍射。当光源和接收平面都距离衍射屏(如显示面板)无穷远时(或通过透镜实现),衍射图样是衍射屏孔径函数的傅里叶变换。其特点是衍射图样不随距离变化而改变形状,只会缩放。屏下摄像头就是典型应用。
- 菲涅尔衍射 (Fresnel Diffraction): 也称为近场衍射。当光源或接收平面至少有一个距离衍射屏有限远时,发生的衍射现象。其衍射图样会随着传播距离的变化而剧烈改变。屏下接近传感器属于此范畴。
- 菲涅尔数 (Fresnel Number, ): 一个无量纲参数,用于判断光传播属于哪个区域。其物理意义是,从光源发出的波前到达光阑边缘,再到接收点,这段路径与中心路径的光程差包含了多少个半波长。
其中, 是光阑(在本文中指像素的透光区域)的特征尺寸(半径), 是波长, 和
z'分别是光源和接收器到光阑的距离。-
:光程差很大,波动效应在宏观上被平均掉,表现为几何光学。
-
:光程差很小,波前近似为平面波,表现为夫琅禾费衍射。
-
:光程差不大不小,波动效应显著且复杂,表现为菲涅尔衍射。
上图展示了计算菲涅尔数的几何配置。光源 (Source) 和接收器 (Receiver) 分别距离光阑 (Display panel) 为 和 z'。光阑的半径为 。彩色的环带代表菲涅尔半波带,其数量直接关联菲涅尔数的大小。
-
-
前人工作 (Previous Works):
- 针对屏下摄像头 (UDC): 之前的研究(如作者自己团队的工作 [20, 21])已经成功地使用夫琅禾费衍射模型来模拟 UDC 的图像模糊问题,并通过该模型生成合成数据来训练图像恢复的深度学习网络 [3, 24-30]。
- 针对屏下环境光/指纹传感器: 其他研究 [7, 10] 则采用几何光学模型来分析传感器角度响应的衰减,认为这是由显示面板的黑色矩阵 (
BM) 和像素定义层 (PDL) 的几何遮挡造成的。 - 局限性: 现有工作是“割裂”的,为不同传感器使用不同的模型。特别是,几何光学无法解释屏下接近传感器中背景噪声随光源-探测器方向变化而变化的现象,这表明需要一个更底层的物理模型。
-
差异化分析 (Differentiation): 本文与以往工作的最大区别在于其通用性和系统性。它没有孤立地看待每一种传感器,而是提出了一个基于菲涅尔数的统一判据,将看似无关的各种 UDS 问题归结到同一个物理框架下。这使得 UDS 的分析从“对症下药”的经验模式,升级为“寻根溯源”的物理建模模式,为所有类型的 UDS 设计提供了普适的理论指导。
4. 方法论 (Methodology - Core Technology & Implementation Details)
本文的核心方法论是“三步走”:1. 识别模式 -> 2. 建立模型 -> 3. 仿真验证。
-
方法原理 (Methodology Principles):
- 核心思想是,任何 UDS 系统都可以被抽象为一个包含光源、光阑(显示面板的透光/反射区域)和接收器的光学系统。通过计算该系统的菲涅尔数 ,可以确定其主导的光传播模式。
-
方法步骤与流程 (Steps & Procedures):
1. 屏下环境光传感器 (Under-display ALS)
-
模式识别: ALS 的光源(环境光)可视为无穷远 (),但其光电探测器紧贴面板下方,距离
z'极小(如文中的 )。假设像素透光区尺寸 ,波长 ,计算出的菲涅尔数 ,远大于1。因此,主导模式是几何光学。 -
建模与仿真: 既然是几何光学,那么角度响应的衰减就来自于几何遮挡。仿真流程如下:
-
获取像素布局: 使用显微镜拍摄显示面板的透射照片,并将其二值化,得到精确的透光区域(光阑)分布。
-
计算有效接收面积: 对于一个给定的入射角 ,将传感器感光区域沿此方向投影到显示面板的底部,形成一个“接收区域”。
-
计算有效透光面积: 考虑面板厚度 ,将像素布局中的所有透光区域也沿入射方向 进行“拉伸投影”,形成一个“光传输通道”。
-
计算信号强度: “接收区域”与所有“光传输通道”的重叠面积,即为该角度下能够到达传感器的有效光通量。乘以一个 因子(朗伯余弦定律),即可得到该角度下的相对信号强度。遍历所有角度,即可得到完整的角度响应曲线。
上图详细解释了ALS的几何光学模型。(a) 展示了光线以不同角度穿过一个有厚度的孔径时,有效通光面积的变化。(b) 将ALS传感器沿入射光方向投影到屏幕上,形成“接收区域”。(c)和(d) 分别展示了单层和多层结构中,如何根据入射角和层厚度计算出实际的“光透射区域”。最终的信号强度由“接收区域”和“光透射区域”的重叠决定。2. 屏下摄像头 (Under-display Camera, UDC)
-
-
模式识别: UDC 的拍摄对象通常较远 ()。更关键的是,相机镜头会将位于其焦平面上的图像传感器“虚拟地”移动到无穷远处 ()。因此,菲涅尔数 ,远小于1。主导模式是夫琅禾费衍射。
-
建模与仿真: 在夫琅禾费衍射区,成像传感器上接收到的点扩散函数 (Point Spread Function, PSF) 是光阑(即像素透光区域的排布)的傅里叶变换的模平方。
- 获取像素布局: 同样通过显微镜拍摄并二值化,得到光阑函数。
- 计算PSF: 对光阑函数进行二维快速傅里叶变换 (FFT),取其模的平方,得到单色光的 PSF。由于衍射效应与波长相关(衍射角正比于波长),不同颜色的光的 PSF 大小不同(红光PSF最大,蓝光最小)。
- 模拟彩色图像:
-
将原始清晰图像(参考图像)分解为 R, G, B 三个通道。
-
分别计算 R, G, B 三个通道中心波长(如 700nm, 540nm, 440nm)对应的 PSF。
-
将每个通道的图像与对应颜色的 PSF 进行卷积操作,得到模糊后的 R, G, B 通道。
-
合并三个模糊后的通道,生成最终的模拟全彩模糊图像。
上图是UDC的光路示意图。来自远方的平行光(或物体的光)穿过屏幕 (Screen),然后被镜头 (Lens) 汇聚到图像传感器 (Image sensor) 上。由于传感器的位置在镜头的焦平面上,这构成了一个典型的夫琅禾费衍射光学系统。3. 屏下接近传感器 (Under-display Proximity Sensor)
-
-
模式识别: 接近传感器包含一个红外光源 (Tx) 和一个红外探测器 (Rx)。光源通常是弱准直的LED,其透镜会产生一个距离面板很近的虚像光源,因此 是一个有限的小值(文中计算为 )。探测器 (Rx) 为了有较大的接收角,通常将光电二极管放在透镜的焦平面上,等效于 。代入参数(, ),计算出菲涅尔数 。因此,主导模式是菲涅尔衍射。
-
建模与仿真: 菲涅尔衍射的精确计算非常复杂。本文采用了一个近似解:当入射波是球面波时(即光源在有限远处),在接收平面上的衍射图样可以近似为一个几何缩放后的夫琅禾费衍射图样。
- 等效光路: 将显示面板的反射过程展开,等效为一个透射过程。
- 计算缩放因子: 缩放因子(放大率) 由光源和探测器的几何位置决定。根据文中的推导,放大率 ,其中 是虚像光源到面板的距离, 是面板到探测器透镜的距离。文中计算出 。
- 模拟背景噪声:
-
获取面板底部的反射显微照片并二值化,得到反射光阑函数。
-
计算该光阑函数的夫琅禾费衍射图样(即远场 PSF)。
-
将此 PSF 按照缩放因子 进行缩放。
-
在缩放后的衍射图样上,根据 Tx 和 Rx 的实际相对位置和方向,计算落在 Rx 接收孔径内的总光强。这个光强就是背景噪声。通过旋转 Tx-Rx 的相对角度,即可模拟噪声随方向的变化。
上图解释了接近传感器的建模。(a)为传感器工作原理,部分红外光被面板直接反射回探测器,形成噪声。(b)为等效光路,Tx的虚像作为光源。(c)为面板底部的反射显微图及其二值化结果。(d)为模拟的缩放后衍射图样,标出了Tx和Rx的位置。(e)和(f)为噪声随角度变化的模拟与实验对比及实验装置。
-
-
5. 实验设置 (Experimental Setup)
-
数据集 (Datasets):
- 硬件平台: 实验主要基于一款商用智能手机 Vivo X70 Pro。通过拆解该手机,获得了其显示面板和屏下传感器模块。
- 像素布局数据: 使用显微镜分别拍摄了该手机面板的透射和反射照片,作为仿真模型的输入。
- 参考图像 (UDC): 使用了一张卡通猫的数字图像作为生成模糊图像的参照物。
- UDC 硬件替代: 由于无法直接控制商用手机的屏下摄像头,作者采用等效替代方案:将根据像素布局制作的物理掩模 (amplitude masks) 紧贴在一个独立的商用相机模组 (Sony IMX800) 前进行拍摄,以复现 UDC 的光学配置。
-
评估指标 (Evaluation Metrics):
- ALS: 半高全宽 (Full Width at Half Maximum, FWHM)。用于量化角度响应曲线的宽度,FWHM 越小,说明视角衰减越严重。
- UDC: 结构相似性指数 (Structural Similarity, SSIM)。用于定量评估模拟图像与实验拍摄图像的相似程度,SSIM 值越接近1,表示两者越相似。
- 接近传感器: 背景噪声强度 (Background noise intensity)。直接读取传感器输出的数值(任意单位 a.u.),用于比较不同配置下的噪声水平。
-
对比基线 (Baselines):
- ALS: 理想的朗伯余弦定律 (),即没有任何遮挡时的角度响应。
- UDC: 未经衍射的原始参考图像。
- 接近传感器:
- 几何光学模型(反平方定律): 如果是几何光学主导,噪声强度应随传感器-面板间隙的增大而遵循反平方定律快速衰减。
- 纯夫琅禾费衍射模型: 如果是纯夫琅禾费衍射,衍射图样不应随间隙变化,噪声强度应保持恒定。
6. 实验结果与分析 (Results & Analysis)
-
核心结果分析 (Core Results Analysis):
-
ALS 实验结果:
该图像为实验与模拟数据对比的图表和照片组合。图中(a)(b)(d)(e)为显示屏像素结构的显微图及其二值化处理,(c)(f)为对应角度响应的光强度实验值与模拟值曲线对比,显示实际测量与仿真数据较为一致;(g)为实验装置在不同入射角(0°、15°、45°)下的实拍照片,展示角度对测量结果的影响。
如上图 (c) 和 (f) 所示,无论是对于单层结构的 Vivo X70 Pro 面板还是更复杂的多层 COE 面板,模拟的角度响应曲线(蓝色虚线)与实验测量数据(红色实线)都高度吻合。FWHM 的模拟误差分别仅为 6.3 度和 9 度。这强有力地证明了几何遮挡是导致 ALS 角度响应衰减的主因,几何光学模型在此场景下是准确有效的。 -
UDC 实验结果:
该图像为多部分图表:(a)展示两种像素排列结构;(b)对应不同波长(700nm、540nm、440nm)的点扩散函数(PSF)模拟图;(c)为参考图片;(d)为基于前述模型的模拟结果,显示图像模糊效果,带放大细节;(e)为实际实验拍摄结果,并给出模拟和实验图像的结构相似性指标(SSIM),表明模拟与实验具有较好的一致性。
如上图 (d) 和 (e) 所示,对于两种不同的像素布局,通过夫琅禾费衍射模型模拟出的模糊图像与实验拍摄的照片在衍射条纹的形状、方向和颜色分布上都表现出极高的相似性。计算出的 SSIM 值分别为 0.82 和 0.84,定量地证实了模型的准确性。这表明夫琅禾费衍射是 UDC 图像退化的核心物理机制。
此外,在补充材料中,作者还用该模型成功解释了手机屏幕在强光下出现的“彩虹伪影”现象,进一步验证了模型的普适性。
该图像由四部分组成,属于插图和显微图。图(a)为示意图,展示光源发出光线透过智能手机屏幕并被人眼接收的过程;图(b)为智能手机屏幕像素的微观照片,标注了100微米比例尺;图(c)和图(d)分别为屏幕像素引起的光衍射图样,呈现彩色条纹和点阵状分布,反映不同光学传播效应。 -
接近传感器实验结果:
-
方向优化: 如图
images/8.jpg(e) 所示,模拟结果(红色虚线)准确预测了背景噪声强度随 Tx-Rx 方向角 变化的趋势:在 0 度和 90 度时噪声最大,在 45 度时噪声最小。实验数据(蓝色实线)完美地验证了这一预测。这不仅证实了菲涅尔衍射(近似为缩放的夫琅禾费衍射)模型的正确性,还直接为传感器布局优化提供了依据。 -
间隙影响分析:
该图像包含一个图表和一组实验装置照片。图表(a)显示了不同传感器与显示屏间隙(mm)下噪声强度的模拟值、实验值及反平方定律的变化趋势对比。照片(b)展示了实验中的智能手机显示面板与红外接收器的实际装置及间隙放大图,明确标注了显示面板和红外接收器的位置及两者间的间隙。
如上图 (a) 所示,实验测量到的背景噪声(蓝色曲线)随着传感器-面板间隙 的增大而平滑增加。这一趋势与菲涅尔衍射模型的模拟结果(红色曲线)相符,但与几何光学预测的急剧衰减(黑色虚线)以及纯夫琅禾费衍射预测的保持不变完全相反。这个实验可以说是对本文核心论点的“一锤定音”,无可辩驳地证明了屏下接近传感器的工作区确实是菲涅尔衍射区。
-
-
7. 总结与思考 (Conclusion & Personal Thoughts)
-
结论总结 (Conclusion Summary): 本研究成功地提出了一个基于菲涅尔数的通用物理模型,用于系统性地分析和建模智能手机中的各类屏下传感(UDS)系统。通过将 UDS 问题回归到基本的光学原理,该模型能够准确识别不同传感器(ALS、UDC、接近传感器)所处的不同光学传播区域(几何光学、夫琅禾费衍射、菲涅尔衍射),并建立相应的精确仿真。在一款商用智能手机上的大量实验验证了该模型的有效性和高准确性。这项工作为 UDS 技术的理性设计和性能优化提供了坚实的理论基础和强大的仿真工具。
-
局限性与未来工作 (Limitations & Future Work):
- 模型简化: 论文中使用的模型仍然存在简化。例如,在模拟 ALS 时,将多层结构视为简单的二值化层,导致了少量误差。更精细的 3D 光学建模可能会进一步提高精度。
- 颜色还原问题: 在模拟 UDC 时,使用 R/G/B 三个离散波长是近似处理,导致模拟图像存在一定的色差 (
color cast)。要实现精确的颜色还原,需要获取物体的完整反射光谱和相机的量子效率曲线,这在实际应用中非常困难。未来的工作可以通过结合图像处理算法来校正颜色。 - 菲涅尔衍射近似解的适用性: 论文中对菲涅尔衍射采用的“缩放的夫琅禾费衍射”是一个近似解,虽然在本场景中有效,但其普适性和精度边界有待进一步探讨。
-
个人启发与批判 (Personal Insights & Critique):
- 启发: 这篇论文最令人印象深刻的是其化繁为简、抓住问题本质的能力。面对多种看似不相关的 UDS 问题,作者没有陷入“头痛医头、脚痛医脚”的工程思维,而是通过一个核心物理量——菲涅尔数,建立了一个统一的、具有强大解释力的理论框架。这种从第一性原理出发解决复杂工程问题的思路非常值得学习。
- 应用价值: 该模型具有极高的产业应用价值。显示面板和传感器制造商可以利用该模型,在设计阶段就对不同的像素布局、传感器位置、间隙等参数进行快速仿真和优化,从而大大缩短研发周期,降低试错成本,开发出性能更优的 UDS 解决方案。
- 潜在改进: 虽然实验验证非常扎实,但如果能将该模型扩展到其他类型的 UDS,如屏下 3D 结构光(Face ID)或屏下光学指纹识别,将会使其通用性得到更全面的证明。特别是 3D 结构光,其包含主动照明和复杂的深度计算,用该模型来分析其散斑图样的畸变将会是一个非常有挑战性且有价值的研究方向。
相似论文推荐
基于向量语义检索推荐的相关论文。