1. 论文基本信息 (Bibliographic Information)

• 标题 (Title): DeepSeek-OCR: Contexts Optical Compression (DeepSeek-OCR: 上下文的光学压缩)
• 作者 (Authors): Haoran Wei, Yaofeng Sun, Yukun Li。他们均隶属于 DeepSeek-AI，这是一家专注于通用人工智能（AGI）研究的公司。
• 发表期刊/会议 (Journal/Conference): arXiv 预印本。这表示该论文尚未经过同行评审，是作者发布在公开平台上的初步研究成果，旨在快速分享和交流。
• 发表年份 (Publication Year): 2025年 (根据 arXiv 编号 2510.18234 推断，提交时间应为2025年10月)。
• 摘要 (Abstract): 论文提出了 DeepSeek-OCR，初步探索通过二维光学映射（将文本渲染成图像）来压缩长上下文的可行性。该模型由 DeepEncoder 和 DeepSeek3B-MoE-A570M 解码器组成。核心是 DeepEncoder，它能在处理高分辨率输入时保持低计算激活，并实现高压缩比，生成数量可控的视觉token。实验表明，当文本token数量是视觉token数量的10倍以内（即压缩比 < 10倍）时，模型的光学字符识别（OCR）精度可达97%。即使在20倍压缩比下，精度仍有约60%。这为历史长文本压缩和大型语言模型（LLM）的记忆遗忘机制等研究领域展示了巨大潜力。此外，该模型在 OmniDocBench 基准测试上，仅用100个视觉token就超越了 GOT-OCR2.0（256个token/页），并用少于800个视觉token击败了 MinerU2.0（平均6000+token/页）。在生产环境中，单张A100-40G GPU每天可处理20万页以上的文档，用于为LLM/VLM生成训练数据。
• 原文链接 (Source Link):
  • 原文链接: https://arxiv.org/abs/2510.18234v1
  • PDF 链接: https://arxiv.org/pdf/2510.18234v1.pdf
  • 发布状态: 预印本 (Preprint)。

2. 整体概括 (Executive Summary)

• 研究背景与动机 (Background & Motivation - Why):

  • 核心问题: 当前的大型语言模型 (LLMs) 在处理长文本时，面临巨大的计算挑战。其核心组件 Transformer 的自注意力机制 (Self-Attention) 的计算复杂度和内存占用随序列长度成二次方增长 (Quadratic Scaling, $O(n^2)$)，这使得处理成千上万甚至更长的token序列变得非常昂贵和低效。
  • 重要性与空白: 如何高效处理长上下文是LLM领域的一个核心难题。现有研究主要集中在优化模型架构（如稀疏注意力、状态空间模型）或通过检索增强等方式绕过长序列处理。而该论文提出了一个全新的视角：能否利用视觉模态作为文本信息的高效压缩媒介？ 理论上，一张包含大量文字的图片可以用远少于原始文本的视觉token来表示，从而实现“光学压缩”。这个方向的量化研究（即一个视觉token能承载多少文本信息）尚属空白。
  • 切入点/创新思路: 本文以光学字符识别 (OCR) 任务作为切入点，将文本渲染成图片（压缩过程），再由模型从图片中识别出文字（解压过程）。这个过程天然地构建了视觉与文本之间的压缩-解压映射，并且可以通过OCR的准确率来量化解压质量。这为研究“一张图片胜过千言万语”的压缩极限提供了一个理想的实验平台。

• 核心贡献/主要发现 (Main Contribution/Findings - What):

  1. 首次对“光学压缩”进行量化分析: 论文提供了全面的视觉-文本token压缩比研究。发现在10倍压缩比下，OCR解码精度可达97%；即使在20倍压缩比下，精度仍有约60%。这证明了用视觉压缩文本的可行性，并为大型模型处理长上下文提供了新的思路。
  2. 提出新型高效视觉编码器 DeepEncoder: 针对高分辨率图像处理中常见的计算量大、视觉token过多的问题，设计了 DeepEncoder。它通过串联“窗口注意力”和“全局注意力”组件，并在两者之间加入一个强大的卷积压缩器，实现了在处理高清图像时，既能保持较低的计算激活内存，又能输出极少量的视觉token。
  3. 开发并验证了 DeepSeek-OCR 模型的卓越性能与实用价值: 基于 DeepEncoder 和 DeepSeek3B-MoE 解码器，构建了 DeepSeek-OCR 模型。该模型在权威的文档解析基准 OmniDocBench 上，以显著更少的视觉token 实现了超越或媲美当前最先进（SOTA）模型的性能。此外，它具备极高的处理效率，能够大规模生成高质量的训练数据，展示了巨大的实际应用潜力。

3. 预备知识与相关工作 (Prerequisite Knowledge & Related Work)

本部分旨在为初学者铺垫理解论文所需的前置知识。

• 基础概念 (Foundational Concepts):

  • 大型语言模型 (Large Language Models, LLMs): 指基于海量文本数据训练的深度学习模型（如GPT系列），能够理解和生成人类语言。其核心架构通常是 Transformer。
  • 视觉语言模型 (Vision-Language Models, VLMs): 能够同时处理图像和文本的多模态模型。通常由一个视觉编码器 (Vision Encoder)（用于提取图像特征）和一个语言解码器 (Language Decoder)（通常是LLM，用于理解和生成文本）组成。
  • 光学字符识别 (Optical Character Recognition, OCR): 将图像中的打印或手写文本转换为机器可读的文本格式的技术。传统OCR通常分为文本检测和文本识别两个阶段，而现代端到端 (End-to-end) 模型能一步到位完成任务。
  • 混合专家模型 (Mixture of Experts, MoE): 一种神经网络架构。它包含多个“专家”子网络和一个“路由器”。对于每个输入，路由器会选择性地激活一小部分专家进行计算。这使得模型总参数量可以很大（知识容量大），但单次推理的计算成本很低（速度快），DeepSeek-OCR 的解码器就采用了此架构。
  • 注意力机制 (Attention Mechanism):
    • 全局注意力 (Global Attention): Transformer 中的标准注意力，序列中的每个token都需要与所有其他token计算相关性。效果好但计算量是序列长度的平方。
    • 窗口注意力 (Window Attention): 一种优化的注意力，每个token只在指定大小的“窗口”（局部邻域）内计算注意力。计算效率高，但牺牲了全局信息交互。
  • SAM (Segment Anything Model): 一个强大的图像分割模型，擅长对图像中的所有物体进行精确分割，其编码器基于高效的窗口注意力，适合进行底层的视觉感知。
  • CLIP (Contrastive Language-Image Pre-training): 一个经典的VLM预训练模型，通过对比学习将图像和文本映射到同一个特征空间，使其编码器富含丰富的视觉“知识”。其编码器通常使用全局注意力。

• 前人工作 (Previous Works): 作者在第2节回顾了与本文高度相关的两类工作：

  1. VLMs中的典型视觉编码器 (Typical Vision Encoders in VLMs): 如图2所示，现有主流开源VLM的视觉编码器存在各种缺陷：

     • 双塔架构 (Dual-tower architecture)，如 Vary: 并行使用两个编码器（如SAM和一个标准编码器）来处理高分辨率图像。局限性: 部署复杂，需要对图像进行两次预处理，且训练时难以实现流水线并行。

     • 分块方法 (Tile-based method)，如 InternVL2.0: 将大图切成小块（tiles）分别处理。局限性: 原生编码器分辨率通常较低，导致大图被切得过碎，产生海量的视觉token，拖慢后续LLM的处理速度。

     • 自适应分辨率 (Adaptive resolution)，如 Qwen2-VL: 直接处理完整图像，但对不同分辨率的输入进行灵活的patch划分。局限性: 处理大图时，中间层的计算激活（activation memory）会急剧膨胀，容易导致显存溢出（OOM）。

       图8: 该图展示了当前开源视觉语言模型（VLM）中三种典型视觉编码器的结构及其缺陷，为本文提出的 DeepEncoder 提供了设计动机。

  2. 端到端OCR模型 (End-to-end OCR Models):

     • Nougat: 首次将端到端框架用于学术论文OCR，展示了VLM处理密集感知任务的潜力。
     • GOT-OCR2.0: 将OCR应用范围扩展到更多合成图像，并注重性能与效率的平衡。
     • 局限性: 作者指出，现有工作虽然不断提升OCR性能，但从未回答一个关键问题：“对于一个包含1000个单词的文档，至少需要多少个视觉token才能解码？”

• 差异化分析 (Differentiation): 本文的核心创新在于视角转换：不只是将OCR看作一个应用任务，而是将其视为一个研究“光学压缩”极限的代理任务。与之前的工作相比，本文的差异化体现在：

  • 目标不同: 关注的重点是压缩比和效率，而非单纯追求OCR精度的微小提升。
  • 方法不同: 专门设计了 DeepEncoder 架构，旨在以最少的视觉token和计算开销处理高分辨率文档图像，这正是实现高压缩比光学压缩的关键。
  • 贡献不同: 提供了关于视觉-文本token转换效率的量化数据，为未来VLM的设计和长上下文处理提供了经验指导。

4. 方法论 (Methodology - Core Technology & Implementation Details)

本部分详细拆解论文的技术方案。

• 方法原理 (Methodology Principles): DeepSeek-OCR 的核心思想是构建一个高效的“压缩-解压”系统。DeepEncoder 担任压缩器，将高维度的图像像素信息（包含大量文本）压缩成低维度的、数量极少的视觉token序列。DeepSeek3B-MoE 解码器则担任解压器，负责将这些高度浓缩的视觉token“解压”还原为原始的文本序列。

• 方法步骤与流程 (Steps & Procedures):

  图9: 展示了 DeepSeek-OCR 的整体架构。一张文档图像首先被送入 DeepEncoder，该编码器由一个以窗口注意力为主的 SAM 组件、一个卷积压缩器和一个以全局注意力为主的 CLIP 组件串联而成。DeepEncoder 输出少量视觉 token，然后与文本提示一起送入 DeepSeek-3B-MoE 解码器，最终生成识别出的文本。

  1. 输入: 一张包含文本的图像和一段文本提示（prompt），例如 $<image>\nFree OCR.$。
  2. 编码 (压缩): 图像被送入 DeepEncoder。
     • 感知层: SAM-base 编码器（基于窗口注意力）首先将图像分割成patch，进行初步的、局部的特征提取。这一步计算效率高。
     • 压缩层: 一个16x的卷积压缩器（token compressor）接收来自SAM的特征，并对其进行大幅降采样，将视觉token的数量减少到原来的1/16。这是控制最终token数量和计算量的关键。
     • 知识层: CLIP-large 编码器（基于全局注意力）接收压缩后的少量token，进行更深层次的、全局的特征融合，注入丰富的视觉知识。
  3. 解码 (解压): DeepEncoder 输出的视觉token序列被送入 DeepSeek-3B-MoE 解码器。
  4. 输出: 解码器根据视觉token和文本提示，自回归地生成最终的文本结果。

• 数学公式与关键细节 (Mathematical Formulas & Key Details):

  • DeepEncoder 的多分辨率支持: 为了研究不同压缩比，模型需要支持可变的视觉token数量，这是通过支持多种输入分辨率实现的。

    图10: 该图展示了模型支持的多种分辨率模式，包括直接缩放（resize）、填充（padding）以及结合全局和局部分块视图的 Gundam 模式，以适应不同的压缩比测试和应用场景。

    以下为转录的 Table 1，展示了不同模式的配置：

    Mode	Native Resolution				Dynamic Resolution
    	Tiny	Small	Base	Large	Gundam	Gundam-M
    Resolution	512	640	1024	1280	640+1024	1024+1280
    Tokens	64	100	256	400	nx100+256	nx256+400
    Process	resize	resize	padding	padding	resize + padding

    • 有效视觉token数量计算: 在 Base 和 Large 等使用padding（填充）的模式中，由于图像被填充到正方形，部分token对应的是无效的填充区域。有效token的数量由以下公式计算： $$N _ { v a l i d } = \lceil N _ { a c t u a l } \times \left[ 1 - ( ( m a x ( w , h ) - m i n ( w , h ) ) / ( m a x ( w , h ) ) ) \right] \rceil$$
      • 符号解释:
        • $N_{valid}$: 有效视觉token的数量。
        • $N_{actual}$: 填充后的总视觉token数量（如 Base 模式为256）。
        • w, h: 原始输入图像的宽度和高度。
        • max(w, h): 图像较长的边的长度。
        • min(w, h): 图像较短的边的长度。
        • 该公式计算的是原始图像面积占填充后正方形面积的比例，并以此估算有效token的比例。

  • 解码器数学表示: 解码器将DeepEncoder输出的压缩视觉token重建为原始文本表示。 $$f _ { \mathrm { d e c } } : \mathbb { R } ^ { n \times d _ { \mathrm { l a t e n t } } } \longrightarrow \mathbb { R } ^ { N \times d _ { \mathrm { t e x t } } } ; \quad \hat { \mathbf { X } } = f _ { \mathrm { d e c } } ( \mathbf { Z } ) \quad \mathrm { w h e r e } n \ll N$$

    • 符号解释:
      • $\mathbf{Z} \in \mathbb{R}^{n \times d_{latent}}$: DeepEncoder 输出的压缩视觉token序列。$n$ 是视觉token的数量，$d_{latent}$ 是每个token的维度。
      • $\hat{\mathbf{X}} \in \mathbb{R}^{N \times d_{text}}$: 解码器重建出的文本表示。$N$ 是原始文本的token数量，$d_{text}$ 是文本token的维度。
      • $f_{dec}$: 代表解码器的非线性映射函数，即整个LLM。
      • $n \ll N$: 核心思想的体现，即视觉token的数量 $n$ 远小于原始文本token的数量 $N$。

  • 数据工程 (Data Engine): 模型训练使用了四大类数据：OCR 1.0（文档和场景文字）、OCR 2.0（图表、化学公式、几何图形解析）、General vision data（通用视觉任务）和 Text-only data（纯文本）。其中，OCR 1.0 的精细标注格式尤为重要：

    图11: 该图展示了 OCR 1.0 精细标注的格式，它将布局信息（坐标）和文本内容交错排列，使模型能同时学习布局和识别。

5. 实验设置 (Experimental Setup)

• 数据集 (Datasets):

  • Fox [21]: 一个文档理解基准。本文使用其中的英文文档部分（600-1300个token的文档）来专门测试视觉-文本压缩比与解码精度的关系。选择这个范围的文档长度，可以方便地在 Tiny 和 Small 模式下测试不同的压缩比。
  • OmniDocBench [27]: 一个全面的、多语言（中/英）、多类型（文本、公式、表格）的文档解析基准。用于评估 DeepSeek-OCR 在真实、复杂场景下的实用性能，并与其他SOTA模型进行对比。

• 评估指标 (Evaluation Metrics):

  • 压缩比 (Compression Ratio):
    1. 概念定义: 该指标用于量化“光学压缩”的程度，衡量一个视觉token平均能够表示多少个原始文本token。比率越高，说明压缩得越狠。
    2. 数学公式: $$\text{Compression Ratio} = \frac{\text{Number of text tokens in ground truth}}{\text{Number of vision tokens model used}}$$
    3. 符号解释:
       • $\text{Number of text tokens in ground truth}$: 真实（Ground Truth）文本经过模型的分词器（tokenizer）处理后得到的token数量。
       • $\text{Number of vision tokens model used}$: DeepEncoder 最终输出的视觉token数量（例如，Tiny 模式下为64）。
  • 精度 (Precision):
    1. 概念定义: 在 Fox 基准测试中，该指标用于衡量OCR的准确性，即模型输出的文本与真实文本的匹配程度。论文中没有明确其具体计算方式，但通常在OCR任务中指基于字符或单词级别的准确率。
    2. 数学公式: 假设基于字符，其标准公式为： $$\text{Precision} = \frac{\text{Number of Correctly Recognized Characters}}{\text{Total Number of Characters in Ground Truth}}$$
    3. 符号解释:
       • Number of Correctly Recognized Characters: 模型输出中与真实文本逐字符匹配正确的字符数量。
       • Total Number of Characters in Ground Truth: 真实文本中的总字符数。
  • 编辑距离 (Edit Distance):
    1. 概念定义: 这是衡量两个字符串差异的经典指标。它计算将一个字符串转换为另一个字符串所需的最少单字符编辑操作（插入、删除或替换）次数。在OCR评估中，编辑距离越小，表示模型输出的文本与真实文本越接近，性能越好。OmniDocBench 使用该指标进行评估。
    2. 数学公式: 标准的莱文斯坦距离 (Levenshtein distance) 定义如下。对于长度为 $m$ 的字符串 $a$ 和长度为 $n$ 的字符串 $b$，其编辑距离 D(i, j) 为 $a$ 的前 $i$ 个字符和 $b$ 的前 $j$ 个字符之间的距离： $$D(i, j) = \min \begin{cases} D(i-1, j) + 1 & \text{(删除)} \\ D(i, j-1) + 1 & \text{(插入)} \\ D(i-1, j-1) + \mathbf{1}_{(a_i \neq b_j)} & \text{(替换/匹配)} \end{cases}$$
    3. 符号解释:
       • D(i, j): 字符串 $a$ 的前 $i$ 个字符和 $b$ 的前 $j$ 个字符之间的编辑距离。
       • $\mathbf{1}_{(a_i \neq b_j)}$: 指示函数，如果 $a_i$ 不等于 $b_j$ 则为1，否则为0。
       • 通常，最终报告的指标是归一化编辑距离（Normalized Edit Distance），即 $D(m, n) / \max(m, n)$，使其值在0和1之间。

• 对比基线 (Baselines): Table 3 中列出了大量对比模型，分为两类：

  • 流水线模型 (Pipeline Models): 如 MinerU-2.1.1, PPstructure-v3。这些是传统的OCR系统，通常包含多个独立的模型（如布局分析、表格识别、文本识别等），流程复杂。
  • 端到端模型 (End-to-end Models): 如 GOT-OCR2.0, InternVL 系列, Qwen-VL 系列, 以及闭源的 GPT4o, Gemini2.5-Pro。这些是与 DeepSeek-OCR 架构类似的单一模型，能直接从图像生成结构化文本。

6. 实验结果与分析 (Results & Analysis)

• 核心结果分析 (Core Results Analysis):

  • 视觉-文本压缩研究 (Fox 基准): 以下为转录的 Table 2：

    Text Tokens	Vision Tokens = 64		Vision Tokens = 100		n Pages
    	Precision	Compression	Precision	Compression
    600-700	96.5%	10.5x	98.5%	6.7x	7
    700-800	93.8%	11.8x	97.3%	7.5x	28
    800-900	83.8%	13.2x	96.8%	8.5x	28
    900-1000	85.9%	15.1x	96.8%	9.7x	14
    1000-1100	79.3%	16.5x	91.5%	10.6x	11
    1100-1200	76.4%	17.7x	89.8%	11.3x	8
    1200-1300	59.1%	19.7x	87.1%	12.6x	4

    分析:

    • 高精度压缩区间: 当压缩比在 10x 以内时（例如，用100个视觉token处理970个文本token），模型可以达到 97% 左右的极高解码精度。这证明了在一定范围内，光学压缩几乎是无损的。
    • 性能衰减拐点: 当压缩比超过 10x 后，性能开始下降。例如，用64个视觉token处理700多个文本token（11.8x压缩），精度降至 93.8%。
    • 高压缩比下的可用性: 即使在接近 20x 的极端压缩比下，模型仍能保持约 60% 的精度。这表明，对于不需要100%保真度的场景（如历史对话摘要、信息检索），光学压缩依然具有价值。

  • OCR实用性能 (OmniDocBench 基准): 以下为转录的 Table 3 的部分关键数据：

    Model	Tokens	English				Chinese
    		overall text formula table order				overall text formula table order
    		... (Other Models) ...
    GOT-OCR2.0 [38]	256	0.287	0.189	0.360	0.459	...	...	...	...
    MinerU2.0 [34]	6790	0.133	0.045	0.273	0.15	...	...	...	...
    DeepSeek-OCR (end2end)
    Small	100	0.221	0.142	0.373	0.242	0.284	0.24	0.53	0.159
    Gundam	795	0.127	0.043	0.269	0.134	0.181	0.097	0.432	0.089

    分析 (基于原文完整表格):

    • 极高的token效率: DeepSeek-OCR 在 Small 模式下仅用 100个视觉token，其综合性能（英文overall 0.221）就已超越了使用256个token的 GOT-OCR2.0（0.287）。
    • SOTA级别的性能: 在 Gundam 模式下，使用平均 795个视觉token，其性能（英文overall 0.127）超越了需要近7000个token的 MinerU2.0（0.133），达到了SOTA水平。这充分证明了 DeepEncoder 在token效率上的巨大优势。

• 消融实验/参数分析 (Ablation Studies / Parameter Analysis):

  • 不同分辨率模式的分析 (Table 4): 以下为转录的 Table 4（展示了不同文档类型在不同模式下的综合编辑距离）：

    Type \ Mode	Book	Slides	Financial Report	Textbook	Exam Paper	Magazine	Academic Papers	Notes	Newspaper	Overall
    Tiny	0.147	0.116	0.207	0.173	0.294	0.201	0.395	0.297	0.94	0.32
    Small	0.085	0.111	0.079	0.147	0.171	0.107	0.131	0.187	0.744	0.205
    Base	0.037	0.08	0.027	0.1	0.13	0.073	0.052	0.176	0.645	0.156
    Large	0.038	0.108	0.022	0.084	0.109	0.06	0.053	0.155	0.353	0.117
    Gundam	0.035	0.085	0.289	0.095	0.094	0.059	0.039	0.153	0.122	0.083
    Gundam-M	0.052	0.09	0.034	0.091	0.079	0.079	0.048	0.1	0.099	0.077

    分析: 这张表实际上是一个关于模型不同组件（在此体现为不同分辨率模式）对不同任务影响的分析。

    • 任务难度与所需token量相关: 简单的文档类型，如Slides（幻灯片）和 Financial Report（财报），在 Small（100 token）甚至 Tiny（64 token）模式下就能取得很好的效果。
    • 复杂任务需要更多token: 对于文本密度极高、布局复杂的 Newspaper（报纸），需要 Gundam 甚至 Gundam-M 模式（使用更多token处理超高分辨率）才能获得可接受的性能。
    • 指导意义: 这说明不存在一种“万能”的token数量。最佳的视觉token数量取决于文档的复杂度和信息密度。这为VLM的token分配优化提供了重要参考：可以根据输入图像的特点动态调整视觉编码器的配置，以在性能和效率之间取得最佳平衡。

7. 总结与思考 (Conclusion & Personal Thoughts)

• 结论总结 (Conclusion Summary): 论文成功地初步验证了“上下文光学压缩”的可行性。通过 DeepSeek-OCR，作者证明了模型能从少量视觉token中高效解码出超过其10倍数量的文本token，且精度很高。这一发现为未来VLM和LLM的发展，特别是在解决长上下文处理难题方面，开辟了新的道路。同时，DeepSeek-OCR 本身也是一个性能强大、效率极高的实用模型，可作为LLM的“数据工厂”，大规模生产预训练数据。

• 局限性与未来工作 (Limitations & Future Work):

  • 局限性: 作者坦诚，目前的工作只是一个初步探索。仅通过OCR任务还不足以完全验证“真正的”上下文光学压缩，因为OCR主要关注文本保真度，而长上下文理解还涉及复杂的语义关联和推理。
  • 未来工作:

    1. 进行数字-光学文本交错预训练，让模型学会在一个上下文中同时处理普通文本token和被压缩成图像的文本token。

    2. 通过“大海捞针” (needle-in-a-haystack) 等测试来评估光学压缩对信息检索精度的影响。

    3. 探索更深层次的应用，如模拟人类的记忆遗忘机制。

       图7: 该图生动地展示了论文对未来的构想。可以将多轮对话中较早的历史记录渲染成图片进行压缩；对于更久远的历史，可以进一步降低图片的分辨率，模拟信息逐渐模糊、遗忘的过程。这为构建具有生物学启发记忆机制的、理论上无限上下文的智能体提供了可能。

• 个人启发与批判 (Personal Insights & Critique):

  • 启发:

    • 思维范式的创新: 这篇论文最亮眼的地方在于其思想的““脑洞大开””。它没有在现有长上下文技术路线（如优化Attention）上内卷，而是巧妙地将文本处理问题““降维””到视觉领域，提出了一种全新的、可能更具扩展性的解决方案。
    • VLM的新角色: 它重新定义了VLM中视觉编码器的角色——不仅仅是“看懂”图片，更可以作为一个通用的、高效的信息压缩器。
    • 成本与收益的平衡: “光学压缩”天然是一种有损压缩，这启发我们，在处理超长上下文时，或许不必追求对所有历史信息的100%无损记忆。像人脑一样，对久远信息进行“模糊”处理，可能是在计算资源有限的情况下，实现“无限”上下文的唯一途径。

  • 批判性思考:

    • 渲染开销问题: 将文本渲染成图片本身需要计算开销（CPU/GPU时间、内存）。论文没有分析这个预处理开销与后续Transformer计算节省之间的权衡。在实时交互场景下，这个延迟是否可以接受？
    • 信息保真度的临界点: 论文展示了精度随压缩比下降的趋势。但对于需要绝对精确的任务（如代码理解、法律合同分析），任何程度的损失都可能是致命的。光学压缩的应用边界在哪里？
    • 与主流长上下文方案的对比: 论文缺少与当前主流长上下文技术（如RAG、稀疏注意力、Mamba等）在同等资源下的直接性能对比。光学压缩在长程依赖、信息检索精度、计算效率等方面相比这些方法有何优劣？这是未来需要回答的关键问题。