论文
登录后可查看剩余解析次数。
标签筛选
长距离依赖建模
Transformer-XL: Attentive Language Models beyond a Fixed-Length Context
发表：2019/7/1
Transformer-XL架构长距离依赖建模语言建模上下文片段问题解决位置编码方案
本文提出一种新型的神经网络架构——TransformerXL，旨在克服固定长度上下文对语言建模的限制。该架构通过段级循环机制和新颖的位置信息编码方案，有效学习超越固定长度的长期依赖，解决上下文碎片化问题，性能显著优于传统模型，并在多个数据集上达到最新水平，速度提升达到1800倍以上。
05
Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement
发表：2023/3/13
低光图像增强基于Retinex的变换器光照引导模型长距离依赖建模图像质量评估
本文提出了一种新颖的单阶段Retinex框架（ORF），有效增强低光照图像。通过估算光照信息和恢复图像腐败，结合照明引导Transformer (IGT)，该方法在非局部交互建模上表现出色。实验证明，Retinexformer在多个基准上显著超越现有最先进技术，展现了其实际应用价值。
02