论文
登录后可查看剩余解析次数。
标签筛选
线性注意力机制
Jet-Nemotron: Efficient Language Model with Post Neural Architecture
Search
发表：2025/8/22
Post Neural Architecture Search混合架构语言模型高效生成推理线性注意力机制硬件感知超参数搜索
JetNemotron通过后神经架构搜索冻结预训练全注意力模型中的MLP权重，优化注意力块设计，实现混合架构语言模型。该方法提升生成吞吐量达53.6倍，准确率匹配或超越主流模型，且具备硬件感知调参能力，显著提升大规模语言模型效率。
03
LinearSR: Unlocking Linear Attention for Stable and Efficient Image
Super-Resolution
发表：2025/10/10
图像超分辨率线性注意力机制感知失真权衡优化Early-Stopping Guided Fine-tuningSNR驱动混合专家架构
LinearSR框架首次系统解决线性注意力在图像超分辨率中训练不稳定、感知失真权衡和引导效率低的问题。通过早停引导微调、基于信噪比的专家混合和轻量级指导策略，实现了领先的感知质量与高效推理速度，推动真实感超分辨率技术发展。
07
LinVideo: A Post-Training Framework towards O(n) Attention in Efficient
Video Generation
发表：2025/10/9
视频扩散模型线性注意力机制后训练稀疏注意力优化高效视频生成分布匹配目标函数
LinVideo提出一种无需数据的后训练框架，通过选择性转换机制自动将预训练视频扩散模型中的部分自注意力层替换为线性注意力，并用任意时刻分布匹配目标有效保持性能，实现最高15.92倍延迟降低和1.252倍加速。
08