标签筛选：Transformer 模型高效推理 - 论文列表

Handling Heavy-tailed Input of Transformer Inference on GPUs

发表：2022/6/16

Transformer 模型高效推理GPU 批处理优化自注意力模块并行策略变长序列处理NLP 任务性能提升

本文提出了一种统一解决方案，旨在提高重尾输入在GPU上进行Transformer推理的效率。通过针对自注意力模块和多层感知器模块设计细粒度策略和词累积策略，显著减少冗余计算。测试结果显示，自注意力模块延迟降低了63.9%，Bertbase模型延迟降低了28.1%。