论文
登录后可查看剩余解析次数。
标签筛选
低秩适配微调方法
ModuLoRA: Finetuning 2-Bit LLMs on Consumer GPUs by Integrating with Modular Quantizers
发表：2023/9/28
大语言模型微调低秩适配微调方法量化方法2-bit LLMs 训练消费者 GPU 优化
本文提出的是一种内存高效的微调算法，能在24GB的消费级GPU上以2/3/4比特精度微调高达65亿参数的LLM。其模块化设计通过集成任意权重量化器与低秩适配器，首次实现了对2比特和3比特LLM的微调，显著降低内存消耗并在多个任务中表现优秀。
02
Contrastive Test-Time Composition of Multiple LoRA Models for Image
Generation
发表：2024/3/29
低秩适配微调方法图像生成LoRA模型组合测试时对比融合注意力机制调整
本文提出CLoRA，一种无需训练的测试时方法，动态调整多个LoRA模型的注意力图并生成语义掩码，有效融合多概念图像特征，解决了现有方法中注意力重叠、属性绑错和概念遗漏问题。实验证明CLoRA显著提升多LoRA组合生成图像的准确性和质量。
010