论文Microsoft2021 年 6 月 17 日

LoRA：大模型的低秩适配

冻结大模型本身，只训练很小的低秩矩阵，微调成本大幅下降。

1 万倍GPT-3 175B 需要训练的参数减少约 1 万倍

为什么重要

让普通人也能微调大模型，此后开源社区的绝大多数微调模型都基于它。

引出

QLoRA

出处: arxiv.org ↗

在 3D 时间轴上查看 →