LLMilestonesAI 与大语言模型里程碑时间线

第三幕 · ChatGPT 引爆

论文University of Washington

QLoRA

把 4 比特量化和 LoRA 结合起来,用一张显卡就能微调超大模型。

48 GB一张显卡即可微调 65B 模型

为什么重要

让 65B 级别模型的微调降到单张 48GB 显卡,推动了开源微调热潮。

源自

LoRA

出处: arxiv.org ↗

在 3D 时间轴上查看 →