论文DeepMind2022 年 3 月 29 日

Chinchilla：数据同样重要

同样的算力，与其把模型做大，不如用更多数据训练一个更小的模型。

700 亿参数，胜过 2800 亿的 Gopher

为什么重要

修正了规模定律，“每个参数约配 20 个 token”成为行业经验，也为后来的高效开源模型指明了方向。

源自

Scaling Laws

引出

LLaMA

出处: arxiv.org ↗

在 3D 时间轴上查看 →