论文Stanford2023 年 5 月 29 日 DPO：直接偏好优化 直接用人类偏好的成对数据训练，省去 RLHF 里单独的奖励模型和强化学习。 为什么重要简单稳定，成为开源模型最常用的对齐方法之一，Llama 3 的后训练就用了它。 源自InstructGPT 引出Llama 3 出处: arxiv.org ↗ 在 3D 时间轴上查看 →