InstructGPT：RLHF 对齐
用人类反馈强化学习（RLHF）训练模型听懂指令、给出人们想要的回答。
13 亿 > 1750 亿小模型经过 RLHF 后，比原版 GPT-3 更受人类偏好
为什么重要
这是 ChatGPT 背后的关键配方：模型不用变大，变“懂事”就够了。
代价与争议
人工标注成本高，模型可能学会“讨好”而不是“正确”。
源自
引出
出处: arxiv.org ↗
用人类反馈强化学习（RLHF）训练模型听懂指令、给出人们想要的回答。
13 亿 > 1750 亿小模型经过 RLHF 后，比原版 GPT-3 更受人类偏好
这是 ChatGPT 背后的关键配方：模型不用变大，变“懂事”就够了。
人工标注成本高，模型可能学会“讨好”而不是“正确”。
出处: arxiv.org ↗