论文Stanford2022 年 5 月 27 日

FlashAttention

重新安排注意力的计算顺序，尽量减少 GPU 显存读写，结果完全一致，速度快得多。

3 倍GPT-2 训练提速

为什么重要

几乎成为所有训练和推理框架的标配，让长上下文变得负担得起。

源自

Transformer

出处: arxiv.org ↗

在 3D 时间轴上查看 →