Attention Is All You Need
提出 Transformer 架构：完全基于自注意力，抛弃 RNN 与卷积。
8位作者，后来多数离开 Google 创业
为什么重要
可以并行训练，长距离依赖处理得更好。此后几乎所有大模型（GPT、BERT、Claude、Gemini……）都建立在它之上。
代价与争议
当时只是一篇机器翻译论文，自注意力的计算量随序列长度平方增长，这个问题一直延续到今天。
源自
引出
出处: arxiv.org ↗
提出 Transformer 架构：完全基于自注意力，抛弃 RNN 与卷积。
8位作者，后来多数离开 Google 创业
可以并行训练，长距离依赖处理得更好。此后几乎所有大模型（GPT、BERT、Claude、Gemini……）都建立在它之上。
当时只是一篇机器翻译论文，自注意力的计算量随序列长度平方增长，这个问题一直延续到今天。
出处: arxiv.org ↗