LLMilestonesAI 与大语言模型里程碑时间线

第四幕 · 多模态与开源追赶

开源模型DeepSeek

DeepSeek-V3

6710 亿参数的 MoE 模型,性能接近 GPT-4o,完全开放权重。

约 557 万美元最终一次训练的 GPU 成本

为什么重要

报告称最终训练只用了约 560 万美元的算力,刷新了业界对训练成本的认知。

代价与争议

该成本不含前期研究和实验,各方对真实总成本仍有争论。

源自

Mixtral 8×7B

引出

DeepSeek-R1

出处: arxiv.org ↗

在 3D 时间轴上查看 →