Google DeepMind 详解 Decoupled DiLoCo，推进更稳健的大模型训练

Google DeepMind 详解 Decoupled DiLoCo，推进更稳健的大模型训练

这项研究重要，因为下一波 AI 竞争不仅取决于应用层功能，也取决于训练基础设施。如果大模型能够在分布式算力孤岛之间更稳定地训练，实验室就更有机会在不把所有步骤绑定到单一强同步集群的前提下继续扩展前沿系统。