梯度同步

• 数据并行是什么：2026 大模型训练核心原理、架构演进与实战详解2026-05-31

  一句话定义 数据并行（Data Parallelism）是将同一模型副本部署于多卡，切分训练数据批次同步更新，以加速大模型训练的核心分...

  查看详情>>