ZeRO 是什么：大模型训练显存优化技术原理与 2026 实战详解

一句话定义

ZeRO（Zero Redundancy Optimizer）是一种通过分片存储模型状态，消除数据并行训练中显存冗余，从而实现超大模型单卡训练的革命性优化技术。

技术原理：打破显存墙的智慧

在深度学习领域，尤其是大语言模型（LLM）的训练过程中，"显存墙"（Memory Wall）一直是阻碍模型规模扩大的最大瓶颈。传统的分布式训练方法在面对千亿参数级别的模型时，往往因为单个 GPU 的显存无法容纳完整的模型副本而束手无策。ZeRO 技术的出现，正是为了解决这一核心矛盾。要理解 ZeRO 是什么，我们必须深入其核心工作机制，看看它是如何像一位精明的仓库管理员，将原本堆积如山的货物重新分配，从而腾出巨大的空间。

### 核心工作机制：从“复制”到“分片”

在传统的数据并行（Data Parallelism, DP）训练模式中，假设有 $N$ 个 GPU，每个 GPU 上都必须完整保存一份模型的所有参数（Parameters）、梯度（Gradients）以及优化器状态（Optimizer States）。此外，为了进行反向传播计算，还需要保存激活值（Activations）。这意味着，随着 GPU 数量的增加，虽然计算能力线性提升了，但显存的利用率却极其低下——因为每一份数据都被重复存储了 $N$ 次。对于拥有数千亿参数的模型，仅优化器状态（如 Adam 优化器需要的动量和方差）就可能占用数十甚至上百 GB 的显存，导致单卡根本无法加载模型，更别提训练了。

ZeRO 的核心思想极具颠覆性：既然所有 GPU 都在协同工作，为什么每个 GPU 都要存储完全相同的信息？ZeRO 提出将模型状态（Model States）在多个设备之间进行**分片（Sharding）**。换句话说，它将原本在每个 GPU 上冗余存储的数据，切分成 $N$ 份，每个 GPU 只负责存储其中的 $1/N$。当某个 GPU 需要进行前向或反向传播计算，而所需的数据片段不在本地时，它可以通过高速互联网络（如 NVLink 或 InfiniBand）从其他 GPU 临时获取该片段，计算完成后再释放。这种“用时聚合，闲时分存”的策略，理论上可以将单卡的显存需求降低 $N$ 倍。

### 关键技术组件：三级递进的优化策略

ZeRO 并非单一的技术点，而是一套分层级的优化体系，微软 DeepSpeed 团队将其划分为三个级别（Stage），分别对应不同粒度的显存优化：

1. **ZeRO-1（优化器状态分片）**：
这是最基础的层级。在深度学习中，优化器状态通常占据显存的大头。以常用的 Adam 优化器为例，每个参数需要存储两个额外的状态变量（一阶动量和二阶动量），加上参数本身和梯度，优化器相关的数据量往往是模型参数量的 3-4 倍。ZeRO-1 仅对优化器状态进行分片。每个 GPU 只维护全局优化器状态的 $1/N$。当需要更新参数时，所有 GPU 通信交换必要的状态信息。这一步通常能减少约 3-4 倍的显存占用，且通信开销相对较小，是性价比最高的优化手段。

2. **ZeRO-2（优化器状态 + 梯度分片）**：
在 ZeRO-1 的基础上，进一步将梯度（Gradients）也进行分片。在反向传播过程中，每个 GPU 计算出本地数据的梯度后，不再保留全部梯度，而是只保留属于自己的那一部分，其余部分通过通信发送给对应的持有者。这使得显存占用进一步降低，理论上可达传统数据并行的 $4N$ 分之一（相对于参数量而言）。此时，模型参数本身仍然在每个 GPU 上全量保存。

3. **ZeRO-3（全状态分片）**：
这是 ZeRO 的终极形态，也是训练超大规模模型的关键。在此阶段，连模型参数（Parameters）本身也被分片存储。每个 GPU 仅持有全局模型参数的 $1/N$。这意味着，在每一次前向传播和反向传播的每一层计算中，GPU 都需要动态地从其他兄弟节点拉取当前层所需的参数，计算完后立即释放或传递。虽然这带来了显著的通信开销，但它打破了单卡显存对模型大小的绝对限制，使得在有限的硬件资源上训练万亿参数模型成为可能。

此外，为了应对激活值（Activations）带来的显存压力，ZeRO 还常与**激活重计算（Activation Recomputation / Checkpointing）**技术结合使用。该技术选择在正向传播时不保存所有中间激活值，而是在反向传播需要时重新计算，用计算时间换取显存空间，与 ZeRO 形成完美的互补。

### 与传统方法的对比及类比

为了更直观地理解，我们可以将传统数据并行比作一个“图书馆复印”场景。假设有一个巨大的知识库（模型），有 10 个研究员（GPU）需要同时研究它。
* **传统数据并行**：图书馆给每个研究员都复印了一套完整的知识库。如果知识库有 1TB，那么总共需要 10TB 的存储空间。大部分空间都被重复的副本浪费了。
* **ZeRO-1**：大家共享一套笔记（优化器状态）。每个人只负责整理全书 $1/10$ 的笔记索引。当某人需要更新某页的笔记时，去找负责那一页的人借一下索引，改完再还回去。
* **ZeRO-2**：不仅笔记索引分片，连大家读完后写的草稿（梯度）也分片存放。每个人只保留自己负责的那部分草稿。
* **ZeRO-3**：最极致的情况，连知识库原著（参数）都被拆散了。每个研究员手里只有全书的 $1/10$ 页。当研究员 A 需要阅读第 50 页（属于研究员 B 保管）时，他必须通过对讲机（高速网络）让 B 把第 50 页的内容念给他听，读完立刻忘掉，等下次用到再问。

通过这种类比，我们可以清晰地看到，ZeRO 的本质是用**通信带宽换取显存容量**。在传统方法中，通信主要用于同步梯度；而在 ZeRO-3 中，通信贯穿了整个训练过程的前向和反向阶段。因此，ZeRO 的高效运行高度依赖于高带宽、低延迟的互联环境（如 NVIDIA 的 NVLink 或集群级的 InfiniBand/RoCE）。如果网络带宽不足，频繁的通信可能会成为新的瓶颈，导致训练速度下降。然而，在现代 AI 集群架构中，这种权衡通常是值得的，因为它直接决定了模型能否跑得起来。

与模型并行（Model Parallelism, MP）相比，ZeRO 具有极大的优势。传统的模型并行需要人工干预，将模型的不同层切割到不同设备上，代码修改复杂，且容易导致负载不均衡。而 ZeRO 对用户代码几乎透明（特别是在使用 DeepSpeed 库时），它能自动处理分片和通信逻辑，保持了数据并行的简单编程模型，同时获得了接近模型并行的显存效率。

核心概念：构建知识图谱

要真正掌握"ZeRO 是什么”，除了理解其原理，还需要厘清一系列相关的专业术语及其相互关系。这些概念构成了大模型训练优化的生态系统。

### 关键术语解释

* **模型状态（Model States）**：指训练过程中需要保存的所有可变数据，主要包括三部分：
* **参数（Parameters/Weights）**：模型本身的权重矩阵，决定了模型的推理能力。
* **梯度（Gradients）**：反向传播计算出的误差导数，用于指导参数更新方向。
* **优化器状态（Optimizer States）**：优化算法（如 Adam）为了加速收敛和维护稳定性而记录的辅助变量，通常包括动量（Momentum）和方差（Variance）。在浮点精度为 FP16 的情况下，优化器状态的大小通常是参数大小的 3 倍左右（主权重 + 动量 + 方差）。
* **分片（Sharding）**：分布式计算中的核心概念，指将一个大数据集或大数组逻辑上分割成多个小块，分别存储在不同的计算节点上。在 ZeRO 语境下，特指对模型状态的横向切割。
* **通信域（Communication Group）**：在分布式训练中，参与特定通信操作（如 AllReduce, AllGather）的 GPU 集合。ZeRO 通常在同一个节点内或跨节点的特定组内进行分片通信。
* **Offloading（卸载）**：ZeRO 的一项扩展技术，指当 GPU 显存即使经过分片仍不足以容纳数据时，将部分模型状态（如优化器状态、梯度甚至参数）暂时移动到 CPU 内存或 NVMe 硬盘中。虽然访问速度慢于显存，但极大地扩展了可训练模型的规模上限。
* **混合精度训练（Mixed Precision Training）**：通常与 ZeRO 配合使用，指同时使用 FP16（半精度）和 FP32（单精度）进行训练。FP16 减少显存占用和加速计算，FP32 保持数值稳定性。ZeRO 的分片策略需同时考虑这两种精度的数据存储。

### 概念关系图谱

在脑海中构建这样一幅图谱：
中心是**ZeRO**，它是解决**显存瓶颈**的核心方案。
向左延伸，它作用于**模型状态**的三大支柱：**参数**、**梯度**、**优化器状态**。
* **ZeRO-1** 切断 **优化器状态** 的冗余。
* **ZeRO-2** 进一步切断 **梯度** 的冗余。
* **ZeRO-3** 最终切断 **参数** 的冗余。
向下延伸，它依赖**高速互联网络**作为血管，输送分片数据；依赖**集体通信原语**（如 AllGather, ReduceScatter）作为心脏泵血机制。
向右延伸，它与**激活重计算**联手对抗激活值显存，与**CPU Offloading** 联手突破物理显存极限。
向上延伸，它的目标是支撑**千亿美元级参数模型**的训练，服务于**大语言模型（LLM）**、**多模态模型**等前沿应用。

### 常见误解澄清

**误解一："ZeRO 会显著降低训练速度，所以不实用。”**
* **澄清**：这是一个片面的观点。虽然 ZeRO-3 引入了额外的通信开销，但在现代高带宽集群（如配备 NVLink 的 A100/H100 集群）中，通信时间的增加远小于因显存节省而允许使用的更大批次大小（Batch Size）带来的效率提升。更大的 Batch Size 可以提高 GPU 的利用率（MFU, Model FLOPs Utilization），从而在整体上可能比小 Batch 的传统并行更快。此外，对于原本因显存不足而无法运行的任务，ZeRO 的速度是从"0"到"1"的质变。

**误解二："ZeRO 只是 DeepSpeed 库的一个功能，与其他框架无关。”**
* **澄清**：虽然 ZeRO 最早由微软在 DeepSpeed 中提出并实现，但其思想已成为行业标准。PyTorch FSDP（Fully Sharded Data Parallel）就是原生集成了 ZeRO-3 理念的官方模块。如今，几乎所有主流深度学习框架（包括 TensorFlow 的某些分支、JAX 的相关库）都在借鉴或实现类似的分片策略。ZeRO 代表的是一种通用的分布式训练范式，而非单一软件的私有特性。

**误解三：“开了 ZeRO-3 就能无限放大模型。”**
* **澄清**：显存只是约束之一。即使显存足够，通信带宽、计算算力、数据加载速度以及算法的收敛性都是限制因素。过度分片会导致通信占比过高，使得 GPU 大部分时间在等待数据，造成“通信饱和”，训练效率急剧下降。因此，实际应用中需要在分片程度和网络拓扑之间寻找最佳平衡点。

实际应用：从理论到落地的跨越

理解了"ZeRO 是什么”及其原理后，我们来看看它在现实世界中是如何发挥威力的。ZeRO 已经不仅仅是一个学术概念，而是当今大模型训练基础设施中不可或缺的基石。

### 典型应用场景

1. **超大规模语言模型预训练**：
这是 ZeRO 最主战场。无论是 LLaMA 系列、Bloom、OPT 还是国内的通义千问、百川智能等，在其预训练阶段，面对数百亿至万亿级的参数量，单卡或多卡的传统并行完全无法承载。通过启用 ZeRO-3，研究人员可以在有限的 GPU 集群上（例如几十张 A100）训练原本需要数百张卡才能跑起来的模型。它使得中小规模的科研团队和初创公司也有机会参与到大模型的竞赛中。

2. **大模型微调（Fine-tuning）**：
在全量微调（Full Fine-tuning）场景下，不仅需要加载预训练模型，还需要保存梯度和优化器状态，显存压力甚至比预训练更大。利用 ZeRO 技术，结合 LoRA（Low-Rank Adaptation）等参数高效微调方法，用户可以在消费级显卡（如 RTX 3090/4090）或单台服务器上对 70B+ 参数的模型进行全量或半量微调，极大地降低了下游应用开发的门槛。

3. **长上下文窗口训练**：
随着模型支持的上下文长度（Context Window）从 4k 扩展到 128k 甚至更长，激活值（Activations）的显存占用呈线性甚至超线性增长。ZeRO 结合激活重计算和卸载技术，使得训练超长序列模型成为可能，这对于文档分析、长视频理解等任务至关重要。

### 代表性产品与项目案例

* **Microsoft DeepSpeed**：作为 ZeRO 的发源地，DeepSpeed 库提供了最成熟、功能最全的 ZeRO 实现。它支持 ZeRO-1/2/3 的无缝切换，并提供了一系列优化技巧（如 ZeRO-Infinity，支持 NVMe 卸载）。许多开源大模型项目（如 BLOOM 的训炼）都明确声明使用了 DeepSpeed ZeRO。
* **PyTorch FSDP (Fully Sharded Data Parallel)**：PyTorch 官方推出的分布式包 `torch.distributed.fsdp` 直接实现了 ZeRO-3 的核心逻辑。由于其原生集成，无需安装额外第三方库即可在 PyTorch 2.0+ 环境中使用，成为了许多新项目的默认选择。
* **Hugging Face Accelerate**：作为一个高层封装库，Accelerate 简化了分布式训练的复杂性。它底层可以调用 DeepSpeed 或 FSDP，让用户通过简单的配置文件即可开启 ZeRO 优化，极大提升了易用性。
* **案例：训练 1750 亿参数的模型**：在没有 ZeRO 的时代，训练此类模型可能需要数千张 GPU 进行复杂的模型并行切割。而采用 ZeRO-3 后，可以在规模小得多的集群上完成，且代码复杂度大幅降低。例如，Meta 的 OPT 模型训练就广泛采用了类似的分片技术来优化资源利用率。

### 使用门槛和条件

尽管 ZeRO 功能强大，但要成功落地仍需满足一定条件：
1. **硬件互联要求**：强烈建议使用支持高速互联的硬件。对于单机多卡，NVLink 是必须的；对于多机集群，InfiniBand 或高性能 RoCE 网络是保障 ZeRO-3 效率的前提。如果在千兆以太网环境下强行开启 ZeRO-3，训练速度可能会慢到无法接受。
2. **软件栈适配**：需要使用支持 ZeRO 的框架版本（如较新版本的 PyTorch、DeepSpeed）。同时，模型代码需要适配分布式接口，虽然改动不大，但需确保没有硬编码的设备索引。
3. **调试复杂度**：引入分片和通信后，报错信息的定位难度增加。出现显存溢出（OOM）时，可能需要精细调整分片策略、微批次大小（Micro-batch size）或卸载比例。
4. **成本考量**：虽然节省了显存，但增加了通信流量。在云环境中，如果节点间通信收费较高，需评估总体成本效益。

对于 2026 年的实战展望，随着硬件网络的进一步升级（如光互联、更高速的 PCIe 标准）和编译器技术的优化（自动融合通信与计算算子），ZeRO 的通信开销将进一步被掩盖，成为像“空气”一样自然存在的基础设施，开发者可能甚至感知不到它的存在，却能时刻享受其带来的红利。

延伸阅读：通往专家之路

如果您已经掌握了"ZeRO 是什么”，并希望在这一领域继续深耕，以下路径和资源将助您一臂之力。

### 相关概念推荐

* **3D 并行（3D Parallelism）**：了解如何将数据并行（含 ZeRO）、流水线并行（Pipeline Parallelism）和张量并行（Tensor Parallelism）结合起来，这是训练万亿参数模型的终极方案。
* **MoE（Mixture of Experts）**：稀疏门控专家模型，另一种通过稀疏化来扩大模型容量的技术，常与 ZeRO 结合使用以解决专家参数存储问题。
* **量化感知训练（Quantization Aware Training）**：研究如何在训练过程中直接使用 INT8 或 FP4 精度，从源头上减少显存需求，与 ZeRO 形成互补。
* **通信原语（Communication Primitives）**：深入学习 Ring AllReduce、AllGather、ReduceScatter 等底层算法，理解它们在网络拓扑中的性能表现。

### 进阶学习路径

1. **基础阶段**：熟悉 PyTorch Distributed 基础 API，动手运行一个简单的 Data Parallel 示例，观察显存变化。
2. **实践阶段**：部署 DeepSpeed 环境，尝试在单机的多张显卡上使用 ZeRO-2 和 ZeRO-3 训练一个中等规模的 Transformer 模型（如 Bert-Large 或 LLaMA-7B）。对比不同 Stage 下的显存占用和训练耗时。
3. **深入阶段**：阅读 PyTorch FSDP 源码或 DeepSpeed 核心源码，理解分片器的实现逻辑。尝试自定义通信钩子（Hooks）或优化数据加载流程。
4. **前沿探索**：关注最新的论文，如关于异步通信、重叠计算与通信（Overlap）、以及针对异构集群的 ZeRO 变体研究。

### 推荐资源和文献

* **原始论文**：
* *ZeRO: Memory Optimizations Toward Training Trillion Parameter Models* (Rajbhandari et al., SC20). 这是必读的经典，详细阐述了三个阶段的设计动机和数学推导。
* *ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning* (SC21). 介绍了引入 CPU 和 NVMe 卸载的扩展技术。
* **官方文档**：
* **Microsoft DeepSpeed Documentation**: 提供了详尽的配置指南、参数说明和最佳实践案例。
* **PyTorch FSDP Tutorial**: 官方提供的逐步教程，适合习惯原生 PyTorch 的开发者。
* **技术博客与分析**：
* Hugging Face Blog 关于 "Scaling up transformers with FSDP" 的系列文章。
* 各大云厂商（AWS, Azure, Google Cloud）关于大模型训练优化的工程实践白皮书。
* **开源项目代码**：
* 参考 **LLaMA-Factory**、**Megatron-LM** 等知名开源项目的训练脚本，观察它们如何配置和调用 ZeRO 相关功能。

通过系统地学习上述内容，您将不仅知道"ZeRO 是什么”，更能掌握如何在 2026 年乃至未来的 AI 浪潮中，驾驭这一关键技术，构建出更加宏大、智能的模型系统。