模型量化是什么？INT4、FP8、GPTQ、AWQ、GGUF 与显存质量验收指南

一句话回答：模型量化是把权重、激活或 KV cache 从较高精度表示转换为更低位宽或更紧凑格式，以降低存储和运行内存，并在有合适硬件内核时改善吞吐或延迟。它不是“把 FP16 改成 INT4 就自动快四倍”：真实结果取决于量化对象、分组与标度、模型架构、运行时、硬件、上下文、批量和任务质量门槛。

本文面向准备在本地工作站、边缘设备或推理服务器部署语言、视觉语言与生成模型的中文用户。重点不是列举所有算法，而是回答：显存怎么估、格式怎么匹配、质量怎么测、速度为什么可能不升反降，以及什么证据足以支持上线。资料复核日期为 2026 年 7 月 18 日。

先分清：你要量化的是权重、激活还是 KV cache

torchao 量化概览把体系分为量化流程、量化张量与派生数据类型、底层原语和高效内核，并区分 weight-only、动态激活、静态量化、QAT 与量化训练。这个分层很重要：文件写着 INT4，只说明表示的一部分；如果运行时需要不断解量化到高精度，或硬件没有匹配内核，速度不一定更好。

量化值是怎么从浮点数得到的

常见仿射量化使用 scale 和可选 zero point，把一段浮点值映射到有限整数格点。概念上可写为：q = clamp(round(x / scale) + zero_point)；恢复时近似为 x ≈ scale × (q - zero_point)。舍入和截断会引入误差，scale 的计算范围决定误差如何分布。

因此“同为 4 bit”也可能完全不同。位宽、对称或非对称、group size、哪些层保留高精度、打包布局和计算精度都应记录。只保存文件名里的 Q4、INT4 或 W4A16，无法复现实验。

PTQ、动态量化、静态量化和 QAT 有什么区别

torchao 静态量化说明指出，静态流程在校准期观察输入分布以确定范围；torchao QAT 文档则使用 fake quantization 在训练中模拟量化与反量化的数值影响。QAT 可能改善量化后质量，但不是无需成本的“高级开关”。

校准集怎么选：代表运行分布，而不是随便抓几段文本

需要校准或激活统计的方法会把样本分布写进量化参数。样本过短、语言单一、没有代码或多模态输入，可能让转换在演示问题上正常、在真实请求上失真。校准集应来自允许使用的数据，并覆盖生产输入的长度、语言、格式、领域、难例与关键安全场景；不能把测试集答案泄漏进调参过程。

校准集不应与最终验收集完全相同。建议保留一套从未参与方法选择、group size 调整或层级例外设置的冻结测试集，用它比较高精度与各量化候选。如果多次试验后只报告最好结果，也要记录尝试过的配置，避免把对测试集的反复适配误当作稳定泛化。

GPTQ、AWQ、bitsandbytes、GGUF 和 FP8 不是同一层概念

GPTQ 原论文把方法定义为使用近似二阶信息的一次性权重量化；AWQ 原论文则是激活感知的低比特 weight-only 方法。论文中的模型、GPU、任务与速度结果不能直接移植到你的设备。方法子页应分别解释算法，而本页负责选型和验收边界。

显存怎么估：先算权重，再加运行时预算

最粗略的权重下限是 参数量 × 位宽 ÷ 8。例如 8B 参数按理想 4 bit 裸权重约 4GB；实际文件和内存还包含 scale、zero point、未量化层、词表、张量元数据、对齐与打包。运行时还要加 KV cache、激活、临时 workspace、CUDA context、图缓存、碎片和框架开销。

MoE 模型还要区分总参数、每 token 激活参数和实际加载权重。即使每次只激活部分专家，所有或大部分专家权重仍可能需要驻留。多模态模型也可能单独加载视觉编码器、投影器或音频组件，不能只按语言模型参数估算。下载模型时应同时保存仓库 ID、revision 或 commit hash、许可证、权重文件哈希、tokenizer 与 config，并记录转换器版本，避免后续把“同名但不同版本”当作同一基线。

为什么量化后不一定更快

vLLM 量化文档按实现列出不同 GPU、CPU 和加速器支持，并明确兼容表会随项目演进；NVIDIA TensorRT也把量化与内核调优、融合和具体部署栈联系在一起。因此“格式能下载”不等于“目标硬件能高效运行”。

如何选择起点：按硬件和任务，不按排行榜

如果尚未决定本地还是云端，先看本地部署、云端 API 与混合路线；需要理解参数、上下文、KV cache 与生产指标，可参考大语言模型生产评测指南。量化是部署决策的一部分，不应先于模型许可、数据边界和任务定义。

两条常见实践路线

路线一：Transformers 中用 bitsandbytes 做可行性试验

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

model_id = "your-approved-model-revision"
config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.bfloat16,
)

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=config,
    device_map="auto",
    dtype=torch.bfloat16,
)

这段代码只说明加载路径。正式测试还要固定仓库 revision、Transformers、bitsandbytes、PyTorch、驱动与 GPU，记录实际设备映射和峰值。Transformers 量化概念指南说明其通过统一量化配置集成多个后端；不同后端的导出、微调和推理能力并不相同。

路线二：llama.cpp 中从高精度 GGUF 生成量化文件

./llama-quantize input-bf16.gguf output-q4_k_m.gguf Q4_K_M
./llama-cli -m output-q4_k_m.gguf -p "固定测试提示"

llama.cpp quantize 官方说明建议从较高精度 GGUF 转换，并警告重复量化可能严重降低质量。多模态模型还要处理编码器和 projector。下载别人制作的 GGUF 时，应保存原始模型、转换者、量化类型、imatrix、版本和哈希，不能只凭文件名信任来源。

质量验收：不要只看困惑度或一段聊天

量化可能对少数任务、语言、长尾 token 或多模态细节影响更大。对于视觉语言模型，应分别测试 OCR、定位、图表、图像数量和视觉幻觉，可参考VLM 任务与视觉幻觉验收；具体旧模型兼容边界见CogVLM 部署核验指南。发现事实错误时，应把回答拆成可核验主张，逐项对照来源与原始高精度模型，再固定检索材料、提示和采样设置复现，以区分原模型、量化、检索或提示造成的变化。

推荐的九步量化发布流程

Hugging Face TGI 量化说明区分预量化权重和加载时量化，并提醒 bitsandbytes 推理可能慢于 GPTQ 或 FP16；这正说明必须在自己的运行栈测量。PyTorch 也已把量化开发重心转向 torchao workflows，旧教程里的 API 不应不加版本说明地复制到新项目。

上线后监控什么：量化版本也会随运行栈变化而漂移

量化文件本身可能不变，但驱动、runtime、kernel、调度器、提示模板、采样参数和上游模型 revision 都会改变结果。生产监控应把“量化配置”作为可追踪版本，而不是只记录一个模型名称。对同一请求同时保存原始模型 ID、量化方法、位宽、group size、计算 dtype、运行时和硬件类别，才能在退化时定位。

用户体验退化不一定直接表现为基准分数下降。还应记录任务完成率、返工次数、等待时间、错误恢复成功率和人工接管比例，并把无法恢复的失败设为硬门槛。若新 runtime 宣称支持某格式，但实际走 fallback 或改变采样实现，应把它当作新候选重新验收。

常见误区

常见问题

INT4 模型一定比 FP16 快吗？

不一定。权重更小可能降低内存带宽压力，但解量化、kernel、批量、上下文和硬件支持共同决定速度。应同时测 TTFT、每 token 延迟、吞吐和峰值内存。

选 GPTQ 还是 AWQ？

先看目标运行时和硬件是否原生支持，再用同一原始模型、校准样本与任务集比较质量和性能。算法论文结果不能代替你的模型、语言和任务测试。

量化会不会让模型更容易幻觉？

低精度误差可能改变 token 概率和任务表现，但不能简单写成“必然增加多少”。应对事实、推理、长上下文、引用和拒答分别回归，并与完全相同的高精度基线对照。

什么时候应该放弃 4 bit？

当业务硬门禁失败、目标硬件缺少高效内核、运行不稳定，或节省的资源不足以抵消返工和质量损失时，应回到 8 bit、FP8、混合精度、较小模型或云端方案。

结论：量化是一个测量问题，不是文件后缀选择题

正确路线是先固定任务、模型、硬件和运行时，建立高精度基线，再选择受支持的量化对象、流程和格式；随后用相同样本验证质量、安全、长上下文、延迟、吞吐和完整内存。只有通过硬门禁并在目标负载下产生净收益，量化版本才具备上线价值。交付时应把量化文件与原始模型 revision、转换命令、依赖版本、哈希和验收报告绑定保存，避免留下一个无法追溯、无法重建的孤立文件。

编辑复核与纠错记录：本文由兰塞 AI 编辑流程于 2026 年 7 月 18 日重构。旧稿只有概念定义，未区分权重、激活、KV cache、PTQ、QAT、格式、内核和运行内存，也没有来源与站内任务路径。本次依据 PyTorch/torchao、Hugging Face、vLLM、NVIDIA、llama.cpp、GPTQ 与 AWQ 原始论文重建，并增加三张原创图、显存预算和九步验收流程。本站的来源、更新与纠错原则见关于本站与编辑规范。