方法公开透明

我们如何估算显存

以下都是估算,不是基准实测。我们把所有假设摆出来,方便你判断它们是否符合自己的任务。

单位、安全余量与判定标准

显存估算和容量比较统一使用 GiB(1,073,741,824 字节),权重文件字节数除以该值。硬件型号保留厂商标注。缺少设备的精确字节数时,计算器取标称容量的数值作为以 GiB 计的容量假设。合计 = 小计 × (1 + 安全余量),安全余量为 12%。

绿色:计入余量后的合计放得下。黄色:不计余量的小计放得下,或换成更轻的配置后(计入余量)放得下。红色:所选配置和估算器检查过的备选配置都放不下。黄色结果给出的建议与计算器使用同一套判定函数;备选配置放得下,不代表推理框架一定支持。

每台设备的可用显存等于容量乘以可用比例。Apple 统一内存缺少机型专属容量时,默认取 75%。切分 LLM 时需核对每台设备的分配量;普通 ComfyUI 工作流的各个活动阶段均须能装入单台设备。满足该条件后,其他设备可并行运行独立副本。

LLM 推理

weights bytes = parameters × bits per weight / 8。GGUF 实测位率取自 llama.cpp 的 Llama 3.1 8B 参考文件,计入文件中的混合张量精度和元数据。FP16/BF16 共用 FP16 的参考位率。其他模型的实际大小会有差异。 NVFP4 每 16 个压缩权重另计一个 8 位缩放因子。名义位宽只计算紧凑存储的数值。通用 Q1–Q7 表示位宽假设,具体权重文件和运行时格式需分别确认。NVFP4 块格式 ↗

KV bytes = 2 × KV layers × KV heads × head dimension × context × batch × bytes per element。系数 2 代表 K 和 V 两部分。分组查询注意力(GQA)按 KV 头数计算,而不是全部注意力头。混合架构模型在有记录时使用 KV Cache 层数;线性注意力的状态近似计入运行时开销。

runtime GiB = first-GPU overhead + extra-GPU overhead × max(0, GPU count − 1)。推理小计 = 权重 + KV Cache + 运行时开销。上下文长度不超过模型上限和计算器上限。

有效权重精度

量化每权重位数
FP16 / BF1616.0005 bpw · FP16 GGUF 参考
FP88 bpw · 名义位宽
INT88 bpw · 名义位宽
NVFP66 bpw · 名义位宽
NVFP44.5 bpw · 含块缩放
INT44 bpw · 名义位宽
Q8_08.5008 bpw · GGUF 实测
Q6_K6.5633 bpw · GGUF 实测
Q5_K_M5.7036 bpw · GGUF 实测
Q4_K_M4.8944 bpw · GGUF 实测
Q3_K_M3.996 bpw · GGUF 实测
Q2_K3.1593 bpw · GGUF 实测
Q77 bpw · 名义位宽
Q66 bpw · 名义位宽
Q55 bpw · 名义位宽
Q5_K_S5.5704 bpw · GGUF 实测
Q4_K_S4.6672 bpw · GGUF 实测
Q44 bpw · 名义位宽
Q3_K_L4.2979 bpw · GGUF 实测
Q3_K_S3.6429 bpw · GGUF 实测
Q33 bpw · 名义位宽
Q22 bpw · 名义位宽
Q11 bpw · 名义位宽

KV Cache 存储

类型每元素字节数
FP162
FP81
FP40.5
INT40.5
NVFP40.5625
Q8_01.0625
Q4_00.5625

量化后的 KV 块包含缩放系数,因此比简单按 1 字节或半字节估算要大一些。

全量微调、LoRA 和 QLoRA

全量微调按每参数 18 字节估算,包括 2 字节 BF16 权重、4 字节主副本、4 字节梯度和 8 字节 AdamW 动量,另计激活值、运行时和安全余量。多卡训练按权重、梯度及优化器状态均可分片估算。 Hugging Face ↗

LoRA 冻结 BF16 基础权重,只训练适配器。QLoRA 的基础权重使用 NF4,两种方式采用下方相同的适配器和激活值估算。

QLoRA 的基础权重使用双重量化的 NF4,每权重 4.126953125 位。QLoRA 模式下,推理用的量化和 KV Cache 选项不生效。我们假设开启梯度检查点、使用 BF16 激活值,并为 LoRA 适配器保存 Adam 优化器状态。

LoRA 作用于 q、k、v、o、gate、up 和 down 投影。设 h = 隐藏层维度,q = 注意力头数 × 头维度,k = KV 头数 × 头维度,m = h × 3.5。 trainable parameters = rank × layers × [(h + q) + 2(h + k) + (q + h) + 3(h + m)]。

adapter + optimizer bytes = trainable parameters × 16,包括 BF16 权重、BF16 梯度、一份 FP32 主副本和两个 FP32 Adam 动量。 activation bytes = batch × sequence length × hidden size × 2 × (layers + 16)。这一激活值假设为每层保留一份 BF16 隐藏状态,另加正在重算的那一层约 16 倍隐藏层宽度的空间。

小计 = NF4 基础权重 + 适配器与优化器 + 激活值 + QLoRA 运行时开销 + 额外显卡开销。实际训练显存很大程度上取决于具体实现、目标模块和检查点策略。

通用常数

安全余量12%
LLM 运行时开销0.75 GiB
每增加一张显卡的开销0.3 GiB
QLoRA 运行时开销1.5 GiB
QLoRA NF4 每权重位数4.126953125
LoRA 每个可训练参数的字节数16
假设的 MLP / 隐藏层维度比3.5
Apple 统一内存可用比例0.75

扩散模型(图像与视频):分阶段峰值

ComfyUI 按阶段执行工作流,它的显存管理器会在阶段之间把闲置模型移到系统内存(见下方 SDXL 实测中的日志: Unloaded partially: 3056.88 MB freed)。因此显卡需要容纳的是占用最大的那个阶段,而不是所有模型之和:

  • 文本编码 = 显卡上的文本编码器 + 推理预留
  • 采样 = 扩散模型 + 采样激活值 + 推理预留
  • VAE 解码 = VAE + 解码激活值 + 推理预留

total = max(stages) × (1 + 0.12)。结果卡片会列出每个阶段并标出峰值。推理预留取自 ComfyUI 的 minimum_inference_memory(),为 0.8 GiB(源码)。权重显存 = 源文件的确切字节数 ÷ 1,073,741,824;文本编码器卸载到 CPU 时不计入显存;选择 FP8 文本编码器但没有对应 FP8 文件时,该编码器单独回退到 FP16。

所有模型常驻显存(默认关闭,链接参数为 resident=1)模拟 ComfyUI --highvram 式的行为:每个阶段都同时保留其他模型的权重,显存需求变为全部权重 + 最大的激活值 + 预留。

激活值公式(来自 ComfyUI 自己的显存规划器)

这些系数不是我们拟合的,而是 ComfyUI 用来决定加载哪些模型的常数,读取自提交 1e719279f5 的源码。即使权重为 FP8,激活值也按 2 字节(BF16/FP16)计算。潜空间的宽、高分别除以对应 VAE 的压缩倍数(8、16 或 32)。 视频的潜空间帧数为 floor((帧数 − 1) / 时间压缩倍数) + 1。Mochi 的时间压缩倍数为 6,LTX-Video 为 8。

  • 采样:batch × latent elements × 2 bytes × 0.01 × memory_usage_factor MiB,即 ComfyUI 的 memory_required(),按采样器回退到的“一次只处理一个条件”的最小值计算(minimum_memory_required)。
  • VAE 解码(按单个批次项计算,因为 ComfyUI 会根据空闲显存调整解码批次):SD/SDXL/SD3/Flux 为 2178 × h × w × 64 × 2 字节(源码);Wan 2.1 为 (2200 if ≤4 latent frames else 7000) × h × w × 64 × 2(源码);CogVideoX 为 2800 × max(2, (t − 1) × 4 + 1) × h × w × 64 × 2(源码),按 2 个潜空间帧为一块计算,因为 ComfyUI 的 CogVideoX 解码器会分块滚动处理视频(源码)。
  • 如果不分块解码放不下,ComfyUI 会自动改用分块解码重试(源码),所以只有 VAE 超出时判为黄色,并建议分块解码(2D 每块 64 个潜空间像素,3D 每块 256 个输出像素)。

这些是 ComfyUI 的规划估算,其作者也说明部分地方偏保守。它们没有考虑自定义节点(block swap、WanVideoWrapper)、不使用 PyTorch SDPA 的注意力实现,以及显存碎片。源仓库的默认分辨率按原样保留,包括不在 16 像素输入网格上的分辨率。

校准表

模型memory_usage_factorVAE 解码公式公开实测交叉验证
FLUX.1 [dev]3.1相对熵正则化 VAE

I use FLUX[DEV] fp8 ... With 1024 x 1024 and a long prompt, consumption does not exceed 14 GB of VRAM (RTX 4090, Forge f2.0.1) 数据来自 Forge 而非 ComfyUI。我们估算的 1024x1024 FP8 采样阶段不含余量为 12.88 GiB(11.08 GiB 权重 + 0.99 GiB 激活值 + 0.8 GiB 预留),约合 13.8 GB,与报告中的 <=14 GB 相符;计入余量后为 14.4 GiB,16 GB 显卡放得下。 来源

FLUX.1 [schnell]3.1相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
Stable Diffusion XL Base 1.00.8相对熵正则化 VAE

1024x1024 | 1.47 it/s | ... | VRAM Peak ~5.6GB; All resolutions ran with `full load: True` (RTX 4060 Laptop 8GB, ComfyUI v0.15.0, SDXL-based WAI-Illustrious) 我们估算的 1024x1024 SDXL FP16 采样阶段不含余量为 5.84 GiB(4.78 GiB UNet + 0.26 GiB 激活值 + 0.8 GiB 预留),计入余量后为 6.54 GiB,略高于实测约 5.6 GB 的峰值,说明估算偏保守,8 GB 显卡判为绿色。 来源

Stable Diffusion 3.5 Large1.6相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
Wan 2.1 T2V 14B2.3042Wan 2.1

Sampling 81 frames at 448x800 ... Transformer blocks on cuda:0: 11557.82MB ... Max allocated memory: max_memory=17.285 GB (RTX 4090, ComfyUI-WanVideoWrapper, Wan2.1 14B I2V ATI, 10 of 40 blocks swapped to CPU) 使用的是不同的节点包和 I2V 变体。最大分配显存减去留在 GPU 上的块,约剩 6(日志单位)用于激活值、已加载的 CLIP vision 模型和非块权重;我们估算的 448x800x81 采样激活值为 5.29 GiB。两者量级一致,因此完整加载的 FP8 14B(13.31 GiB)约需 20 GiB,24 GB 显卡放得下。 来源

Wan 2.1 T2V 1.3B0.6913Wan 2.1

its lightweight version requires only 8GB of VRAM to run (ComfyUI docs, Wan2.1 tutorial) 使用 FP8 文本编码器、832x480、81 帧时,我们估算的峰值阶段(文本编码)计入余量为 7.92 GiB,VAE 解码阶段为 6.99 GiB,因此 8 GB 显卡判为绿色;换成 FP16 文本编码器时,结论会建议把文本编码器放到 CPU。 来源

CogVideoX 5B2CogVideoX未找到公开实测数据,仅使用 ComfyUI 规划常数。
SDXL Turbo0.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
Playground v2 512px Base0.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
Playground v2 1024px Aesthetic0.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
Playground v2.5 1024px Aesthetic0.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
RealVisXL V4.00.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
RealVisXL V5.00.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
DreamShaper XL 1.00.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
DreamShaper XL v2 Turbo0.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
Juggernaut XL v90.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
SDXL-Lightning-1step0.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
SDXL-Lightning-2step0.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
SDXL-Lightning-4step0.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
SDXL-Lightning-8step0.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
Latent Consistency SDXL0.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
FLUX.1 Krea [dev]3.1相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
Stable Diffusion 3.5 Large Turbo1.6相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
Qwen-Image1.8Wan 2.1未找到公开实测数据,仅使用 ComfyUI 规划常数。
Qwen-Image-25121.8Wan 2.1未找到公开实测数据,仅使用 ComfyUI 规划常数。
HunyuanImage 2.18.7HunyuanImage 2.1未找到公开实测数据,仅使用 ComfyUI 规划常数。
HunyuanImage 2.1 Distilled8.7HunyuanImage 2.1未找到公开实测数据,仅使用 ComfyUI 规划常数。
Z-Image-Turbo2.8相对熵正则化 VAE未找到公开实测数据,仅使用 ComfyUI 规划常数。
CogVideoX 2B2CogVideoX未找到公开实测数据,仅使用 ComfyUI 规划常数。
Mochi 1 Preview2Mochi 1未找到公开实测数据,仅使用 ComfyUI 规划常数。
HunyuanVideo T2V 720p1.8HunyuanVideo未找到公开实测数据,仅使用 ComfyUI 规划常数。
HunyuanVideo 1.5 T2V 480p4HunyuanVideo 1.5未找到公开实测数据,仅使用 ComfyUI 规划常数。
HunyuanVideo 1.5 T2V 720p4HunyuanVideo 1.5未找到公开实测数据,仅使用 ComfyUI 规划常数。
HunyuanVideo 1.5 T2V 480p CFG Distilled4HunyuanVideo 1.5未找到公开实测数据,仅使用 ComfyUI 规划常数。
Wan 2.2 TI2V 5B1.3825Wan 2.2未找到公开实测数据,仅使用 ComfyUI 规划常数。
LTX-Video 0.9.1 (2B)5.5LTX-Video未找到公开实测数据,仅使用 ComfyUI 规划常数。
LTX-Video 0.9.5 (2B)5.5LTX-Video未找到公开实测数据,仅使用 ComfyUI 规划常数。
LTX-Video 0.9.7-dev (13B)11LTX-Video未找到公开实测数据,仅使用 ComfyUI 规划常数。
LTX-Video 0.9.7-distilled (13B)11LTX-Video未找到公开实测数据,仅使用 ComfyUI 规划常数。
LTX-Video 0.9.8-13B-distilled (13B)11LTX-Video未找到公开实测数据,仅使用 ComfyUI 规划常数。

数据来源与局限

架构参数取自 Hugging Face 的 config.json,参数量取自 Hugging Face API 的 safetensors 元数据,组件权重大小取自文件列表。每个模型指南都附有确切来源和最近核验日期。

显存计算在本机完成。模型目录使用带日期的规格与价格快照,热门榜可从 OpenRouter 更新。显存结论不代表吞吐量、兼容性或购买建议。请在目标推理框架上实测,并为其他应用、显示输出和系统占用留出空间。