LLM 推理:显存与性能计算器ComfyUI 图像与视频显存计算器

任务设置

任务类型

模型权重在显存中的存储精度。

上下文越长,缓存精度对显存的影响越大。

运行时设置按 32K 缓存测速推算

硬件配置

输入参数

一次批处理的序列数。服务并发人数与吞吐量需另行实测。

高级运行配置
高级 · 模型结构
层数
32
注意力头数
32
KV 头数
8
每头维度
128
隐藏层维度
4,096
最大上下文(tokens)
131,072
查看模型配置来源

性能与内存结果

29.5%显存占用

显存估算

7.1 GiB 显存

够用预计剩余 16.9 GiB可用 24.0 GiB

按当前配置估算,计入安全余量后显存仍然够用。

估算 GPU 租赁 · $0.44/h · 单卡报价 × 卡数

生成速度
~74 token/s
每 token 间隔
~13.6 毫秒
首 token 等待
~0.528 秒
Llama 3.1 8B Instruct

RTX 4090 24 GiB

Q4_K_M · FP16 KV

模型规格
显存构成GiB

竖线 = 硬件可用显存

  • 权重(Q4_K_M)4.58 GiB
  • KV Cache(FP16)1.00 GiB
  • 运行时开销0.75 GiB
  • CUDA Graph 捕获0.00 GiB · 0.0%
  • 安全余量0.76 GiB
框架开销细分

下列为可复核的规划分摊。实际驱动、算子库和分配器占用因运行时而异。

设备运行时与驱动
0.50 GiB
算子工作区
0.20 GiB
CUDA Graph
0.00 GiB
分配器基础
0.05 GiB
其他运行缓冲与多卡通信
0.00 GiB
对比上下文长度
对比显卡容量

推理模拟

Llama 3.1 8B Instruct · Q4_K_M · RTX 4090 24 GiB

输入处理
0.53 秒
逐 token 生成
1.72 秒
预计总耗时
2.25 秒
就绪
计时回放 · 示例文本0 / 128 · 0 秒

点击播放,查看示例文本的输出节奏。

实测首 token 分位数与请求吞吐

常见问题

7B/8B 模型用 Q4_K_M 量化需要多少显存?

以 8B 模型为例:Llama 3.1 8B 使用 Q4_K_M、8,192 tokens 上下文、批大小 1、FP16 KV Cache 时,估算需要 7.1 GiB(含安全余量)。其他 7B/8B 架构或不同上下文长度会有差异。

为什么估算值比模型文件还大?

显存里除了权重,还有 KV Cache 或激活值、运行时缓冲区和安全余量。只看文件大小,并不能代表整个任务的显存占用。

安全余量留了多少?

我们在估算小计的基础上加 12%。绿色表示总量放得下;黄色表示只有小计放得下,或换成建议的更轻配置才放得下;红色表示在我们检查过的备选配置下都放不下。

多张显卡的显存可以合并计算吗?

我们会把所选数量显卡的可用显存相加,并为 LLM 额外计入每张卡的开销。前提是推理框架支持拆分任务。ComfyUI 需要把各组件分配到不同显卡上(例如使用 MultiGPU 节点),每个组件都必须能单独放进一张卡。

这里的 GB 和 GiB 是一回事吗?

显存估算统一使用 GiB。1 GiB 等于 1,073,741,824 字节,十进制 1 GB 等于 1,000,000,000 字节。硬件型号保留厂商标注。目录只有标称容量时,计算器取该数值作为以 GiB 计的容量假设。

计算器更新记录

查看全部版本 →
  • 推理新增草稿模型、按层或比例卸载权重、多卡链路选择,以及缺少实测时的速度估算。
  • 显存改用 GiB 显示;苹果统一内存机型同时检查设备驻留量和卸载到系统的内存。
  • 精度和高级设置采用与模型选择相同的可搜索菜单,支持方向键切换选项、回车确认。
  • 图像和视频推理新增不同分辨率的显存峰值对照。设置去噪步数并填入实测单步耗时,即可估算采样时间。