GTX 1650 SUPER 4GB

4.3 GB · 192 GB/s · CUDA · 独立显存

总内存
4.3 GB
单设备可用显存
4.3 GB
显存带宽
192 GB/s
最大推理模型级别
3.84B
功耗
100 W

推理配置

批量为 1,输入 512 tokens,生成 128 tokens。多卡按 PCIe 4 流水线并行估算。

在计算器中打开

模型对比

最多选择四个模型,曲线截至各模型支持的最大上下文。

GB0.08.717.326.02k4k8k16k32k64k128kPhi-4-mini-instruct · 2048 · 3.8 GBPhi-4-mini-instruct · 4096 · 4.1 GBPhi-4-mini-instruct · 8192 · 4.7 GBPhi-4-mini-instruct · 16384 · 5.9 GBPhi-4-mini-instruct · 32768 · 8.3 GBPhi-4-mini-instruct · 65536 · 13.2 GBPhi-4-mini-instruct · 131072 · 22.8 GBPhi-4-mini-reasoning · 2048 · 3.8 GBPhi-4-mini-reasoning · 4096 · 4.1 GBPhi-4-mini-reasoning · 8192 · 4.7 GBPhi-4-mini-reasoning · 16384 · 5.9 GBPhi-4-mini-reasoning · 32768 · 8.3 GBPhi-4-mini-reasoning · 65536 · 13.2 GBPhi-4-mini-reasoning · 131072 · 22.8 GBgranite-4.1-3b-llmon-preview · 2048 · 3.6 GBgranite-4.1-3b-llmon-preview · 4096 · 3.8 GBgranite-4.1-3b-llmon-preview · 8192 · 4.2 GBgranite-4.1-3b-llmon-preview · 16384 · 4.9 GBgranite-4.1-3b-llmon-preview · 32768 · 6.4 GBgranite-4.1-3b-llmon-preview · 65536 · 9.4 GBgranite-4.1-3b-llmon-preview · 131072 · 15.4 GB可用上限 · 4.3 GB
Phi-4-mini-instruct4.1 GB
Phi-4-mini-reasoning4.1 GB
granite-4.1-3b-llmon-preview3.8 GB

模型速度矩阵

匹配计算器校准条件时采用公开的 32K 缓存测速。其余速度来自计算器理论估算,首词延迟为提示词处理时间。

#量化速度依据
1SmolLM2-135M0.13B1,305.90.102 s可运行Q4理论估算 · FP32
2SmolLM2-135M-Instruct0.13B1,305.90.102 s可运行Q4理论估算 · FP32
3SmolLM2-360M0.36B509.50.263 s可运行Q4理论估算 · FP32
4SmolLM2-360M-Instruct0.36B509.50.263 s可运行Q4理论估算 · FP32
5Qwen2-0.5B0.49B403.50.343 s可运行Q4理论估算 · FP32
6Qwen2-0.5B-Instruct0.49B403.50.343 s可运行Q4理论估算 · FP32
7Qwen2.5-0.5B0.49B403.50.343 s可运行Q4理论估算 · FP32
8Qwen2.5-0.5B-Instruct0.49B403.50.343 s可运行Q4理论估算 · FP32
9Qwen2.5-Coder-0.5B0.49B403.50.343 s可运行Q4理论估算 · FP32
10Qwen2.5-Coder-0.5B-Instruct0.49B403.50.343 s可运行Q4理论估算 · FP32

推理能力评估

Q4

3.84B

Phi-4-mini-instruct

Q8

2.53B

granite-3.3-2b-instruct

FP16

1.38B

granite-3.0-1b-a400m-base

微调能力评估

QLoRA 4-bit

2.03B

Qwen3-1.7B

LoRA 16-bit

0.75B

Qwen3-0.6B

全参数微调

无可微调模型

选型建议

最佳推理区间

当前矩阵中生成速度领先的适配模型覆盖 0.13–0.36B.

当前配置下,目录模型最大可达 3.84B · Phi-4-mini-instruct

带宽与速率

192 GB/s · Phi-4-mini-instruct · 51.5 tok/s

显存上限

所需 / 可用 · 4.1 / 4.3 GB

常见问题

最适合运行哪些模型?

SmolLM2-135M · 1,305.9 tok/s / SmolLM2-135M-Instruct · 1,305.9 tok/s / SmolLM2-360M · 509.5 tok/s

估算准确度如何?

实测参考仅用于匹配的测速配置。理论速率按带宽和所标精度的峰值计算,实际耗时受后端、算子和提示词长度影响。

可用显存是如何确定的?

计算器使用该型号的可用比例 · 100% × 4.3 GB. 系统占用可能使实际可用容量降低。

为什么部分模型没有速度数据?

显存不足或超出模型上下文上限时不提供速度。可运行模型优先采用匹配的实测参考,其余使用理论估算。缺少硬件峰值或带宽时,表中单独标出计算器采用的假设输入。