Mac 16 GB 统一内存
17.2 GB · Metal · 统一内存
- 总内存
- 17.2 GB
- 单设备可用显存
- 12.9 GB
- 显存带宽
- 暂无数据
- 最大推理模型级别
- 15.71B
- 功耗
- 暂无数据
推理配置
批量为 1,输入 512 tokens,生成 128 tokens。多卡按 PCIe 4 流水线并行估算。
在计算器中打开模型对比
最多选择四个模型,曲线截至各模型支持的最大上下文。
Llama 3.1 8B Instruct7.0 GB
DeepSeek-Coder-V2-Lite-Base11.8 GB
DeepSeek-Coder-V2-Lite-Instruct11.8 GB
模型速度矩阵
匹配计算器校准条件时采用公开的 32K 缓存测速。其余速度来自计算器理论估算,首词延迟为提示词处理时间。
| # | 量化 | 速度依据 | |||||
|---|---|---|---|---|---|---|---|
| 1 | SmolLM2-135M | 0.13B | 2,448.5 | 0.017 s | 可运行 | Q4 | 理论估算 · 假设输入 26 TFLOPS, 360 GB/s |
| 2 | SmolLM2-135M-Instruct | 0.13B | 2,448.5 | 0.017 s | 可运行 | Q4 | 理论估算 · 假设输入 26 TFLOPS, 360 GB/s |
| 3 | SmolLM2-360M | 0.36B | 955.3 | 0.045 s | 可运行 | Q4 | 理论估算 · 假设输入 26 TFLOPS, 360 GB/s |
| 4 | SmolLM2-360M-Instruct | 0.36B | 955.3 | 0.045 s | 可运行 | Q4 | 理论估算 · 假设输入 26 TFLOPS, 360 GB/s |
| 5 | Qwen2-0.5B | 0.49B | 756.5 | 0.058 s | 可运行 | Q4 | 理论估算 · 假设输入 26 TFLOPS, 360 GB/s |
| 6 | Qwen2-0.5B-Instruct | 0.49B | 756.5 | 0.058 s | 可运行 | Q4 | 理论估算 · 假设输入 26 TFLOPS, 360 GB/s |
| 7 | Qwen2.5-0.5B | 0.49B | 756.5 | 0.058 s | 可运行 | Q4 | 理论估算 · 假设输入 26 TFLOPS, 360 GB/s |
| 8 | Qwen2.5-0.5B-Instruct | 0.49B | 756.5 | 0.058 s | 可运行 | Q4 | 理论估算 · 假设输入 26 TFLOPS, 360 GB/s |
| 9 | Qwen2.5-Coder-0.5B | 0.49B | 756.5 | 0.058 s | 可运行 | Q4 | 理论估算 · 假设输入 26 TFLOPS, 360 GB/s |
| 10 | Qwen2.5-Coder-0.5B-Instruct | 0.49B | 756.5 | 0.058 s | 可运行 | Q4 | 理论估算 · 假设输入 26 TFLOPS, 360 GB/s |
推理能力评估
Q4
15.71BDeepSeek-Coder-V2-Lite-Base
Q8
8.83BYi-1.5-9B
FP16
4.41BQwen3Guard-Gen-4B
微调能力评估
QLoRA 4-bit
15.71BDeepSeek-Coder-V2-Lite-Base
LoRA 16-bit
4.02BQwen3-4B
全参数微调
0.49BQwen2-0.5B
选型建议
最佳推理区间
当前矩阵中生成速度领先的适配模型覆盖 0.13–0.36B.
当前配置下,目录模型最大可达 15.71B · DeepSeek-Coder-V2-Lite-Base
带宽与速率
暂无数据 · Llama 3.1 8B Instruct · 46.9 tok/s
显存上限
所需 / 可用 · 7.0 / 12.9 GB
常见问题
最适合运行哪些模型?
SmolLM2-135M · 2,448.5 tok/s / SmolLM2-135M-Instruct · 2,448.5 tok/s / SmolLM2-360M · 955.3 tok/s
估算准确度如何?
实测参考仅用于匹配的测速配置。理论速率按带宽和所标精度的峰值计算,实际耗时受后端、算子和提示词长度影响。
可用显存是如何确定的?
计算器使用该型号的可用比例 · 75% × 17.2 GB. 系统占用可能使实际可用容量降低。
为什么部分模型没有速度数据?
显存不足或超出模型上下文上限时不提供速度。可运行模型优先采用匹配的实测参考,其余使用理论估算。缺少硬件峰值或带宽时,表中单独标出计算器采用的假设输入。