Apple M3 Ultra (512GB)

549.8 GB · 819.2 GB/s · Metal · 统一内存

总内存
549.8 GB
单设备可用显存
412.3 GB
显存带宽
819.2 GB/s
最大推理模型级别
480.15B
功耗
250 W

推理配置

批量为 1,输入 512 tokens,生成 128 tokens。多卡按 PCIe 4 流水线并行估算。

在计算器中打开

模型对比

最多选择四个模型,曲线截至各模型支持的最大上下文。

GB0.0156.7313.4470.02k4k8k16k32k64k128kLlama 3.1 8B Instruct · 2048 · 6.7 GBLlama 3.1 8B Instruct · 4096 · 7.0 GBLlama 3.1 8B Instruct · 8192 · 7.6 GBLlama 3.1 8B Instruct · 16384 · 8.8 GBLlama 3.1 8B Instruct · 32768 · 11.2 GBLlama 3.1 8B Instruct · 65536 · 16.0 GBLlama 3.1 8B Instruct · 131072 · 25.6 GBQwen3-Coder-480B-A35B-Instruct · 2048 · 330.5 GBQwen3-Coder-480B-A35B-Instruct · 4096 · 331.1 GBQwen3-Coder-480B-A35B-Instruct · 8192 · 332.2 GBQwen3-Coder-480B-A35B-Instruct · 16384 · 334.6 GBQwen3-Coder-480B-A35B-Instruct · 32768 · 339.2 GBQwen3-Coder-480B-A35B-Instruct · 65536 · 348.6 GBQwen3-Coder-480B-A35B-Instruct · 131072 · 367.2 GBHermes-3-Llama-3.1-405B · 2048 · 280.2 GBHermes-3-Llama-3.1-405B · 4096 · 281.4 GBHermes-3-Llama-3.1-405B · 8192 · 283.7 GBHermes-3-Llama-3.1-405B · 16384 · 288.5 GBHermes-3-Llama-3.1-405B · 32768 · 297.9 GBHermes-3-Llama-3.1-405B · 65536 · 316.9 GBHermes-3-Llama-3.1-405B · 131072 · 354.8 GB可用上限 · 412.3 GB
Llama 3.1 8B Instruct7.0 GB
Qwen3-Coder-480B-A35B-Instruct331.1 GB
Hermes-3-Llama-3.1-405B281.4 GB

模型速度矩阵

匹配计算器校准条件时采用公开的 32K 缓存测速。其余速度来自计算器理论估算,首词延迟为提示词处理时间。

#量化速度依据
1SmolLM2-135M0.13B5,571.80.017 s可运行Q4理论估算 · 假设输入 26 TFLOPS
2SmolLM2-135M-Instruct0.13B5,571.80.017 s可运行Q4理论估算 · 假设输入 26 TFLOPS
3SmolLM2-360M0.36B2,173.80.045 s可运行Q4理论估算 · 假设输入 26 TFLOPS
4SmolLM2-360M-Instruct0.36B2,173.80.045 s可运行Q4理论估算 · 假设输入 26 TFLOPS
5Qwen2-0.5B0.49B1,721.40.058 s可运行Q4理论估算 · 假设输入 26 TFLOPS
6Qwen2-0.5B-Instruct0.49B1,721.40.058 s可运行Q4理论估算 · 假设输入 26 TFLOPS
7Qwen2.5-0.5B0.49B1,721.40.058 s可运行Q4理论估算 · 假设输入 26 TFLOPS
8Qwen2.5-0.5B-Instruct0.49B1,721.40.058 s可运行Q4理论估算 · 假设输入 26 TFLOPS
9Qwen2.5-Coder-0.5B0.49B1,721.40.058 s可运行Q4理论估算 · 假设输入 26 TFLOPS
10Qwen2.5-Coder-0.5B-Instruct0.49B1,721.40.058 s可运行Q4理论估算 · 假设输入 26 TFLOPS

推理能力评估

Q4

480.15B

Qwen3-Coder-480B-A35B-Instruct

Q8

235.74B

DeepSeek-Coder-V2-Base

FP16

140.62B

zephyr-orpo-141b-A35b-v0.1

微调能力评估

QLoRA 4-bit

480.15B

Qwen3-Coder-480B-A35B-Instruct

LoRA 16-bit

140.62B

zephyr-orpo-141b-A35b-v0.1

全参数微调

15.71B

DeepSeek-Coder-V2-Lite-Base

选型建议

最佳推理区间

当前矩阵中生成速度领先的适配模型覆盖 0.13–0.36B.

当前配置下,目录模型最大可达 480.15B · Qwen3-Coder-480B-A35B-Instruct

带宽与速率

819.2 GB/s · Llama 3.1 8B Instruct · 106.7 tok/s

显存上限

所需 / 可用 · 7.0 / 412.3 GB

常见问题

最适合运行哪些模型?

SmolLM2-135M · 5,571.8 tok/s / SmolLM2-135M-Instruct · 5,571.8 tok/s / SmolLM2-360M · 2,173.8 tok/s

估算准确度如何?

实测参考仅用于匹配的测速配置。理论速率按带宽和所标精度的峰值计算,实际耗时受后端、算子和提示词长度影响。

可用显存是如何确定的?

计算器使用该型号的可用比例 · 75% × 549.8 GB. 系统占用可能使实际可用容量降低。

为什么部分模型没有速度数据?

显存不足或超出模型上下文上限时不提供速度。可运行模型优先采用匹配的实测参考,其余使用理论估算。缺少硬件峰值或带宽时,表中单独标出计算器采用的假设输入。