QWEN3-8BFP168KRTX 4090 × 1
17.6
/ 24.0 可用 · 73.5%
显存需求
能跑
✅ 显存充足（余量 6.4 GiB）：可平稳运行，推荐支持更长上下文或提升并发。
总占用
17.6GiB
目标显存
24 GiB × 1
单卡占用：17.6 GiB
权重显存15.3 GiB
公式
P × bpw / 8P = 8.19 B参bpw = 16 bit
结果15.3 GiB
出处：EleutherAI · Transformer Math 101
KV Cache（MHA/GQA）1.13 GiB
公式
2 × L × n_kv × d_head × s × b × bytesL = 36 层n_kv = 8d_head = 128s = 8,192 tokensb = 1bytes = 2 B/元素
结果1.13 GiB
出处：kipp.ly · Transformer Inference Arithmetic
计算 / 输入缓冲0.52 GiB
公式
(s/1024 × 2 + 0.75) × n_heads × b MiBs = 8,192 tokensn_heads = 32b = 1
结果0.52 GiB
假设经验拟合式（llama.cpp 机制反推），随上下文线性增长；batch 项按线性放大计——真实工作区大部分在序列间共享，此为保守上界。误差 ±20%。
出处：llama.cpp 计算缓冲社区拟合
框架固定开销0.75 GiB
公式
n_gpu × C_enginen_gpu = 1C_engine = 800,000,000 bytes/GPU
结果0.75 GiB
假设CUDA context + 引擎运行时的固定占用，经验值，与负载无关。
出处：PyTorch issue / CUDA context 实测
总显存17.6 GiB
公式
—结果17.6 GiB
性能估算
估算访存受限
单用户生成速度
51.6tok/s
36.1 ~ 67.1
总吞吐
52tok/s
首 Token 延迟 (TTFT)
932ms
最大并发
4
体感对照：疾速响应 · 媲美主流商业大模型
吞吐-并发曲线（continuous batching）
总吞吐 tok/s单用户 tok/s
解码时延 · 访存受限19.4 ms
公式
(W + B × KV) / (bwEff × BW_total)W = 16,380,000,000 bytesB = 1KV = 1,207,959,552 bytes/序列bwEff = 0.9BW_total = 1,008 GB/s
结果19.4 ms
假设带宽有效利用率默认 0.9（FasterTransformer 实测区间 0.85–0.95）。
出处：FasterTransformer 带宽利用率实测
解码时延 · 算力受限0.12 ms
公式
2 × P_active × B / (FLOPS × MFU)P_active = 8.19 B参B = 1FLOPS = 330 TFLOPSMFU = 0.4
结果0.12 ms
假设解码算力受限时的 MFU 经验默认 0.4。
生成速度51.6
公式
1 / max(t_mem, t_comp)结果51.6
假设速度类输出为未实测校准的 roofline 估算，量级可参考、不可当作测量值。
首 Token 延迟932 ms
公式
(2·P·N + F_attn) / (FLOPS × MFU)P_active = 8.19 B参N = 8,192 tokensF_attn = 19,793,625,219,072 FLOPsn_heads·d_head = 4,096L_full = 36 层pairs_full = 33,558,528FLOPS = 330 TFLOPSMFU = 0.5
结果932 ms
假设Prefill 按算力受限 roofline 估算；注意力项按注意力类型精确化（GQA/共享 KV 不缩小 matmul、MLA 取低秩上界、SWA/线性混合只计全注意力层，局部层按 s×w 矩形）。
出处：kipp.ly · Transformer Inference Arithmetic
部署与恢复
冷启动装载
权重读盘
2.3s
主机→显存
0.7s
合计
3.0s
权重读盘 GB/s
7.00
冷启动装载（读盘 + 入显存）3.02 s
公式
W/R_disk + W/(R_h2d×n_gpu)W = 16,380,000,000 bytesR_disk = 7 GB/sR_h2d = 24 GB/sn_gpu = 1
结果3.02 s
假设冷启动 = 权重读盘 + 主机→显存拷贝（不含引擎初始化）；mmap 引擎（llama.cpp）读盘与拷贝可能重叠，此处按串行保守计；Apple 统一内存无 H2D 段，多卡按并行分摊拷贝。随机读受限的介质按 IOPS×读块封顶。
出处：src.nvme-pcie-transfer
租卡成本
时租成本
$0.34
按天
$8
按月
$245
每百万 Token
$1.83
拐点 / 满载 $/1M：$0.55 / $0.55
时租成本$0.34
公式
P_h × nP_h = 0.34 USD/hn = 1 卡
结果$0.34
假设云租价取 RunPod community 档（2026-07 采集），实际价格随市场波动。
每百万 Token 成本1.83
公式
C_h / (吞吐 × 3600) × 1e6C_h = 0.34 USD/h吞吐 = 51.6 tok/s
结果1.83
假设速度类输出为未实测校准的 roofline 估算，量级可参考、不可当作测量值。
每百万 Token 成本 · 拐点并发0.55
公式
C_h / (吞吐@knee × 3600) × 1e6C_h = 0.34 USD/h吞吐@knee = 171 tok/s
结果0.55
假设速度类输出为未实测校准的 roofline 估算，量级可参考、不可当作测量值。
每百万 Token 成本 · 满负载0.55
公式
C_h / (吞吐@max × 3600) × 1e6C_h = 0.34 USD/h吞吐@max = 171 tok/s
结果0.55
假设速度类输出为未实测校准的 roofline 估算，量级可参考、不可当作测量值。
自建 vs API（盈亏平衡）
| API 模型 | 月成本 | 盈亏平衡 |
|---|---|---|
| DeepSeek · DeepSeek V4 Flash$0.28/1M↑ | $28当前用量下 API 更省 | 886M tokens/月 |
| DeepSeek · DeepSeek V4 Pro$0.87/1M↑ | $87当前用量下 API 更省 | 285M tokens/月 |
| Z.ai · GLM-4.6$2.2/1M↑ | $220当前用量下 API 更省 | 113M tokens/月 |
| Z.ai · GLM-5.3$4.4/1M↑ | $440当前用量下自建更省 | 56M tokens/月 |
API 价格采集于 2026-08-29（DeepSeek 2026-08 调价后），以官方定价页为准
电费估算（7×24）
TDP × 1
0.45kW
月用电量
411kWh
月电费
¥287
PUE 1.25 已计入 · 租价采集于 2026-07-27，已过 87 天
全 GPU 红绿灯
按单卡（或最少卡数）能否容纳当前负载排序
能跑Apple M5 Ultra512GB
能跑Apple M3 Ultra512GB
能跑B300 (Blackwell Ultra)288GB
能跑Instinct MI355X288GB
能跑Instinct MI350X288GB
能跑B200192GB
能跑Instinct MI300X192GB
能跑Apple M2 Ultra192GB
能跑H200141GB
能跑Instinct MI300A (APU)128GB
能跑Instinct MI250X128GB
能跑DC GPU Max 1550128GB
能跑Gaudi 3128GB
能跑Apple M5 Max128GB
能跑Apple M4 Max128GB
能跑Apple M3 Max128GB
能跑Apple M1 Ultra128GB
能跑H20（中国特供）96GB
能跑Gaudi 296GB
能跑Apple M2 Max96GB
能跑H100 SXM80GB
能跑A100 SXM 80GB80GB
能跑A800（中国特供）80GB
能跑Instinct MI25064GB
能跑Instinct MI21064GB
能跑Apple M5 Pro64GB
能跑Apple M1 Max64GB
能跑Adreno X2-90 (Snapdragon X2)64GB
能跑Adreno X1-85 (Snapdragon X Elite)64GB
能跑壁仞 BR10064GB
能跑RTX 6000 Ada48GB
能跑RTX A600048GB
能跑L40S48GB
能跑L4048GB
能跑Radeon PRO W790048GB
能跑DC GPU Max 110048GB
能跑Apple M4 Pro48GB
能跑Apple M3 Pro36GB
能跑RTX 509032GB
能跑RTX 5000 Ada32GB
反向求解
推算口径：Llama 系密度缩放律（GQA 1/4 KV 头），±20% 量级参考。求解对象为稠密模型。
计算在浏览器本地完成，不上传任何数据。速度/成本为估算值，显存拆解为主打精度（±3% 内）。