Model · Alibaba Qwen · 2025· config.json 已核实
Qwen3-Next 80B-A3B（81.32B）显存要求 · 本地部署需要什么显卡
原生上下文 262,144 tokens · LINEAR-HYBRID · MoE 512 选 10 · 每 token 激活 3B
推理显存需求（llama.cpp 口径，batch = 1，含 KV/缓冲/开销）
| 量化档 | 权重体积 | 4K 上下文 | 32K 上下文 | 128K 上下文 | 256K 上下文 |
|---|---|---|---|---|---|
| FP16 / BF16 | 151.5 GiB | 152.5 GiB | 154.0 GiB | 159.3 GiB | 166.3 GiB |
| GGUF Q8_0 | 80.5 GiB | 81.5 GiB | 83.0 GiB | 88.3 GiB | 95.3 GiB |
| GGUF Q4_K_M | 45.9 GiB | 46.9 GiB | 48.5 GiB | 53.7 GiB | 60.7 GiB |
| GGUF Q2_K | 24.9 GiB | 25.9 GiB | 27.4 GiB | 32.7 GiB | 39.7 GiB |
显存需求 = 权重 + KV cache + 计算/输入缓冲 + 框架开销（≈0.8 GB）。权重与 KV 为精确公式， 典型误差 ±3%；≥24 GB 显存可从 4-bit 档起步。
微调显存估算（4096 上下文 × batch 1，梯度检查点开）
| 全参微调（AdamW 混合精度） | 1213.4 GiB |
| LoRA（r=16，7 模块） | 153.7 GiB |
| QLoRA（NF4，r=16） | 41.3 GiB |
微调框架与部署引擎推荐
微调：LLaMA-Factory（中文生态最佳，支持 DoRA/GaLore） · ModelScope · DashScope 云端微调
部署：vLLM (≥0.5.3) · SGLang · Ollama · MLX
硬件参考：Qwen3-30B-A3B：每 token 仅激活 3.3B，消费卡友好；72B BF16：至少 2×A100/H100