Model · mistralai · 2026auto（HuggingFace 自动同步，未人工核实）
Mixtral-8x22B-Instruct-v0.1（140.630071296B）显存要求 · 本地部署需要什么显卡
原生上下文 65,536 tokens · GQA · MoE 8 选 2 · 每 token 激活 42.27858432B
推理显存需求（llama.cpp 口径，batch = 1，含 KV/缓冲/开销）
| 量化档 | 权重体积 | 4K 上下文 | 32K 上下文 | 64K 上下文 |
|---|---|---|---|---|
| FP16 / BF16 | 261.9 GiB | 264.0 GiB | 272.7 GiB | 282.7 GiB |
| GGUF Q8_0 | 139.2 GiB | 141.2 GiB | 149.9 GiB | 159.9 GiB |
| GGUF Q4_K_M | 79.4 GiB | 81.4 GiB | 90.2 GiB | 100.2 GiB |
| GGUF Q2_K | 43.1 GiB | 45.1 GiB | 53.8 GiB | 63.8 GiB |
显存需求 = 权重 + KV cache + 计算/输入缓冲 + 框架开销（≈0.8 GB）。权重与 KV 为精确公式，典型误差 ±3%；≥24 GB 显存可从 4-bit 档起步。
微调显存估算（4096 上下文 × batch 1，梯度检查点开）
| 全参微调（AdamW 混合精度） | 2099.1 GiB |
| LoRA（r=16，7 模块） | 267.4 GiB |
| QLoRA（NF4，r=16） | 73.0 GiB |
微调框架与部署引擎推荐
微调：Mistral 微调 API（云端） · Hugging Face PEFT · Unsloth
部署：mistral-inference（官方） · vLLM · SGLang · llama.cpp
硬件参考：Mistral 7B BF16：16GB+；Mixtral 8x7B：48GB+