Model · Google DeepMind · 2026· config.json 已核实
Gemma 4 26B-A4B（25.81B）显存要求 · 本地部署需要什么显卡
原生上下文 262,144 tokens · SWA-HYBRID · MoE 128 选 8 · 每 token 激活 3.8B
推理显存需求（llama.cpp 口径，batch = 1，含 KV/缓冲/开销）
| 量化档 | 权重体积 | 4K 上下文 | 32K 上下文 | 128K 上下文 | 256K 上下文 |
|---|---|---|---|---|---|
| FP16 / BF16 | 48.1 GiB | 49.3 GiB | 51.3 GiB | 58.0 GiB | 67.0 GiB |
| GGUF Q8_0 | 25.5 GiB | 26.8 GiB | 28.7 GiB | 35.5 GiB | 44.5 GiB |
| GGUF Q4_K_M | 14.6 GiB | 15.8 GiB | 17.8 GiB | 24.5 GiB | 33.5 GiB |
| GGUF Q2_K | 7.9 GiB | 9.1 GiB | 11.1 GiB | 17.9 GiB | 26.9 GiB |
显存需求 = 权重 + KV cache + 计算/输入缓冲 + 框架开销（≈0.8 GB）。权重与 KV 为精确公式， 典型误差 ±3%；≥24 GB 显存可从 4-bit 档起步。
微调显存估算（4096 上下文 × batch 1，梯度检查点开）
| 全参微调（AdamW 混合精度） | 386.2 GiB |
| LoRA（r=16，7 模块） | 50.1 GiB |
| QLoRA（NF4，r=16） | 14.4 GiB |
微调框架与部署引擎推荐
微调：Tunix（Google 官方 JAX） · Gemma Library · QLoRA / Unsloth
部署：Ollama · LM Studio · llama.cpp · LiteRT-LM（边缘）
硬件参考：Gemma 1B：可在手机运行；27B：24GB+ 显存