Gemma 4 MTP Drafter 开源：多 Token 预测解码，加速生成

Google 正式为 Gemma 4 模型家族开源了 MTP Drafter（多 Token 预测草稿模型）。基于「预测解码」架构，它能在不牺牲输出质量与推理逻辑的前提下，把生成速度最高提升 3 倍。

为什么要使用「预测解码」

大语言模型（LLM）推理卡顿、延迟高的核心瓶颈从来不是算力不足，而是显存带宽上限：

• 每吐出一个 Token，处理器大半时间都在把数十亿参数从显存（VRAM）搬运到计算阵列。这种「搬砖」过程会导致算力大面积闲置，消费级硬件的瓶颈尤其明显。
• 「预测解码」（Speculative Decoding）的思路就是把文本生成与验证过程解耦：让 Drafter 小模型趁着算力闲置的空档，抢先「预判」后续的多个 Token，再由主干大模型利用并行算力，一次性批量验证这些预判内容。

「预测解码」的工作机制

• 标准大模型采用的自回归生成机制，死板遵循着「一次生成一个 Token」的规则。这套体系成熟稳定，但大量算力却被浪费在参数搬运环节，并没有用到实际计算上。
• MTP Drafter 的「预测解码」解决了这个问题：只要主干大模型认可 Drafter 提交的预测内容，单次前向传播就能直接输出整段序列。

换句话说，以前只能憋出一个 Token 的时间，现在可以直接输出整段被核准的内容。

NVIDIA RTX PRO 6000 跑 Gemma 4 26B：标准推理（左）vs. MTP Drafter（右）

MTP Drafter 的技术底座

为了让 MTP Drafter 兼顾速度与准确率，Google 在底层做了几项核心架构优化：

1. 零重算机制（KV Cache 共享）：草稿模型可以直接「白嫖」主干模型的网络激活状态，直接挪用主干模型的 KV Cache。这种「算力流氓」打法保证了 Drafter 不会浪费任何时间重复计算主干大模型已经跑过的上下文。
2. 极速嵌入器（Embedder 聚类生成）：针对 E2B、E4B 这类极限压缩的端侧模型，Logit 计算是最大的性能瓶颈。Google 在嵌入器中加入了高并发聚类技术，解决了端侧生成的最后一公里阻塞问题。

针对不同硬件平台，Google 还做了针对性的底层优化：

快速上手部署

• Gemma 4 系列的 MTP Drafter 模型现已全部开源，采用了和主模型相同的 Apache 2.0 协议。
• 你可以参考官方技术文档了解具体使用方法，从 Hugging Face 或 Kaggle 下载完整权重。
• 目前 MLX、VLLM、SGLang 和 Ollama 主流推理框架都已经适配了 MTP Drafter。
• 端侧用户可以直接在 Google AI Edge Gallery 下载客户端体验：Android 版、iOS 版。