Gemma 4 12B 发布：无编码器的多模态本地模型

Google 正式推出 Gemma 4 12B！它的性能强于 E4B，体量又比 26B 要轻得多，填补了 E4B 与 26B 模型之间的空档。同时，它也是 Gemma 首个原生支持音频输入的中等规模模型，只需要很低的内存占用就能输出不错的效果，把 Gemma 4 带到了消费级笔记本上。

Gemma 4 12B 的核心特点，可以概括为以下几点：

• 采用无独立编码器的统一式架构，视觉和音频输入直接接入大语言模型主干；
• 基准测试表现接近 26B 量级模型，能支撑复杂多步推理和智能体工作流；
• 只需要 16GB VRAM 或统一内存就能本地运行，采用 Apache 2.0 许可证；
• 兼容主流开发生态，还内置多 Token 预测草稿（MTP drafter）降低推理延迟。

先进的本地 AI 智能体

Gemma 4 12B 的基准测试表现已经逼近了更大的 26B 模型，但内存占用不到后者的一半。16GB 显存或统一内存的消费级笔记本就能跑动。

更高效的统一式架构

Gemma 4 12B 采用了无编码器架构，视觉和音频输入会直接接入模型主干：

• 视觉：采用轻量级嵌入模块替代了传统视觉编码器，整个模块只包含一次矩阵乘法、位置嵌入和归一化，后续的视觉处理完全交给大语言模型主干来完成；
• 音频：直接砍掉了音频编码器，原始音频信号直接投影到和文本 Token 相同的向量空间中。

如果你想进一步了解具体实现细节，推荐阅读 Gemma 4 12B 开发者指南。