Google 发布新一代开放模型 Gemma

在 Google，我们坚信 AI 应该为每个人带来帮助。我们一直致力于向开放社区提供创新技术，例如 Transformers、TensorFlow、BERT、T5、JAX、AlphaFold 以及 AlphaCode 等。

如今，Google 又推出了新一代开放模型 Gemma，旨在帮助开发者和研究人员更负责任、高效地开发 AI 技术。

Gemma 开放模型

Gemma 是由 Google DeepMind 与其他团队共同研发的一系列轻量级、高性能开放模型，其技术与 Google 旗舰 AI 模型 Gemini 一致。Gemma 的灵感来自于 Gemini，名字源自拉丁语「gemma」，意为「宝石」。为了支持开发者的创新、促进协作以及引导 Gemma 模型的正确使用，我们还推出了相应的模型权重和一套辅助工具。

从今天起，Gemma 向全球开发者开放。以下是一些关键信息：

• 发布了两个版本的模型权重：Gemma 2B 和 Gemma 7B，每个版本都包括预训练和指令调优的变体。
• 推出了一套新的负责任的生成式 AI 工具包，提供指南和必要的工具，帮助开发者使用 Gemma 构建更安全的 AI 应用程序。
• 提供了一系列推理和监督式微调（SFT）工具链，支持 JAX、PyTorch 和 TensorFlow 等主流框架，均通过原生的 Keras 3.0 接口实现。
• 通过现成的 Colab 和 Kaggle Notebook，以及与 Hugging Face、MaxText、NVIDIA NeMo 和 TensorRT-LLM 等流行工具的集成，大大简化了开发者对 Gemma 的上手过程。
• Gemma 的预训练和指令调优模型可以在个人笔记本电脑、工作站或 Google Cloud 上运行，并可以轻松部署在 Vertex AI 和 Google Kubernetes Engine（GKE）上。
• 针对 NVIDIA GPU 和 Google Cloud 的 TPU 等多种 AI 硬件平台优化，确保了行业领先的性能。
• Google 的使用条款允许各种规模的机构负责任地商业使用和分发 Gemma。

模型规模与前沿性能

Gemma 模型在技术和基础架构上与 Google 的旗舰 AI 模型 Gemini 保持一致。这种共享让 Gemma 2B 和 7B 在同类规模的开放模型中展现出卓越性能。特别是在重要的性能基准测试中，Gemma 超越了体量更大的模型，同时严格遵守安全和负责任输出的标准。更多性能数据、数据集及建模方法，请参阅技术报告。

负责任的设计理念

Gemma 的设计以我们的 AI 原则为核心。为确保预训练模型的安全性和可靠性，使用了自动化技术清除训练数据中的个人信息和敏感内容。同时，广泛采用基于人类反馈（RLHF）的调优和强化学习，确保模型执行指令时的负责任行为。

为全面评估 Gemma 模型的风险，我们进行了红队模拟攻击测试、自动化对抗性测试和潜在危险活动能力评估。评估结果详见模型说明文件。

此外，还推出了一个全新的负责任的生成式 AI 工具包，包括：

• 安全分类：提供一种新颖的方法论，用极少示例构建健壮的安全分类器。
• 调试工具：提供模型调试工具，帮助检查并解决 Gemma 行为问题。
• 指导建议：基于 Google 的经验，提供模型构建者的最佳实践指南。

对不同框架、工具和硬件的优化

Gemma 支持模型微调，可根据数据和需求进行调整，例如应用于文本摘要或检索增强型生成（RAG）。Gemma 支持广泛的工具和系统，包括：

• 多框架支持：提供 Keras 3.0、PyTorch、JAX 和 Hugging Face Transformers 的推理和微调参考实现。
• 跨设备兼容：Gemma 模型能够在各种常见设备上运行，包括笔记本电脑、台式机、物联网设备、移动设备和云端，使 AI 能力更广泛地被人们接触和使用。
• 尖端硬件平台兼容性：与 NVIDIA 合作，优化 Gemma 在 NVIDIA GPU 上的表现，从数据中心到云端，再到配备 RTX AI 的个人电脑，确保了行业领先的性能，并与最新技术无缝整合。
• 针对 Google Cloud 的特别优化：Google 的 Vertex AI 提供了全面的机器学习运维（MLOps）工具集，提供了多种调优选项，并能够通过内置的推理优化实现一键部署。通过完全托管的 Vertex AI 工具或者自主管理的 Google Kubernetes Engine (GKE)，可以进行进一步的定制化，包括部署到 GPU、TPU 和 CPU 等不同计算资源上，无论是在 Google Cloud 平台还是其他平台，都能实现性价比高的基础设施部署。

面向研究与开发的免费资源

Gemma 旨在服务于致力于 AI 创新的开发者和研究者。你可以通过 Kaggle 获得 Gemma 的免费使用权，使用 Colab Notebook 的免费版本，并可获得首次使用 Google Cloud 的 300 美元免费信用额度。此外，研究人员还可申请高达 50 万美元的 Google Cloud 信用额度，以助力加速项目进展。

如何入门

访问 ai.google.dev/gemma 了解更多信息，并获取快速开始指南。

Google 将不断扩充 Gemma 模型系列，适应多样化应用场景。请关注未来几周的活动和机遇，你将有机会更加深入地接触、学习并使用 Gemma。