本周四，谷歌正式发布了 Gemma 3 的最新一款模型——Gemma 3 270M。这款紧凑型、拥有 2.7 亿个参数的小体量语言模型专为特定任务的微调而设计，具备强大的指令跟踪和文本结构化能力。
Gemma 3 270M 继承了 Gemma 3 系列的先进架构和强大的预训练功能，同时为小尺寸模型带来了强大的指令执行能力。谷歌展示的 IFEval 基准测试成绩显示，在同级模型上，Gemma 3 270M 树立了新的性能水平，使复杂的 AI 功能更容易应用于设备端和研究应用。
Gemma 3 270M 的核心功能主要包括以下几个方面：
- 紧凑而强大的架构：新模型共有 2.7 亿参数，其中词汇量庞大，嵌入参数有 1.7 亿个，Transformer 模块则有 1 亿个。得益于 256k 个 token 的庞大词汇量，该模型可以处理特定和罕见的 token，使其成为强大的基础模型，可以在特定领域和语言中进一步进行微调。
- 极致节能：Gemma 3 270M 的一个关键优势是其低功耗。在 Pixel 9 Pro 手机 SoC 上进行的内部测试表明，INT4 量化模型在 25 次对话中仅消耗 0.75% 的电量，使其成为最节能的 Gemma 模型。
- 指令遵循：谷歌发布了一个指令调整模型，并附带预训练的检查点。虽然该模型并非为复杂的对话用例而设计，但它是一个强大的模型，可以开箱即用地遵循通用指令。
- 可用于生产的量化：量化感知训练 (QAT) 检查点可用，使人们能够以 INT4 精度运行模型，同时最大程度地减少性能下降，这对于在资源受限的设备上部署至关重要。
对于 1.7 亿个嵌入参数，如何在训练过程中保证不出现嵌入崩溃，谷歌并没有对技术细节进行太多解释。不过在谷歌发布后，AI 社区很快开始了研究。Sebastian Raschka 第一时间进行了简单的解读，他注意到了新模型的一些架构特点。
谷歌表示，Gemma 3 270M 是一款高质量的基础模型，开箱即用，适用于专业化的任务。在实践中，人们应从紧凑而强大的模型入手，进而构建出精简、快速且运营成本较低的生产系统。这种思路已在现实世界中取得了很好的成果。谷歌举了 Adaptive ML 与 SK Telecom 合作的成果为例。面对细致入微的多语言内容审核挑战，他们选择了专业化。Adaptive ML 没有使用大规模通用模型，而是对 Gemma 3 4B 模型进行了微调。从结果上看，专业化的 Gemma 模型达到甚至超越了更大型专有模型在其特定任务上的表现。
Gemma 3 270M 旨在让开发者更进一步利用这种方法，为定义明确的任务释放更高的效率。它是创建一系列小型专业模型的理想起点，每个模型都是各自任务的专家。这种专业化的力量不仅适用于企业任务，还能帮助个人开发者构建创意应用程序。例如，Hugging Face 团队的成员使用 Gemma 3 270M 为一款使用 Transformers.js 的睡前故事生成器网页应用提供支持。该模型的体量和性能使其非常适合离线、基于网页的创意任务。
谷歌表示，Gemma 3 270M 适用于以下场景：
- 有一个高容量且定义明确的任务。该模型非常适合情绪分析、实体提取、查询路由、非结构化到结构化文本处理、创意写作和合规性检查等功能。
- 需要精打细算，时延要求高的任务。它可以大幅降低甚至消除生产中的推理成本，并更快地为用户提供响应。经过微调的 270M 模型可以在轻量级的基础架构上运行，也可以直接在设备上运行。
- 需要快速迭代和部署的工作。Gemma 3 270M 的小巧体积使其能够快速进行微调实验，帮助你在数小时内（而不是数天）找到适合您用例的完美配置。
- 需要确保用户隐私的任务。由于该模型可以完全在设备上运行，你可以构建处理敏感信息的应用程序，而无需将数据发送到云端。
- 你需要一批专门的任务模型。构建并部署多个自定义模型，每个模型都经过专业训练，能够完成不同的任务，而且不会超出预算。
在新模型上，谷歌提供了快速入门的方案和工具。你可以在 Gemma 文档中找到使用 Gemma 3 270M 进行完整微调的指南：https://ai.google.dev/gemma/docs/core/huggingface_text_full_finetune
谷歌同时发布了 Gemma 3 270M 的预训练模型和指令调优模型：https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d
你可以在 Vertex AI 上试用模型，或使用 llama.cpp、Gemma.cpp、LiteRT、Keras 和 MLX 等热门推理工具进行试用：https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/gemma3
现在，你也可以在 Colab 上尝试自行尝试微调，只需不到 5 分钟即可完成。
过去几个月，谷歌的 Gemma 开放模型系列经历了一系列发布。在 4 月到 5 月，谷歌推出了 Gemma 3 和 Gemma 3 QAT，为单云和桌面级 GPU 提供了不错的 AI 性能。随后在 6 月 25 日，面向移动端的 Gemma 3n 正式发布，为手机等设备引入了强大的实时多模态 AI 能力。谷歌表示，截止上周，Gemma 系列的累积下载量已经突破了两亿次。
参考内容：
https://developers.googleblog.com/en/introducing-gemma-3-270m/
下载下来只有 241 MB。
