8月14日，谷歌正式发布了Gemma 3的最新一款模型。

Gemma 3270M是一款紧凑型、拥有2.7亿个参数的小体量语言模型，专为特定任务的微调而设计，具备强大的指令跟踪和文本结构化能力。

它继承了Gemma 3系列的先进架构和强大的预训练功能，同时为小尺寸模型带来了强大的指令执行能力。谷歌展示的 IFEval 基准测试成绩所示，在同级模型上，Gemma 3270M树立了新的性能水平，使复杂的AI功能更容易应用于设备端和研究应用。

IFEval 旨在测试模型执行可验证指令的能力。

Gemma 3270M的核心功能主要包括如下几个方面：

• 紧凑而强大的架构：新模型共有2.7亿参数：由于词汇量庞大，嵌入参数有1.7亿个，Transformer模块则有1亿个。得益于256k个token的庞大词汇量，该模型可以处理特定和罕见的token，使其成为强大的基础模型，可以在特定领域和语言中进一步进行微调。

• 极致节能：Gemma 3270M的一个关键优势是其低功耗。在Pixel 9 Pro手机SoC上进行的内部测试表明，INT4量化模型在25次对话中仅消耗0.75%的电量，使其成为最节能的Gemma模型。

• 指令遵循：谷歌发布了一个指令调整模型，并附带预训练的检查点。虽然该模型并非为复杂的对话用例而设计，但它是一个强大的模型，可以开箱即用地遵循通用指令。

• 可用于生产的量化：量化感知训练 (QAT) 检查点可用，使人们能够以INT4精度运行模型，同时最大程度地减少性能下降，这对于在资源受限的设备上部署至关重要。

对于1.7亿个嵌入参数，如何在训练过程中保证不出现嵌入崩溃，谷歌并没有对技术细节进行太多解释。不过在谷歌发布后，AI社区很快开始了研究。

Sebastian Raschka第一时间进行了简单的解读，他注意到了新模型的一些架构特点。

谷歌表示，Gemma 3270M是一款高质量的基础模型，开箱即用，适用于专业化的任务。在实践中，人们应从紧凑而强大的模型入手，进而构建出精简、快速且运营成本较低的生产系统。

这种思路已在现实世界中取得了很好的成果。谷歌举了Adaptive ML与SK Telecom合作的成果的例子。面对细致入微的多语言内容审核挑战，他们选择了专业化。Adaptive ML没有使用大规模通用模型，而是对Gemma 3 4B模型进行了微调。从结果上看，专业化的Gemma模型达到甚至超越了更大型专有模型在其特定任务上的表现。

Gemma 3270M旨在让开发者更进一步利用这种方法，为定义明确的任务释放更高的效率。它是创建一系列小型专业模型的理想起点，每个模型都是各自任务的专家。

这种专业化的力量不仅适用于企业任务，还能帮助个人开发者构建创意应用程序。例如，Hugging Face团队的成员使用Gemma 3270M为一款使用Transformers.js的睡前故事生成器网页应用提供支持。可知，该模型的体量和性能使其非常适合离线、基于网页的创意任务。

谷歌表示，Gemma 3270M适用于以下场景：

• 有一个高容量且定义明确的任务。该模型非常适合情绪分析、实体提取、查询路由、非结构化到结构化文本处理、创意写作和合规性检查等功能。

• 需要精打细算，时延要求高的任务。它可以大幅降低甚至消除生产中的推理成本，并更快地为用户提供响应。经过微调的270M模型可以在轻量级的基础架构上运行，也可以直接在设备上运行。

• 需要快速迭代和部署的工作。Gemma 3270M的小巧体积使其能够快速进行微调实验，帮助你在数小时内（而不是数天）找到适合您用例的完美配置。

• 需要确保用户隐私的任务。由于该模型可以完全在设备上运行，你可以构建处理敏感信息的应用程序，而无需将数据发送到云端。

• 你需要一批专门的任务模型。构建并部署多个自定义模型，每个模型都经过专业训练，能够完成不同的任务，而且不会超出预算。

• 在新模型上，谷歌提供了快速入门的方案和工具。你可以在Gemma文档中找到使用Gemma 3270M进行完整微调的指南：https://ai.google.dev/gemma/docs/core/huggingface_text_full_finetune

• 谷歌同时发布了Gemma 3270M的预训练模型和指令调优模型：https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d

• 你可以在Vertex AI上试用模型，或使用llama.cpp、Gemma.cpp、LiteRT、Keras和MLX等热门推理工具进行试用：https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/gemma3

现在，你也可以在Colab上尝试自行尝试微调，只需不到5分钟即可完成。

过去几个月，谷歌的Gemma开放模型系列经历了一系列发布。在4月到5月，谷歌推出了Gemma 3和Gemma 3 QAT，为单云和桌面级GPU提供了不错的AI性能。随后在6月25日，面向移动端的Gemma 3n正式发布，为手机等设备引入了强大的实时多模态AI能力。

谷歌表示，截止上周，Gemma系列的累积下载量已经突破了两亿次。

参考内容：https://developers.googleblog.com/en/introducing-gemma-3-270m

来源：机器之心