谷歌推出开源模型以与Meta、Mistral竞争

谷歌今天发布了一个新的开源语言模型系列，针对 Meta、Mistral 和其他开源竞争对手。

这家搜索巨头剥离了 Gemma，这是其基于 Gemini 的开源语言模型系列，Gemini 是谷歌迄今为止最强大的大型多模态模型。但是，Gemma 只是文本和代码。

谷歌发布了两种尺寸的“最先进的”Gemma模型： 20亿参数模型和70亿参数模型。

在这些权重中，最受欢迎的竞争对手开源模型是来自 Meta 的 Llama 2 和 Mistral 的模型。

但谷歌表示，Gemma 在对话、推理、数学和编码方面优于或保持对 Llama 2(70 亿和 130 亿个参数)和 Mistral(70 亿个参数)的性能。

谷歌表示，20亿参数的Gemma模型在CPU上运行，用于笔记本电脑等硬件中的设备或边缘应用。70 亿参数模型在 GPU 和 TPU 上运行。这些模型也可以通过 Google Cloud 的 Vertex AI 平台和 Google Kubernetes Engine 访问。

Google 允许 Gemma 的“负责任”商业用途，并允许各种规模的组织进行分发。相比之下，Meta 将其 Llama 2 系列语言模型的免费使用限制在月活跃用户少于 7 亿的组织中。否则，他们必须获得许可证。

谷歌正在为研究人员提供免费的Kaggle访问权限，这是Colab笔记本电脑的免费套餐， 并为首次使用Google Cloud的用户提供300美元的积分。研究人员还可以为他们的项目申请高达 500000 美元的 Google Cloud 积分。

“谷歌宣布推出 Gemma 2B 和 7B 标志着小型语言模型的能力快速增长。一个能够直接在笔记本电脑上运行的模型，具有与Llama2相同的功能，这是一项令人印象深刻的壮举，并消除了许多组织所拥有的人工智能的巨大采用障碍，“Iris.ai 首席技术官Victor Botev在给AI Business的电子邮件评论中说。

“越大并不总是越好。实际应用比大量参数计数更重要，特别是考虑到许多大型语言模型所涉及的巨大成本，“他补充道。

“为了真正释放小型模型的潜力，用户体验和界面也必须针对特定领域进行定制。专门构建的界面和工作流程允许更成功地使用，而不是期望整体模型在所有任务中都表现出色。考虑到科学、商业等领域的应用，前端专业化是实现这些灵活而先进的模型功能的关键。

Gemma 模型内部

Google DeepMind研究人员在他们的论文《Gemma：基于Gemini研究和技术的开放模型》中说，Gemma 2B在2万亿个文本上进行了训练，而7B则在6万亿个主要英语数据上进行了训练，“使用与Gemini类似的架构、数据和训练方法”。它的架构基于 transformer 解码器。

谷歌还发布了模型权重，包括预训练和指令调整的变体。此外，还提供了工具链，用于通过原生 Keras 3.0 和其他主要框架跨 JAX、PyTorch、TensorFlow 进行推理和监督微调。这是杰玛的模特卡。

Gemma 集成了 Hugging Face、MaxText、NVIDIA NeMo、TensorRT-LLM 等。

谷歌还发布了一个负责任的生成式人工智能工具包，供用户创建更安全的应用程序。研究人员说：“我们认为，负责任地发布LLM对于提高前沿模型的安全性，确保公平获得这一突破性技术，对当前技术进行严格的评估和分析，以及促进下一波创新的发展至关重要。

至于隐私，谷歌表示，它会在训练前使用自动化技术过滤掉敏感数据和其他个人信息。

谷歌表示，它在 Gemma 中嵌入了安全措施，以减轻可能出现的潜在风险，并认识到发布开源模型是“不可逆转的”。它还敦促开源社区“超越简单的'开放与封闭'辩论”，远离“夸大或最小化潜在危害”。相反，谷歌建议采用“细致入微的协作方法来应对风险和收益”。

但 AppOmni 的 AI 主管 Melissa Ruzzi 在一封电子邮件中告诉 AI Business，“几乎不可能实施足够的控制措施来防止(不良行为者使用 AI 进行攻击)并且仍然有一个功能模型。这是开源AI模型要解决的最大问题。