超越GPT-4 斯坦福团队手机可跑的大模型火了 一夜下载量超2k

　　在大模型落地应用的过程中，端侧 AI 是非常重要的一个方向。

　　近日，斯坦福大学研究人员推出的 Octopus v2 火了，受到了开发者社区的极大关注，模型一夜下载量超 2k。

　　20 亿参数的 Octopus v2 可以在智能手机、汽车、个人电脑等端侧运行，在准确性和延迟方面超越了 GPT-4.并将上下文长度减少了 95%。此外，Octopus v2 比 Llama7B + RAG 方案快 36 倍。

　　不少网友感叹：设备端 AI 智能体的时代到来了!

　　论文：Octopus v2: On-device language model for super agent

　　模型概述

　　Octopus-V2-2B 是一个拥有 20 亿参数的开源语言模型，专为 Android API 量身定制，旨在在 Android 设备上无缝运行，并将实用性扩展到从 Android 系统管理到多个设备的编排等各种应用程序。

　　通常，检索增强生成 (RAG) 方法需要对潜在函数参数进行详细描述(有时需要多达数万个输入 token)。基于此，Octopus-V2-2B 在训练和推理阶段引入了独特的函数 token 策略，不仅使其能够达到与 GPT-4 相当的性能水平，而且还显著提高了推理速度，超越了基于 RAG 的方法，这使得它对边缘计算设备特别有利。

　　Octopus-V2-2B 能够在各种复杂场景中生成单独的、嵌套的和并行的函数调用。

　　数据集

　　为了训练、验证和测试阶段采用高质量数据集，特别是实现高效训练，研究团队用三个关键阶段创建数据集：

　　生成相关的查询及其关联的函数调用参数;

　　由适当的函数组件生成不相关的查询;

　　通过 Google Gemini 实现二进制验证支持。

　　模型开发与训练

　　该研究采用 Google Gemma-2B 模型作为框架中的预训练模型，并采用两种不同的训练方法：完整模型训练和 LoRA 模型训练。

　　在完整模型训练中，该研究使用 AdamW 优化器，学习率设置为 5e-5.warm-up 的 step 数设置为 10.采用线性学习率调度器。

　　LoRA 模型训练采用与完整模型训练相同的优化器和学习率配置，LoRA rank 设置为 16.并将 LoRA 应用于以下模块：q_proj、k_proj、v_proj、o_proj、up_proj、down_proj。其中，LoRA alpha 参数设置为 32.

　　对于两种训练方法，epoch 数均设置为 3.

　　评估

　　Octopus-V2-2B 在基准测试中表现出卓越的推理速度，在单个 A100 GPU 上比「Llama7B + RAG 解决方案」快 36 倍。此外，与依赖集群 A100/H100 GPU 的 GPT-4-turbo 相比，Octopus-V2-2B 速度提高了 168%。这种效率突破归功于 Octopus-V2-2B 的函数性 token 设计。

　　Octopus-V2-2B 不仅在速度上表现出色，在准确率上也表现出色，在函数调用准确率上超越「Llama7B + RAG 方案」31%。Octopus-V2-2B 实现了与 GPT-4 和 RAG + GPT-3.5 相当的函数调用准确率。